ROBOTICA E ANIMAZIONE DIGITALE LABORATORIO -VISIONE - Prof. N. Alberto Borghese

Transcript

1 ROBOTICA E ANIMAZIONE DIGITALE LABORATORIO -VISIONE - Dott. Paolo Tirelli Prof. N. Alberto Borghese

2 Dott. Paolo Tirelli Prof. N. Alberto Borgh hese AIBO CAMERA (1/2) Specifiche: Tecnologia CMOS Risoluzione: 104(H) x 80(V) Frame rate: 30 FPS Caratteristiche della lente: F 2.8, f = 3.27mm Angolo di visuale: Orizzontale: 56.9 Verticale: 45.2 Settaggi di default: Bilanciamento del bianco: 5000 K Shutter Speed: 1/100 sec durata esposizione i (velocità dell otturatore) t Gain: 0 db più alto = migliore qualità dell immagine con scarsa illuminazione # of electrons per pixel / # of counts per pixel 19/0 03/2009 Ro obotica e Ani mazione Dig gitale Vi sione 2

3 AIBO CAMERA (2/2) Dott. Paolo Tirelli Prof. N. Alberto Borgh hese Richieste a OPENR::ControlPrimitive(): iti Bilanciamento del bianco (oprmreqcam_set_white_balance): Possibili valori: ocamparamwb_indoor_mode (2856K) ocamparamwb_fl_mode (5000K) ocamparamwb_outdoor_mode (6500K) Shutter speed (oprmreqcam_set_shutter_speed) SHUTTER SPEED) Possibili valori: ocamparamshutter_slow (1/50sec) ocamparamshutter_mid (1/100sec) ocamparamshutter_fast (1/200sec) Gain (oprmreqcam_set_gain) Possibili valori: ocamparamgain_low (-6dB) ocamparamgain_mid (0dB) ocamparamgain_high (+6dB) 3 19/0 03/2009 Ro Vi obotica e Ani sione mazione Dig gitale

4 19/03/2009 Robotica e Animazione Digitale Visione AIBO CAMERA ESEMPIO Per impostare il bilanciamento i del bianco: Per impostare il gain: Per impostare il shutter speed: 4 Dott. Paolo Tirelli Prof. N. Alberto Borghese

5 AIBO CAMERA IMPOSTAZIONI AUTOMATICHE Bilanciamento del bianco OPENR::ControlPrimitive (fbkid, oprmreqcam_awb_on, 0, 0, 0, 0) 19/0 03/2009 Dott. Paolo Tirelli Prof. N. Alberto Borgh hese Esposizione automatica OPENR::ControlPrimitive (fbkid, oprmreqcam_ae_on, 0, 0, 0, 0) Non sono molto efficienti, la predominanza di un colore nell'immagine confonde il bilanciamento. Ro obotica e Ani mazione Dig gitale Vi sione 5

6 AIBO CAMERA NOTE Offre quattro layers di immagini: i i trelayer di immaginii i compresse a bassa, media, alta risoluzione ed un layer di color detection. 19/0 03/2009 Per ogni layer si puo accedere solo alle singole componenti Y, Cr e Cb che vanno poi ricomposte per generare l immagine a colori. Ro obotica e Ani Vi sione Dott. Paolo Tirelli Prof. N. Alberto Borgh hese Color Detection Hardware: riconosce fino a 8 colori contemporaneamente. Si basa sulla color detection table (CDT). Tramite il layer Color Detection si accede solo alla componente semantica (etichette). 6 mazione Dig gitale

7 AIBO CAMERA ESEMPIO DI SEGMENTAZIONE 19/03/2009 Immagine originale Immagine segmentata Robotica e Animazione Digitale Visione Clustering dei colori o in un numero ridotto o di colori o campione. 7 Ad esempio con CDT. Dott. Paolo Tirelli Prof. N. Alberto Borghese

8 STANDARD VIDEO (ITU-R BT.601) (1/2) Trasformazione Diretta: 19/0 03/2009 Dott. Paolo Tirelli Prof. N. Alberto Borgh hese Kb = Kr = Y = * R * G * B Cb = * R * G * B Cr = * R * G * B 0 Y, R, G, B Cb,Cr C +0.5 Ro obotica e Ani mazione Dig gitale Vi sione 8

9 STANDARD VIDEO (ITU-R BT.601) (2/2) Trasformazione Inversa: 19/0 03/2009 Dott. Paolo Tirelli Prof. N. Alberto Borgh hese R = Y * (Cr-128) G = Y * (Cb-128) * (Cr-128) B = Y * (Cb-128) 0 Y, Cb, Cr, R, G, B +255 Diversi coefficienti per ITU-R NT.709 HDTV: Kb = Kr = Ro obotica e Ani mazione Dig gitale Vi sione 9

10 STRUTTURE DATI DI OPEN-R FBKIMAGESENSOR Per leggere le informazioni i i provenienti i dalla telecamera è necessario instaurare un canale di comunicazione con essa. 19/0 03/2009 Dott. Paolo Tirelli Prof. N. Alberto Borgh hese L oggetto di sistema adibito alla gestione della telecamera è OVirtualRobotComm tramite il servizio (porta) FbkImageSensor. Il tipo di dato scambiato (messaggio) è OFbkImageVectorData. Per instaurare un canale di comunicazione è necessario inserire la seguente linea nel file connect.cfg, seguita dal servizio (porta) che il nostro oggetto mette a disposizione per ricevere le informazioni provenienti dalla telecamera: OVirtualRobotComm.FbkImageSensor.OFbkImageVectorData.S. Ro obotica e Ani mazione Dig gitale Vi sione 10

11 19/03/2009 Robotica e Animazione Digitale Visione STRUTTURE DATI DI OPEN-R OFBKIMAGEVECTORDATA (1/4) 4 elementi: uno per layer 11 Classe utilizzata per contenere le informazioni riportate della telecamera. Dott. Paolo Tirelli Prof. N. Alberto Borghese

12 STRUTTURE DATI DI OPEN-R OFBKIMAGEVECTORDATA (2/4) Ogni cella dell array OFbkImageInfoI ha una cella corrispondente nel byte array. 19/0 03/2009 Dott. Paolo Tirelli Prof. N. Alberto Borgh hese OFbkImageInfo contiene le informazioni sul tipo di layer ed il byte associato è un puntatore ai dati dell immagine per quel layer. L indice del layer può essere una delle seguenti costanti: ofbkimagelayer_h (colore alta risoluzione) ofbkimagelayer_m (colore media risoluzione) ofbkimagelayer_l (colore bassa risoluzione) ofbkimagelayer_c (color detection image). Si accede all array OFbkImageInfo attraverso il metodo GetInfo() e si accede all array byte attraverso il metodo GetData(). Questi metodi sono membri della classe OFbkImageVectorData. 12 Ro obotica e Ani mazione Dig gitale Vi sione

13 STRUTTURE DATI DI OPEN-R OFBKIMAGEVECTORDATA (3/4) Dott. Paolo Tirelli Prof. N. Alberto Borgh hese Le immagini i i sono codificate in YCrCbCb Y = luminosità Cr = rosso meno la luminosità Cb = blu meno la luminosità Per ogni layer si puo accedere solo alle singole componenti Y, Cr e Cb che vanno poi ricomposte per generare l immagine a colori; per il layer Color Detection si accede solo alla componente color detection. Le costanti che identificano i layers sono: ofbkimageband_y (layer Y) ofbkimageband_cr (layer Cr) ofbkimageband_cb (layer Cb) ofbkimageband_cdt (layer Color Detection) Non è possibile accedere direttamente al valore del pixel codificato secondo YCbCr. L informazione i va ricomposta apartire dai tre singoli layers (Y, Cb, Cr). OPEN-R non fornisce alcuna classe per ricostruire l immagine ma tra 13 isampledellasonyèpresenteunaclasseingradoditradurrele informazioni della camera in immagini BMP. 19/0 03/2009 Ro obotica e Ani mazione Dig gitale Vi sione

14 STRUTTURE DATI DI OPEN-R OFBKIMAGE Utilizzato t per maneggiare l informazione i restituita dalla telecamera e contenuta nel pacchetto OFbkImageVectorData. 19/0 03/2009 Dott. Paolo Tirelli Prof. N. Alberto Borgh hese Come costruire l oggetto OFbkImageVectorData t (esempio): OFbkImage img( imagevector->getinfo(ofbkimagelayer_m), g imagevector->getdata(ofbkimagelayer_m), ofbkimageband_y); Oggetto per la gestione : della banda Y del layer M (medium resolution) Alcuni metodi utili di OFbkImage: IsValid(), Pointer(), Width(), Height(), Pixel(x,y)... Ro obotica e Ani mazione Dig gitale Vi sione 14

15 Dott. Paolo Tirelli Prof. N. Alberto Borgh hese OFBKIMAGE ALCUNI METODI bool IsValid(): ritorna true se OFbkImage è stata inizializzatai i correttamente, false altrimenti. byte* Pointer(): ritorna un puntatore all inizio dei dati dell immagine. int Width(): ritorna la larghezza dell immagine. int Height(): ritorna l altezza dell immagine immagine. byte Pixel(int x, int y): ritorna il valore del pixel dell immagine alla coordinata (x,y). Il significato del valore riportato dipende dal tipo di layer cui ci si sta riferendo. intskip(): ritorna il numero di bytes per saltare un intera linea dell immagine. byte ColorFrequency(OCdtChannel chan): ritorna il numero dei pixel (divisi per 16) individuati nella banda di colore identificata da chan nel CD layer. 19/0 03/2009 Ro obotica e Ani mazione Dig gitale Vi sione 15

16 19/03/2009 Robotica e Animazione Digitale Visione AIBO CAMERA ESEMPIO DI CODICE Il seguente codice mostra un esempio di ricezione i di un messagio proveniente dalla camera. 16 Da qui in poi sarà possibile utilizzare l informazione attraverso la variabile cdtimage. Dott. Paolo Tirelli Prof. N. Alberto Borghese

17 19/03/2009 Robotica e Animazione Digitale Visione AIBO CAMERA I LAYER Layer h: 208x160 Layer m: 104x80 Layer l: 52x40 Layer CDT: 104x80 17 Dott. Paolo Tirelli Prof. N. Alberto Borghese

18 19/03/2009 Robotica e Animazione Digitale Visione AIBO CAMERA BASSA RISOLUZIONE (52X40) 18 Dott. Paolo Tirelli Prof. N. Alberto Borghese

19 19/03/2009 Robotica e Animazione Digitale Visione AIBO CAMERA MEDIA RISOLUZIONE (104X80) 19 Dott. Paolo Tirelli Prof. N. Alberto Borghese

20 19/03/2009 Robotica e Animazione Digitale Visione AIBO CAMERA ALTA RISOLUZIONE (208X160) 20 Dott. Paolo Tirelli Prof. N. Alberto Borghese

21 Dott. Paolo Tirelli Prof. N. Alberto Borgh hese AIBO CAMERA COLOR DETECTION TABLE (1/2) Legata al Color Detection Layer Implementazione Hardware Non vengono utilizzate risorse di calcolo. E molto veloce. Massimo 8 colori riconoscibili. Programmabile: Ci sono 8 canali (ocdtchannel0, ocdtchannel1,..., ocdtchannel7) che è possibile programmare. Il CD layer contiene simultaneamente le informazioni su tutti gli 8 canali, uno per bit. L operatore & con una bytemask può essere usato per controllare se il pixel è on in un canale di colore, ovvero se il pixel è stato riconosciuto come avente un colore appartenente a quel canale. Risoluzione 104x80 Per ogni pixel (1byte) del layer si applica una maschera. Al pixel sarà associata un etichetta da cui, tramite la maschera, risalirò al colore 19/0 03/2009 Ro obotica e Ani mazione Dig gitale Vi sione 21

22 19/03/2009 Robotica e Animazione Digitale Visione AIBO CAMERA COLOR DETECTION TABLE (2/2) Maschere per Color Detection Layer: 22 Dott. Paolo Tirelli Prof. N. Alberto Borghese

23 19/03/2009 Robotica e Animazione Digitale Visione COLOR DETECTION LAYER ESEMPIO Per esempio, per sapere se il pixel di coordinate (10, 10 è on nel 5 color detection channel): 23 Dott. Paolo Tirelli Prof. N. Alberto Borghese

24 19/03/2009 Robotica e Animazione Digitale Visione AIBO CAMERA IMPOSTARE LA CDT Ogni canale è rappresentato da 32 piani CbCr lungo la componente Y nello spazio dei colori. Struttura che gestisce i colori OCdtVectorData: 24 Dott. Paolo Tirelli Prof. N. Alberto Borghese

25 19/03/2009 Robotica e Animazione Digitale Visione IMPOSTARE LA CDT ESEMPIO (1/3) 25 Dott. Paolo Tirelli Prof. N. Alberto Borghese

26 19/03/2009 Robotica e Animazione Digitale Visione OCDTVECTORDATA ESEMPIO (2/3) 26 Dott. Paolo Tirelli Prof. N. Alberto Borghese

27 19/03/2009 Robotica e Animazione Digitale Visione OCDTVECTORDATA ESEMPIO (3/3) Per i dettagli su come impostare manualmente la CDT: 27 Dott. Paolo Tirelli Prof. N. Alberto Borghese

28 OCDTVECTORDATA ESEMPIO (4/4) Dott. Paolo Tirelli Prof. N. Alberto Borgh hese Crea vettore Cdt: OPENR::NewCdtVectorData(&cdtVecID, &cdtvec) Imposta il numero di canali: SetNumData(1); Recupero l'ocdtinfo: GetInfo(0); Inizializza l'ocdtinfo: Init(fbkID, BALL_CDT_CHAN) CHAN) Imposta un piano: Set(Y_segment, Cr_max, Cr_min, Cb_max, Cb_min); Memorizza le impostazioni nella telecamera: OPENR::SetCdtVectorData(cdtVecID); 19/0 03/2009 Ro obotica e Ani mazione Dig gitale Vi sione 28

29 COLOR DETECTION SOFTWARE ALTERNATIVA ALLA COLOR DETECTION TABLE Dott. Paolo Tirelli Prof. N. Alberto Borgh hese Color Detection Software utilizzando la classe: AISAiboYCrCbColorSeg Consuma risorse di calcolo: su Aibo ERS7 circa 2msec per immagine (layer High Resolution). Massimo 32 colori riconoscibili. Risoluzione arbitraria: dipende dalla dimensione dell'immagine originale. Visionabile e scaricabile dal sito del corso: it/~tirelli/robotics/material/software/aiscolorseg_1.0.tar.gz tar gz 19/0 03/2009 Ro obotica e Ani mazione Dig gitale Vi sione 29