L2 Operazioni su buffer di memoria. Corso di Visione Artificiale A.A. 2016/2017

Transcript

1 L2 Operazioni su buffer di memoria Corso di Visione Artificiale A.A. 2016/2017

2 Argomenti Puntatori in C Primitive base di OpenCV AA 2016/2017 Visione Artificiale 2

3 Puntatori in C Un puntatore è una variabile che contiene un indirizzo di memoria La memoria e organizzata in byte, quindi un puntatore contiene sempre l indirizzo di un singolo particolare byte Gli indirizzi di memoria sono a 32bit su architetture a 32bit, 64bit su quelle a 64bit AA 2016/2017 Visione Artificiale 3

4 Puntatori in C In genere i puntatori hanno un tipo. Ad esempio: char* puntatore ad un byte con segno unsigned char* puntatore ad un byte senza segno float* puntatore al primo byte di un gruppo (in genere 4) di byte che rappresenta un dato floating point AA 2016/2017 Visione Artificiale 4

5 Puntatori in C I puntatori possono puntare anche a codice oggetto, sono solo a dati (void)(*f)(int) f in questo cas e un puntatore ad una funzione senza parametri di ritorno e con un unico paramentro di input intero, passato per valore f(10); esegue la funzione puntata da f AA 2016/2017 Visione Artificiale 5

6 Puntatori in C Accesso e incremento dei puntatori: float data[2] = {3.14, 1.44}; float * f = data; equivalente a f=&data[0]; NON equivalente a &data *f == 3.14 == data[0] *(f+1) ==? In questo caso f viene incrementato di 4 indirizzi byte, cioe di un float *(f+1) == 1.44 == data[1] AA 2016/2017 Visione Artificiale 6

7 Puntatori in C Accesso e incremento dei puntatori: char * c = (char *)f; posso farlo, se so cosa sto facendo... *c == primo byte di 3.14 nella sua rappresentazione floating point *(c+1) ==? In questo caso f viene incrementato di 1 indirizzo byte, cioe di un char *(c+1) == secondo byte di 3.14 nella sua rappresentazione in floating point... AA 2016/2017 Visione Artificiale 7

8 Immagini - I Un immagine è una matrice di pixel. Il pixel codifica l informazione in formato numerico (processo di campionamento). I tipi di pixel differiscono per: numero di canali: es. mono(1), RGB(3), RGBA(4). quantità di bit per ogni canale. AA 2016/2017 Visione Artificiale 8

9 Immagini - II Tipicamente, per memorizzare i pixel di un immagine si usa un vettore lineare di pixel. Rappresentazione logica Rappresentazione fisica colonna 3 riga larghezza 6 indice nel vettore: riga*larghezza + colonna AA 2016/2017 Visione Artificiale 9

10 Accedere al buffer in OpenCV uchar * cv::mat::data Tramite il campo data e possibile accedere al buffer di memoria che contiene fisicamente i pixel dell immagine Contiene il puntatore al primo byte dell immagine, indipendentemente dal tipo di pixel AA 2016/2017 Visione Artificiale 10

11 Accedere al buffer in OpenCV uchar * cv::mat::ptr(int i) Tramite il metodo ptr() e possibile accedere alla locazione di memoria che contiene la i- esima riga dell immgine Restituisce il puntatore al primo byte della i- esima riga, indipendentemente dal tipo di pixel AA 2016/2017 Visione Artificiale 11

12 Righe, colonne, canali, byte M.rows M.cols M.channels() M.type M.elemSize M.elemSize1 numero di righe numero di colonne numero di canali tipo di immgine secondo OpenCV dimensione in byte di ogni pixel dimensione in byte di ogni canale ES. RGB8 M.channels() == 3 M.elemSize() == 3 M.elemSize1() == 1 M.type() == CV_8UC3 3 canali, un byte per canale

13 Tipi in OpenCV A Mapping of Type to Numbers in OpenCV C1 C2 C3 C4 CV_8U CV_8S CV_16U CV_16S CV_32S CV_32F CV_64F

14 Accedere al buffer in OpenCV T * cv::mat::ptr<t>(int i) Tramite il metodo template ptr() e possibile accedere alla locazione di memoria che contiene la i-esima riga dell immgine qualunque sia il formato del pixel Restituisce il puntatore al primo pixel della i- esima riga AA 2016/2017 Visione Artificiale 14

15 Esempio #1 Immagine come array semplice di unsigned char for(int i =0;i<M.rows*M.cols*M.elemSize();++i) M.data[i] = i; M.rows numero di righe M.cols numero di colonne M.elemSize dimensione in byte di ogni elemento AA 2016/2017 Visione Artificiale 15

16 Esempio #2 Immagine come array di pixel a 3 canali di 1 byte ciascuno, RGB ad esempio for(int i =0;i<M.rows*M.cols;i+=M.elemSize()) { M.data[i] = i; //B M.data[i+M.elemSize1()] = i + 1; //G M.data[i+M.elemSize1()+M.elemSize1()] = i + 2; //R } M.rows numero di righe M.cols numero di colonne M.elemSize dimensione in byte di ogni pixel (3 nel caso RGB) M.elemSize1 dimensione in byte di ogni canale (1 nel caso RGB) AA 2016/2017 Visione Artificiale 16

17 Esempio #4 Accesso riga/colonna per immagine a 3 canali di 1 byte ciascuno, RGB ad esempio for(int v =0;v<M.rows;++v) { for(int u=0;u<m.cols;++u) { M.data[ (u + v*m.cols)*3] = u; //B M.data[ (u + v*m.cols)*3 + 1] = u+1; //G M.data[ (u + v*m.cols)*3 + 2] = u+2; //R } } M.rows M.cols numero di righe numero di colonne AA 2016/2017 Visione Artificiale 17

18 Esempio #5 Accesso riga/colonna per immagine a multi-canale di 1 byte ciascuno for(int v =0;v<M.rows;++v) { for(int u=0;u<m.cols;++u) { for(int k=0;k<m.channels();++k) M.data[ (u + v*m.cols)*m.channels() + k] = u + k; } } M.rows M.cols numero di righe numero di colonne M.channels() numero di canali AA 2016/2017 Visione Artificiale 18

19 Esercizio #1 Utilizzando OpenCvPlayer caricate l imagine di Lena e stampate a console il valore dei canali R G B tramite cout: - prima in sequenza - poi andando a capo dopo ogni riga dell immagine Nota: in OpenCV l ordine dei canali e BGR AA 2016/2017 Visione Artificiale 19

20 Esercizio #2 Utilizzando OpenCvPlayer caricate l imagine di Lena e fate un downsample 2X: - una nuova immagine di dimensioni w/2 e h/2 ottenuta prendendo una riga si ed una no, una colonna si ed una no nell immagine originale AA 2016/2017 Visione Artificiale 20

21 Esercizio #3 Utilizzando OpenCvPlayer caricate l imagine di Lena e fate un downsample 2X delle sole righe: - una nuova immagine di dimensioni w e h/2 ottenuta prendendo una riga si ed una no dell immagine originale AA 2016/2017 Visione Artificiale 21

22 Esercizio #4 Utilizzando OpenCvPlayer caricate l imagine di Lena e fate un downsample 2X delle sole colonne: - una nuova immagine di dimensioni w/2 e h ottenuta prendendo una colonna si ed una no dell immagine originale AA 2016/2017 Visione Artificiale 22

23 Esercizio #5 Utilizzando OpenCvPlayer caricate l imagine di Lena e fate un flip orizzontale: - creare una nuova immagine di dimensioni w e h ottenuta invertendo l ordine delle colonne dell immagine originale AA 2016/2017 Visione Artificiale 23

24 Esercizio #6 Utilizzando OpenCvPlayer caricate l imagine di Lena e fare un flip verticale: - creare una nuova immagine di dimensioni w e h ottenuta invertendo l ordine delle righe dell immagine originale AA 2016/2017 Visione Artificiale 24

25 Esercizio #7 Utilizzando OpenCvPlayer caricate l imagine di Lena e fate un Crop semplice al centro: - Si tratta di estrarre una sottoparte dell'immagine e metterla in un altra della dimensione giusta corrispondente - Ad esempio, estraiamo una patch dell'immagine corrente grande 1/4 dell'originale, centrata nel centro dell'immagine AA 2016/2017 Visione Artificiale 25

26 Esercizio #7bis Utilizzando OpenCvPlayer caricate l imagine di Lena e fate un Crop generico: - Generalizziamo il caso precedente, con ampiezza e posizione del cropping configurabili - Definiamo una regione di cropping con 4 valori: - riga e colonna dell'estremo in alto a sinistra (top left) - larghezza - Altezza - Si tratta sempre di estrarre una sottoparte dell'immagine e metterla in un altra della dimensione giusta corrispondente AA 2016/2017 Visione Artificiale 26

27 Esercizio #7bis Proviamo un crop random: posizione top-left casuale, dimensione casuale nel range 0- width/2 e 0-height/2 Esempio: int u_tl = rand()%width+1, v_tl=rand()%height+1; width_crop = (rand()%width)/2+1; height_crop = (rand()%height)/2+1; Occhio a non uscire dall immagine, mettere i controlli necessari... AA 2016/2017 Visione Artificiale 27

28 Esercizio #8 Utilizzando OpenCvPlayer caricate l imagine di Lena e fate un Padding generico: - Si tratta di circondare l'immagine orginale con una cornice SIMMETRICA e CONTIGUA di pixel aggiuntivi. - Puo' essere visto come il complementare del cropping, dove riduco la dimensione dell'immagine. - Ad esempio, partendo da un'immagine di 640x480 e volendo effettuare un padding di 6 pixel, avremo alla fine un'immagine di 646x L'immagine originale si trovara' al centro di quella nuova, circondata da una cornice di 3 pixel //su ogni lato. AA 2016/2017 Visione Artificiale 28

29 Esercizio #9 Utilizzando OpenCvPlayer caricate l imagine di Lena e scambiate l ordine dei canali di colore: - Ad esempio R->G G->B B->R - Dovreste ottenere un immagine con colori sbagliati AA 2016/2017 Visione Artificiale 29

30 Esercizio #10 Utilizzando OpenCvPlayer caricate l imagine di Lena e separate i canali di colore in tre differenti immagini: - Ogni immagine sara della stessa dimensione di quella originale, ma conterra un solo colore - Provate ad usare immagini di destinazione sia RGB che Mono AA 2016/2017 Visione Artificiale 30

31 Esercizio #11 Utilizzando OpenCvPlayer caricate le immagini nella cartella bayer fornita, contenente immagini a colori codificate secondo il pattern di Bayer GBRG AA 2016/2017 Visione Artificiale 31

32 Esercizio #11 Provate a fare una demosaicatura di tipo DOWNSAMPLE 2X: - l immagine di uscita sara di dimensioni w/2 h/2 a toni di grigio (CV_8U) - Ogni 4 pixel GBRG dell immagine originale estraete un tono di grigio pari alla media dei canali G da inserire nell immagine di output - I pattern non si sovrappongono, vi spostate quindi di 4 in 4 nell immagine originale AA 2016/2017 Visione Artificiale 32

33 Esercizio #12 Provate a fare una demosaicatura di tipo LUMINANCE: - l immagine di uscita sara di dimensioni w h a toni di grigio (CV_8U) - Ogni 4 pixel GBRG dell immagine originale estraete un tono di grigio nel seguente modo: - R* G* B* G = media dei canali G del pattern preso in considerazione - I pattern si sovrappongono, quindi vi spostate pixel per pixel nell immagine originale (sliding window) - ATTENZIONE: in questo modo i pattern cambiano... AA 2016/2017 Visione Artificiale 33

34 Esercizio #13 Provate a fare una demosaicatura di tipo SIMPLE: - l immagine di uscita sara di dimensioni w h a colori (CV_8UC3) - Ogni 4 pixel GBRG dell immagine originale estraete 3 canali di colore nel sequente modo: - R = canale rosso del pattern - G = media dei canali G del pattern - B = canale blu del pattern - I pattern si sovrappongono, quindi vi spostate pixel per pixel nell immagine originale (sliding window) - ATTENZIONE: in questo modo i pattern cambiano... AA 2016/2017 Visione Artificiale 34