VISIONE ARTIFICIALE CALIBRAZIONE. delle telecamere

Transcript

1 robot zone di WALTER LUCETTI VISIONE ARTIFICIALE CALIBRAZIONE delle telecamere parte settima Nel precedente appuntamento con la visione artificiale abbiamo affrontato la teoria dei sensori visivi introducendo la caratterizzazione delle telecamere secondo il modello Pin-hole. In questo articolo vedremo quali funzioni di OpenCV utilizzare per poter stimare i parametri del nostro sensore, come effettuare la calibrazione e come usare i parametri estratti. 100 Come abbiamo visto nel precedente articolo, per poter passare dalle coordinate reali di un oggetto posizionato nel mondo reale alle coordinate virtuali del sensore che lo acquisisce (e viceversa) è necessario stimare in modo preciso i parametri intrinseci della telecamera (ƒ x,ƒ y, C x e c y ). Inoltre le telecamere non sono oggetti ideali perfetti, ma soffrono di problemi di distorsione dovuti molto spesso alla qualità molto bassa dei materiali con cui sono costruite (pensiamo alle webcam da poche decine di Euro che ormai accompagnano quasi ogni PC fisso o portatile), ma anche all impossibilità di realizzare sensori e ottiche perfettamente identici, anche con processi produttivi molto costosi. Abbiamo visto come le lenti introducono distorsioni radiali e distorsioni tangenziali, distorsioni che si possono correggere stimando i parametri relativi (k 1, k 2, k 3, k 4, k 5, k 6, p 1, p 2 ). La procedura di calibrazione richiede l utilizzo di un riferimento noto, nel nostro caso una scacchiera da acquisire con il nostro sensore in differenti posizioni. Per ogni posizione se ne individuano i vertici (corner) la cui posizione reale è nota e si usano per legare coordinate reali e coordinate virtuali. Le funzioni messe a disposizione dalla libreria OpenCV permettono di individuare automaticamente tutti i vertici della scacchiera in ogni sua posizione e una volta raccolte tutte le immagini, effettuare tutti i calcoli matematici necessari, estrarre i parametri e salvarli su file. Estratti i parametri sono disponibili anche le funzioni fondamentali per caricare i parametri e utilizzarli per correggere ogni immagine acquisita nei software che andremo a creare e usare in futuro. Figura 1: La scacchiera utilizzata nell esempio PROCEDURA DI CALIBRAZIONE Partiamo dal codice standard di acquisizione, nel blocco di elaborazione acquisiamo almeno trenta posizioni differenti della scacchiera validandole tramite le funzioni di ricerca dei vertici. Acquisite le trenta immagini ed estratte le informazioni sulle trenta posizioni dei vertici eseguiamo il calcolo dei parametri per poi salvarli su file e terminare il software. Nel listato 1 è riportato il codice per realizzare quanto appena descritto. Alle inclusioni standard di OpenCV che abbiamo visto negli articoli precedenti aggiungiamo il modulo Calib3D. Questo modulo serve appunto a realizzare tutte le operazioni richieste per calibrare la telecamera e ottenere tutti i parametri necessari a legare le coordinate 3D del mondo reale alle coordinate 2D del mondo virtuale dell immagine. All inizio del main definiamo le seguenti variabili: imagepoints: un vettore di vettori di punti (u,v) che contiene le coordinate dei corner rilevati in ogni acquisizione della scacchiera di calibrazione pointbuf: coordinate dei corner della scacchiera rilevati in un singolo frame e poi inseriti in imagepoints cameramatrix: matrice contenente i parametri intrinseci alla fine della procedura di calibrazione distcoeffs: vettore contenente i parametri di distorsione alla fine della procedura di calibrazione

2 Figura 2: Evidenziati in giallo i corner della scacchiera che sono utilizzati nella calibrazione boardsize: numero di corner da rilevare nella scacchiera. Nel nostro caso (Figura 1) la scacchiera ha otto corner orizzontali e cinque verticali. I corner sono evidenziati in giallo in Figura 2. cap: grabber delle immagini del sensore da calibrare validcheckboardscount: numero di posizioni valide della scacchiera rilevate frame: il frame acquisito da elaborare alla ricerca di una scacchiera valida Dopo aver inizializzato il grabber diamo inizio al ciclo di acquisizione. In ogni ciclo il vettore pointbuf viene inizialmente resettato per essere poi riempito con la funzione findchessboardcorners se la scacchiera appare interamente ed è correttamente rilefata nell immagine analizzata. La funzione findchessboardcorners cerca appunto una scacchiera di dimensioni boardsize, nell immagine frame e inserisce le coordinate (u,v) dei vertici in pointbuf. L ultimo parametro indica quali filtri applicare all immagine in modo da rendere la ricerca dei corners più facile e precisa. In questo caso particolare viene usato un Thresholding adattivo, si effettua una ricerca veloce e si normalizza la luminosità dell immagine. Vi invito a leggere la documentazione ufficiale di OpenCV [1] per approfondire il significato reale di ogni parametro e valutare l u- tilizzo di ulteriori parametri a seconda della vostra condizione di acquisizione. Se la scacchiera non è stata individuata si passa subito al frame successivo, altrimenti convertiamo l immagini in scala di grigi per utilizzare cornersubpix [2] e migliorare le coordinate dei corner con la precisione del sub-pixel: ogni coordinata (u,v) non sarà più un numero intero, ma si utilizzano le conoscenze a priori su come è fatta la scacchiera per aggiungere dei decimali alle coordinate. I corner individuati vengono poi disegnati sull immagine con drawchessboard- Corners e il risultato visualizzato a schermo per un veloce feedback visivo. Il ciclo si conclude con il salvataggio su disco dell immagine, l inserimento di pointbuf nel vettore di vettori imagepoints e l uscita dal ciclo nel caso in cui il numero di scacchiere rilevate è pari a trenta. Per migliorare il risultato della procedura di calibrazione è possibile aumentare a piacimento il numero di scacchiere rilevate, è bene non usare mai meno di venti immagini per non effettuare una calibrazione imprecisa. La calibrazione vera e propria inizia al di fuori del ciclo di acquisizione. Le nuove variabili utilizzate in questa fase sono: objectpoints: vettore di vettori di punti 3D, contiene le coordinate reali (X,Y,Z) dei corner della scacchiera squaresize: dimensione in millimetri dei lati dei quadrati della scacchiera imagesize: dimensione dell immagine acquisita rvecs: conterrà tutti gli orientamenti della camera rispetto alle scacchiere acquisite tvecs: conterrà tutte le posizioni della camera rispetto alle scacchiere acquisite Dopo aver definito le variabili inizializziamo con un doppio ciclo il vettore objectpoints. L origine del sistema di riferimento del mondo reale viene posizionato nel primo corner in alto a sinistra della scacchiera. Di conseguenza il primo vertice avrà coordinata (30,0,0), il secondo (60,0,0), il primo sulla seconda riga sarà (0,30,0), il secondo (30,30,0) e così via. La coordinata Z si pone sempre uguale a 0 per convenzione, ma è possibile usare un valore differente a seconda delle proprie condizioni di elaborazione, l importante è che sia uguale per ognuno dei punti qui definiti. La calibrazione è realizzata tramite la funzione calibratecamera, i punti virtuali objectpoints vengono automaticamente messi in riferimento ai punti reali imagepoints per estrarre i parametri intrinseci cameramatrix e i parametri di distorsione distcoeffs. Nei vettori rvecs e tvecs saranno presenti i posizionamenti (orientamento + posizione) della camera rispetto ad ogni scacchiera rilevata. La procedura di calibrazione può essere effettuata in differenti modalità. In questo caso particolare facciamo in modo che il rapporto tra larghezza e altezza dell immagine calibrata sia rispettato e indichiamo che vogliamo che siano calcolati tutti e otto i parametri di di storsione. Anche in questo caso vi invito a leggere la documentazione ufficiale di OpenCV 101

3 robot zone Figura 3: Le 30 scacchiere utilizzate nella prova del software [3] per approfondire il significato reale di ogni parametro e valutare l utilizzo di ulteriori opzioni a seconda di come volete effettuare la calibrazione. E possibile ad esempio passare alla funzione una matrice di parametri intrinseci precedentemente calcolata e migliorarne la precisione con nuove acquisizioni di scacchiere. Il software si conclude con il salvataggio dei parametri nel file Parametri_camera.yml. Il file utilizza il formato YAML, standard di OpenCV. Tale formato è una semplificazione del più noto e complicato da gestire XML. La calibrazione effettuata come esempio per questo articolo ha generato il file Figura 4: immagine originale 102

4 Figura 5: l immagine di Figura 4 dopo la rettifica di configurazione riportato nel listato 2. Come potete notare dal contenuto del file i parametri intrinseci sono immagazzinati in una matrice di dimensioni 3x3, in questo caso particolare: Mentre i parametri di distorsione sono in un vettore orizzontale di 8 elementi: Da notare la posizione dei parametri di distorsione. Per convenienza p 1 e p 2 sono immagazzinati subito dopo k 1 e k 2 e prima dei rimanenti coefficienti k i. Questa scelta è stata fatta in quanto è possibile realizzare calibrazioni che non tengono conto dei parametri p i e k i con i superiore a 2. Notiamo anche che in questo caso particolare p 1 e p 2, parametri di distorsione tangenziale, valgono entrambi 0, indice di un ottimo assemblaggio del chip all interno della camera utilizzata. In Figura 3 è riportato un esempio di acquisizione delle trenta immagini della scacchiera in trenta posizioni diverse. NUOVO SOFTWARE DI ACQUISIZIONE CON RETTIFICA DEI FRAME Dopo aver effettuato la calibrazione possiamo utilizzare i parametri appena calcolati e salvati su disco per rettificare tutte le immagini acquisite in un nuovo software. Modifichiamo a questo scopo la nostra funzione di base per l acquisizione delle immagini di una webcam (listato 3). La funzione inizia con il caricamento dei parametri intrinseci cameramatrix e di distorsione distcoeffs dal file Parametri_camera.yml precedentemente salvato. Segue l inizializzazione dell oggetto VideoCapture che si occuperà come sempre di acquisire i frame. Nel ciclo di elaborazione ogni frame è visualizzato a schermo prima di essere rettificato tramite la funzione undistort [4]. I parametri cameramatrix e distcoeffs sono finalmente utilizzati per correggere le distorsioni. il risultato è immagazzinato nella nuova immagine undistorted e visualizzato a schermo per poterlo confrontare con l originale. In Figura 5 è riportato il risultato della rettifica dell immagine di Figura 4. Da notare i bordi leggermente stondati che evidenziano la correzione della distorsione a cuscinetto. L effetto della correzione non è molto evidente perché la qualità della camera usata è abbastanza buona (come si era già osservato dai parametri di correzione delle distorsioni tangenziali), una camera di qualità inferiore avrebbe generato un risultato analogo a quello illustrato in Figura 6. PER approfondire... - Sito ufficiale di OpenCV, dove potete trovare tutte le novità sulla libreria, documentazione e tutorial: - [1] Documentazione di findchessboardcorners: org/ modu les/calib3d/doc/camera_calibration_and_3d_reconstruction.html#findchessboardcorners - [2] Documentazione di cornersubpix: - [3] Documentazione di calibratecamera: - [4] Documentazione di undistort: - Sito non ufficiale di OpenCV per gli utenti italiani, sono presenti i primi video tutorial analoghi ai primi articoli apparsi su Fare Elettronica: - Per discutere il codice dell articolo o chiedere consigli e chiarimenti non esitate a contattare l autore all indirizzo myzhar@robot-home.it - Esempi e tutorial su OpenCV in italiano sono disponibili sul blog dell autore: 103

5 robot zone LISTATO 1 #include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/imgproc/imgproc.hpp> #include <opencv2/calib3d/calib3d.hpp> #include <stdlib.h> #include <stdio.h> #include <iostream> #include <string.h> using namespace std; int main() // Vettore delle posizioni dei vertici di ogni // posizione della scacchiera vector<vector<cv::point2f> > image- Points; // Posizioni dei vertici estratte da ogni immagine // (inserite poi in imagepoints) vector<cv::point2f> pointbuf; // Matrice dei parametri intrinsici cv::mat cameramatrix; // Vettore dei parametri di distorsione cv::mat distcoeffs; // Dimensioni della scacchiera cv::size boardsize; // Numero di corner orizzontali boardsize.width = 8; // Numero di corner verticali boardsize.height = 5; cv::videocapture cap; if(!cap.open(0) ) cout << Impossibile inizializzare il sensore di acquisizione << endl; return EXIT_FAILURE; // Contatore delle scacchiere valide int validcheckboardscount = 0; // Frame Acquisito cv::mat frame; while(1) // Pulizia del vettore dei vertici pointbuf.clear( //Acquisizione del frame cap >> frame; // Scacchiera trovata? bool found = false; // Ricerca della scacchiera found = cv::findchessboardcorners( frame, boardsize, pointbuf, CV_CALIB_CB_ADAPTIVE_THRESH // Regolazione dell immagine CV_CALIB_CB_FAST_CHECK // Ricerca veloce CV_CALIB_CB_NORMALIZE_IMAGE // Normalizzazione if(!found) // Scacchiera non trovata // Visualizzazione del frame cv::imshow( Current frame, frame cv::waitkey(1 // Passaggio al frame successivo continue; // >>>>> Miglioramento del risultato // pointbuf contiene i vertici individuati, // miglioriamo il risultato // con la precisione del sub-pixel cv::mat gray; cv::cvtcolor(frame, gray, CV_BGR2GRAY cv::cornersubpix( gray, pointbuf, cv::size(11,11), cv::size(-1,-1), cv::termcriteria( CV_TERMCRIT_EPS+CV_TERMCRIT_ITER, 30, 0.1 ) // <<<<< Miglioramento del risultato // Disegnamo i corner individuati drawchessboardcorners( frame, boardsize, cv::mat(pointbuf), found // Visualizzazione dei corner individuati cv::imshow( Current frame, frame // >>>>> Salvataggio dell immagine char imgfilename[256]; sprintf( imgfilename, Figura_%02d.jpg, validcheckboardscount cv::imwrite( imgfilename, frame // <<<<< Salvataggio dell immagine // Immagazziniamo i nuovi corner imagepoints.push_back(pointbuf // 30 scacchiere acquisite? if( ++validcheckboardscount==30) break; // Uscita dal ciclo di acquisizione // 100 msec per cambiare posizione cv::waitkey(100 Segue 104

6 LISTATO 1 cout << Acquisite correttamente 30 s- cacchiere << endl; // >>>>> Calibrazione // Coordinate REALI dei punti sulla s- cacchiera vector<vector<cv::point3f> > object- Points(1 // Larghezza in mm dei quadrati float squaresize = 30; // Dimensioni dell immagine cv::size imagesize( frame.cols, frame.rows // Inizializzazione del vettore contenente le coordinate mondo // dei punti della scacchiera for( int i = 0; i < boardsize.height; ++i ) for( int j = 0; j < boardsize.width; ++j ) objectpoints[0].push_back( cv::point3f(float( j*squaresize ), float( i*squaresize ), 0) objectpoints.resize(imagepoints.size()-,objectpoints[0] // Angoli di rotazione della camera nelle // varie posizioni acquisite vector<cv::mat> rvecs; // Posizione della camera nei vari frame // acquisiti (l origine nel punto (0,0) della scacchiera) vector<cv::mat> tvecs; // Calibrazione cv::calibratecamera(objectpoints, imagepoints, imagesize, cameramatrix, distcoeffs, rvecs, tvecs, CV_CALIB_FIX_ASPECT_RATIO // Rapporto dimensioni fissato CV_CALIB_ZERO_TANGENT_DIST // Calibrazione distorsione CV_CALIB_FIX_K4 // Calibrazione distorsione avanzata CV_CALIB_FIX_K5 // Calibrazione distorsione avanzata // <<<<< Calibrazione // >>>>> Salvataggio dei parametri calcolati cv::filestorage fs( Parametri_camera.yml, cv::filestorage::write fs << image_width << imagesize.width; fs << image_height << image- Size.height; fs << board_width << boardsize.width; fs << board_height << board- Size.height; fs << square_size << squaresize; fs << Camera_Matrix << cameramatrix; fs << Distortion_Coefficients << distcoeffs; // <<<<< Salvataggio dei parametri calcolati return EXIT_SUCCESS; LISTATO 2 %YAML:1.0 image_width: 640 image_height: 480 board_width: 8 board_height: 5 square_size: 30. Camera_Matrix:!!opencv-matrix rows: 3 cols: 3 dt: d data: [ e+02, 0., e+02, 0., e+02, e+02, 0., 0., 1. ] Distortion_Coefficients:!!opencv-matrix rows: 1 cols: 8 dt: d data: [ e-01, e+00, 0., 0., e+01, e-01, e+00, e+01 ] 105

7 robot zone LISTATO 3 #include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/imgproc/imgproc.hpp> #include <opencv2/calib3d/calib3d.hpp> #include <stdlib.h> #include <stdio.h> #include <iostream> #include <string.h> using namespace std; int main() // Frame Acquisito cv::mat frame; // Frame Corretto cv::mat undistorted; // File contenente i parametri della camera cv::filestorage fs( Parametri_camera.yml, cv::filestorage::read // Matrice dei parametri intrinsici cv::mat cameramatrix; // Vettore dei parametri di distorsione cv::mat distcoeffs; // Caricamento dei parametri intrinsici fs[ Camera_Matrix ] >> cameramatrix; // Caricamento dei parametri di distorsione fs[ Distortion_Coefficients ] >> distcoeffs; // Camera grabber cv::videocapture cap; // Apertura camera if(!cap.open(0) ) il cout << Impossibile inizializzare sensore di acquisizione << endl; return EXIT_FAILURE; // >>>>> Ciclo di acquisizione e visualizzazione unsigned char ch = 0; while( ch!= q ch!= Q ) // Acquisizione frame cap >> frame; // Visualizzazione cv::imshow( Immagine Originale, frame // Correzione cv::undistort( frame, // Frame originale undistorted, // Risultato Correzione cameramatrix, // Parametri intrinsici distcoeffs // Parametri di distorsione // Visualizzazione immagine corretta cv::imshow( Immagine Calibrata, undistorted ch = cv::waitkey(1 // >>>>> Ciclo di acquisizione e visualizzazione return EXIT_SUCCESS; CONCLUSIONI Abbiamo visto come utilizzare le funzioni messe a disposizione da OpenCV per calibrare la nostra telecamera e rettificare le immagini acquisite per correggere le distorsioni introdotte dall ottica della telecamera e dalle imprecisioni nel processo di costruzioni. Nei prossimi articoli vedremo come sarà possibile utilizzare gli stessi parametri per associare ad ogni oggetto presente nella scena acquisita le informazioni riguardo la loro posizione nelle tre dimensioni del mondo reale. CODICE MIP Figura 6: Effetti della rettifica sulle immagini di una camera di bassa qualità 106