robot zone di WALTER LUCETTI Visione artificiale parte quarta TRACKING

Transcript

1 di WALTER LUCETTI Visione artificiale TRACKING parte quarta DI OGGETTI COLORATI Iniziamo a prendere confidenza con gli elementi di base di un algoritmo di visione artificiale. In questo quarto appuntamento con la libreria OpenCV impareremo a identificare oggetti colorati in una scena e di tracciarne la posizione, un applicazione di base per un robot dotato di vista. 98

2 Dopo aver visto come configurare la libreria di visione artificiale OpenCV e avere preso confidenza con i moduli di base, realizzeremo un software in grado di identificare una palla colorata in una scena e a tracciarne la posizione. In questo articolo prenderemo confidenza con concetti di base della visione artificiale, quali Threshold, Spazio di colore, Bounding Box, Centroide, Blob e altro ancora. RICONOSCIMENTO E LOCALIZZAZIONE DI UNA PALLA COLORATA Riconoscere una palla colorata è importante in applicazioni robotiche ludiche e non è molto differente da quello che fa un uomo quando pratica sport. Pensiamo al tennis, al calcio, al golf, al baseball e a tutti quegli sport in cui è necessario colpire una palla. A prescindere dalle sue dimensioni, la palla prima di essere colpita deve essere riconosciuta e soprattutto localizzata. Il listato 1 presenta il codice C++, basato sulla libreria OpenCV, necessario per eseguire questa operazione nel modo più elementare possibile. Il software acquisisce un flusso video da una webcam collegata al PC. Per ogni frame sono ricercate le zone di un determinato colore, e queste vengono analizzate cercando quelle che hanno la maggiore probabilità di essere la nostra palla. Identificata la palla, viene calcolato il suo contorno, il rettangolo che la contiene e il centroide, l equivalente in computer grafica del baricentro in fisica. STRUTTURA DEL CODICE Il codice C++ inizia con le classiche inclusioni dei moduli di OpenCV che abbiamo già visto negli esempi dei precedenti articoli; anche questo software utilizza esclusivamente tre moduli principali: core, imgproc e highgui. Per effettuare alcune operazioni sulle stringhe e sui vettori utilizzeremo anche alcune strutture di base della standard lib C++: string, stringstream e vector [1]. 99

3 Figura 1: risultato dell operazione di thresholding tramite il comando inrange sulla scena illustrata in figura 2. Prima di iniziare a definire la funzione main del nostro programma apriamo una parentesi sugli spazi di colore. Il codice illustrato nel listato 1 serve a identificare una palla blu tra gli oggetti presenti nella scena osservata. Finora non abbiamo mai specificato che cosa significa cercare un oggetto blu e soprattutto che cosa significa blu nel campo della visione artificiale. Nel blocco [A] identifichiamo il blu come un numero che varia tra 200 e 300; il numero identifica la tinta e corrisponde al canale H, Hue, dello spazio di colore HSV (vedi box Gli Spazi di colore RGB e HSV ). GLI SPAZI DI COLORE In informatica si è soliti identificare un colore tramite una terna di valori nello spazio di colore RGB, Red Green Blue. Questa convenzione deriva dal fatto che gli schermi dei PC, prima con la tecnologia a tubo catodico, oggi con i pixel LCD, per mostrare un particolare colore utilizzano per ogni pixel tre elementi dei tre colori principali: rosso, verde e blu. Questa terna di colori ha la particolarità di essere additiva, cioè cambiando l intensità di ogni elemento si generano tre onde luminose che si sommano creando un onda che per l occhio assume il significato di colore. In visione artificiale identificare un colore unifico utilizzando una terna di valori complica molto le operazioni di confronto. Per esempio, il giallo, utilizzando la terna RGB, si ottiene sommando verde e rosso, quindi per cercare oggetti gialli dovrei analizzare tutte le possibili combinazioni di verde e rosso che generano tutti i tipi di giallo. Certamente fattibile, ma poco pratico e soprattutto poco performante. Per questo motivo esistono differenti spazi di colore [2], ognuno più adatto alla particolare operazione che dobbiamo effettuare. Nel nostro caso particolare, per confrontare il colore di un oggetto e trovare quello più simile a un modello prefissato, è molto comodo lo spazio di colore HSV: H è lo Hue, la tinta; S è la Saturation, la quantità di tinta che compone il nostro colore; V è il Value, il valore che identifica la forza del colore, spesso identificata con la sua luminosità. LA FUNZIONE MAIN La funzione principale del nostro software inizia con la dichiarazione della struttura dati (frame) che andrà a contenere l immagine acquisita dalla webcam all inizio di ogni ciclo di elaborazione. Successivamente è creato un oggetto di tipo VideoCapture e inizializzato secondo il metodo che abbiamo illustrato nel precedente articolo. Nel blocco [B] impostiamo la Figura 2: risultato del riconoscimento della pallina posta su un piano dove sono presenti altri oggetti dello stesso colore. 100

4 LISTATO 1 (questo listato è disponibile per il download gratuito dal sito /******************************************* * OpenCV Tutorial: Esempio 4 * Tracking di una pallina colorata ******************************************/ // Modulo core #include <opencv2/core/core.hpp> // Modulo highgui #include <opencv2/highgui/highgui.hpp> // Modulo imgproc #include <opencv2/imgproc/imgproc.hpp> // Output di messaggi #include <stdlib.h> #include <stdio.h> #include <string> #include <strstream> // Vector della standard lib #include <vector> using namespace std; // [A] -> Limiti del colore dell oggetto da identificare #define MIN_H_BLUE 200 #define MAX_H_BLUE 300 // [A] < - Limiti del colore dell oggetto da identificare int main() // Strutture dati per contenere il // frame acquisito cv::mat frame; // Indice del dispositivo di // acquisizione int idx=0; // Oggetto Capture per l acquisizione // da webcam cv::videocapture cap; // Apertura del dispositivo if(!cap.open(idx) ) printf( Webcam non rilevata.\n Verificare la connessione\n ); return EXIT_FAILURE; // [B] -> Dimensioni del frame cap.set( CV_CAP_PROP_FRAME_WIDTH, 640 ); cap.set( CV_CAP_PROP_FRAME_HEIGHT, 480 ); // [B] < - Dimensioni del frame printf( \npremere q per terminare...\n ); // Ciclo di acquisizione char ch=0; while(ch!= q ch!= Q ) // Acquisizione del frame cap >> frame; // [C] -> Attenuazione del rumore cv::mat blur; cv::gaussianblur( frame, blur, cv::size(5,5), 3.0, 3.0 ); // [C] < - Attenuazione del rumore // [D] -> Conversione in HSV cv::mat frmhsv; cv::cvtcolor( blur, frmhsv, CV_BGR2HSV ); // [D] < - Conversione in HSV // [E] -> Threshold per oggetti blu // Nota: variare il valore dei // threshold per oggetti di colore // diverso cv::mat rangeres = cv::mat::zeros( frame.size(), CV_8UC1 ); cv::inrange( frmhsv, cv::scalar(min_h_blue/2,100,80), cv::scalar(max_h_blue/2,255,255), rangeres ); // [E] < - Threshold per oggetti blu // [F] -> Miglioramento del risultato cv::erode( rangeres, rangeres, cv::mat(), cv::point(-1,-1), 2 ); cv::dilate( rangeres, rangeres, cv::mat(), cv::point(-1,-1), 2 ); // [F] < - Miglioramento del risultato // Visualizzazione del risultato intermedio cv::imshow( Risultato Threshold, rangeres ); ); ); // [G] -> Rilevamento dei contorni vector< vector< cv::point > > contours; cv::findcontours( rangeres, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE // [G] < - Rilevamento dei contorni // [H] -> Filtraggio del risultato vector< vector< cv::point > > balls; vector< cv::rect > ballsbox; for( size_t i=0; i<contours.size(); i++) cv::rect bbox; bbox = cv::boundingrect( contours[i] float ratio = 102

5 (float)bbox.width/(float)bbox.height; if(ratio > 1.0f) ratio = 1.0f/ratio; // bbox quasi quadrato e almeno 20x20 px if(ratio>0.75 && bbox.area()>=400 ) balls.push_back( contours[i] ); ballsbox.push_back( bbox ); // [H] < - Filtraggio del risultato 1 ); // [I] -> Disegno del risultato for( size_t i=0; i<balls.size(); i++ ) cv::drawcontours( frame, balls, i, CV_RGB(20,150,20), cv::rectangle( frame, ballsbox[i], CV_RGB(0,255,0), 2 ); cv::point center; center.x = balls- Box[i].x+ballsBox[i].width/2; center.y = balls- Box[i].y+ballsBox[i].height/2; cv::circle( frame, center, 2, CV_RGB(150,20,20), -1 ); stringstream sstr; sstr << ( << center.x <<, << center.y << ) ; cv::puttext( frame, sstr.str(), cv::point(center.x+3, center.y-3), cv::font_hershey_simplex, 0.5, CV_RGB(150,20,20), 2 ); // [I] < - Disegno del risultato // Visualizzazione del risultato finale cv::imshow( Risultato finale, frame ); // Lettura tasto utente ch = cv::waitkey( 5 ); return EXIT_SUCCESS; webcam in modo che acquisisca immagini larghe 640 pixel e alte 480 pixel. Se il PC sul quale testate questo software non è molto potente è possibile diminuire tali valori (per esempio portandoli a 320x240) per accelerare i calcoli in seguito illustrati. ACQUISIZIONE ED ELABORAZIONE DELL IMMAGINE Il ciclo di acquisizione ed elaborazione, interrompibile in qualunque momento con la pressione del tasto q, inizia con la classica acquisizione del frame. Il frame è subito filtrato in [C] con un filtro Gaussiano (funzione GaussianBlur [4]), che permette di attenuare le imperfezioni dell immagine acquisita introducendo una leggera sfocatura che renderà più morbidi i bordi dell oggetto ricercato. A primo impatto può sembrare strano, ma un immagine leggermente sfuocata migliora i risultati di quasi tutti gli algoritmi di visione artificiale. Un immagine molto nitida equivale molto spesso a un immagine ricca di rumore, la sfocatura equivale a una media tra i valori dei pixel vicini che permette di attenuare molto efficacemente le imperfezioni introdotte dall elettronica del sensore. Il risultato del filtraggio è immagazzinato nella nuova immagine blur. In [D] l immagine è convertita da RGB a HSV, in realtà l immagine è convertita da BGR a HSV, in quanto OpenCV acquisisce da webcam immagini i cui canali R e B sono in ordine invertito. Il motivo di questa convenzione è dovuto alla modalità in cui le immagini sono inviate dalle webcam ai PC: l immagine originale arriva al computer in formato RGB, ma verticalmente ribaltata. Il modo più veloce di ottenere un immagine raddrizzata è quello di copiare in memoria il vettore dei dati partendo dall ultimo pixel in ordine inverso. L immagine è memorizzata in memoria pixel per pixel, alternando i valori dei tre canali (RGB-RGB-RGB- RGB ). Copiandoli in un altra zo- 103 CODICE MIP

6 Figura 3: Bounding box, contorno e coordinate del centroide della pallina riconosciuta. na, invertendo l ordine il risultato è che il canale G rimane sempre nella solita posizione, ma R e B si scambiano di posto (BGR-BGR-BGR-BGR ). Per questo motivo dobbiamo impostare la funzione cvtcolor [5], che ci permette di effettuare questa operazione, con il parametro CV_BGR2HSV, invece del parametro CV_RGB2HSV, errore molto comune effettuando questo tipo di conversioni. In [E] cerchiamo tutte le zone dell immagine che hanno pixel del colore dell oggetto cercato. Come spiegato nel riquadro relativo, il canale H è rappresentato dal valore di un angolo che varia tra 0 e 359. Il blu è rappresentato da valori angolari compresi tra 200 e 300, dobbiamo però sempre ricordare che OpenCV rappresenta H con valori compresi tra 0 Figura 4: il codice QR del link al video che illustra il funzionamento in tempo reale dell algoritmo. e 179, scelta dovuta al fatto che le immagini con cui lavoriamo utilizzano 8 bit per ogni canale e con 8 bit possiamo rappresentare numeri positivi compresi tra 0 e 255. Le zone blu dell immagine saranno evidenziate nella nuova immagine rangeres con blob di colore bianco (figura 1), la funzione inrange [3] esamina tutti i pixel dell immagine sorgente e setta a 255 il pixel corrispondente dell immagine di destinazione (inizializzata totalmente a zero), se il suo valore di HUE è compreso nell intervallo [MIN_H_BLUE/2, MAX_H_BLUE/2]. Per essere precisi verifichiamo anche che la Saturation sia compresa tra 100 e 255 e che il Value sia compreso tra 80 e 255 in modo da accettare anche tonalità di colore differenti dovute alle ombre e ai riflessi delle sorgenti di illuminazione. InRange effettua quell operazione denominata Thresholding (in questo caso è un doppio thresholding), cioè valuta i valori superiori a un certo limite (Threshold) e inferiori a un secondo limite. Il risultato dell operazione è un immagine con alcune zone bianche che rappresentano le zone candidate a essere identificate con la nostra pallina blu. Tali zone sono degli agglomerati di pixel, che, in visione artificiale, vengono chiamati blob. Quello che descriveremo nei successivi passaggi è un modo molto semplice di realizzare una blob analysis, l analisi di agglomerati di pixel. Il risultato della fase [E] è migliorato in [F] tramite due operatori morfologici : erode [6] e dilate [7]. Come intuibile dal loro nome, erode e dilate prima riducono le dimensioni dei blob ottenuti al passo [E], per poi riportarle alla dimensione di partenza. L erosione iniziale elimina le imperfezioni dei contorni dei blob, ma soprattutto cancella i piccoli blob che si generano a causa del rumore. Il risultato delle operazioni finora effettuate è mostrato a video nella finestra Risultato Threshold (figura 1). BLOB ANALYSIS SEMPLIFICATA Dopo aver generato i blob relativi alle zone dell immagine dove è più probabile che sia presente la pallina blu che stiamo cercando, è necessario analizzarne le caratteristiche per capire quale è quello che corrisponde effettivamente all oggetto cercato. I blob sono macchie bianche nell immagine, ma non sono ancora stati organizzati in alcuna struttura dati. Per fare questo OpenCV mette a disposizione una funzione utile proprio allo scopo: findcontours [8]. Tale fun- Gli spazi di colore RGB e HSV RGB e HSV sono due spazi che permettono di rappresentare il colore in due modalità completamente differenti. RGB è uno spazio a tre dimensioni additivo, cioè sommando le componenti di ogni canale si ottengono colori differenti a seconda delle tre intensità utilizzate. Quando le intensità dei tre canali è uguale si ottengono i grigi, partendo dal nero (quando le intensità sono nulle) fino ad arrivare al bianco (quando le tre intensità sono massime). La somma del canale rosso (R) con il canale verde (G) forma i gialli, i magenta si ottengono sommando rosso (R) e blu (B), infine i ciani si ottengono dalla somma del verde (G) con il blu (B). HSV è ancora uno spazio a tre dimensioni, ma assimilabile a uno spazio cilindrico (figura 5). Il canale H rappresenta un angolo, S la distanza dall asse del cilindro e V l altezza dalla base. Sull asse del cilindro si trovano i grigi, che si ottengono per una saturazione (S) pari a 0, il nero si ottiene con S=0 e valore nullo (V=0), il bianco con S=0 e V=100. Se S=0, il canale H perde significato e per convenzione si considera pari a 0. H identifica la tinta, la cromaticità del colore rappresentato, all aumentare di S il colore finale è sempre meno grigio, all aumentare di V è sempre meno scuro. Con S=100, abbiamo i colori saturi, quelli che possono essere definiti puri. Il canale HSV è utilizzato per le operazioni che richiedono confronti tra colori in quanto il canale H identifica univocamente la tinta e con una semplice operazione di differenza è possibile valutare la similarità tra due oggetti differenti. H inoltre è quasi insensibile alle variazioni di illuminazione dell ambente osservato (ci sono casi limiti di luce troppo bassa o troppo alta), rendendo questo tipo di confronti molto stabile. 104

7 Figura 5: rappresentazione cilindrica dello spazio di colore HSV. zione permette di calcolare i contorni dei blob e di organizzarli in diverse strutture dati a seconda di quello di cui si ha bisogno. Nel nostro caso (blocco [G]) utilizzeremo la struttura più semplice, cioè una lista di contorni esterni immagazzinata nel vettore di vettori contours, dove ogni contorno non è altro che un insieme di punti (cv::point) raccolti appunto in un vector. Dal vettore dei contorni estrarremo nel blocco [H] quelli che sono assimilabili a una palla, raccogliendoli in un nuovo vettore di vettori di punti balls e immagazzinando anche informazioni riguardo al minimo rettangolo (Bounding Box) che racchiude ognuno di essi (ballsbox). Per scegliere i contorni assimilabili a una palla useremo due discriminanti: rapporto tra le dimensioni del rettangolo e area del rettangolo. Sceglieremo i rettangoli il cui rapporto tra le dimensioni è quasi 1.0, cioè i rettangoli che sono quasi dei quadrati, caso ideale di Bounding Box di una circonferenza. Inoltre tali rettangoli devono avere almeno un area di 400 pixel, scarteremo dunque palline più piccole di 20 pixel di diametro, che sono più probabilmente errori di elaborazione. Nel calcolo del rapporto tra le dimensioni facciamo sempre in modo che tale valore sia sempre inferiore a 1.0, invertendo il rapporto in caso contrario, in modo tale da fare un solo controllo (if(ratio > 1.0f)), senza considerare differenti casi possibili. Alla fine del ciclo di elaborazione non rimane che visualizzare il risultato ottenuto [I], mostrando per ogni pallina identificata il suo contorno (draw- Contours), il suo Bounding Rect (rectangle) e il suo centroide (circle) visualizzando anche le sue coordinate in pixel rispetto all origine dell immagine (puttext), che per convenzione informatica è nell angolo in alto a sinistra (figure 2 e 3). Su YouTube ( you - tube.com/ watch?v =g - AsteV57pqQ) è disponibile un video che illustra il funzionamento in tempo reale dell algoritmo descritto (figura 4). CONCLUSIONI Abbiamo visto una semplice applicazione di visione artificiale in grado di identificare una pallina blu in una scena e di tracciarne le coordinate frame dopo frame. Applicazioni simili sono molto utilizzate in robotica quando è necessario riconoscere e inseguire oggetti semplici la cui forma e colore sono noti a priori. Competizioni robotiche quali Robocup [9] o Eurobot [10] possono essere approcciate con algoritmi basati sulla procedura illustrata nel listato 1, adattandolo alle specifiche richieste dall edizione annua delle varie competizioni. CODICE MIP PER approfondire... Nuovo sito ufficiale di OpenCV, dove potete trovare tutte le novità sulla libreria, documentazione e tutorial: - [1] Documentazione ufficiale Standard Lib C++ (inglese): - [2] Gli spazi di colore: - [3] Documentazione ufficiale della funzione inrange: - [4] Documentazione ufficiale del Filtro di GaussianBlur: - [5] Documentazione ufficiale della funzione cvtcolor: - [6] Documentazione ufficiale della funzione erode: - [7] Documentazione ufficiale della funzione dilate: - [8] Documentazione ufficiale della funzione findcontours: - [9] Robocup: - [10] Eurobot: - Sul sito non ufficiale di OpenCV per gli utenti italiani sono presenti i primi video tutorial analoghi ai primi articoli apparsi su Fare Elettronica: Per discutere il codice dell articolo o chiedere consigli e chiarimenti non esitate a contattare l autore all indirizzo myzhar@robot-home.it Esempi e tutorial su OpenCV in italiano sono anche disponibili sul blog dell autore: 106