Segmentazione e analisi di forme per il controllo qualita di prodotti agricoli Gian Marco Calvini LIRA-Lab - DIST University of Genova Via Opera Pia 13-16145 Genova, Italy Technical Report TR 9/94 December 1994 Abstract Questo documento descrive brevemente una tesi di laurea [Calvini, 1994], interamente sviluppata nel Laboratorio Integrato di Robotica Avanzata (L.I.R.A.) del Dipartimento di Informatica Sistemistica e Telematica della Universita di Genova. Tale ricerca, terminata nel mese di luglio 1994, consisteva nella realizzazione di un setup, che con l' uso della sola visione, fosse in grado di individuare ed esaminare prodotti ortofrutticoli, distinguibili per il loro aspetto particolarmente buono. A tal ne abbiamo usato la workstation V.D.S. 7001 Eidobrain, dotata di una sceda graca particolarmente adatta allo scopo e descritta al paragrafo 2, assieme al rimanente hardware necessario. Per l' analisi delle immagini acquisite, abbiamo invece messo a punto un software che implementasse gli algoritmi di visione articiale appositamente sviluppati e riassunti al paragrafo 3. Essenzialmente questi algoritmi si basano sulla estrazione di silhouettes in base al loro colore e da un successivo esame di queste porzioni di immagine selezionate. Sfruttando poi la conoscenza di alcune caratteristiche geometriche peculiari, diventera possibile confermare o annullare il precedente riconoscimento, avvenuto mediante l' analisi del colore. Provato con diversi tipi di ortaggio (pomodori, peperoni, carote, cavolini di Bruxelles e nocchi), il sistema messo a punto ha dato in tutti i casi risultati molto soddisfacenti. The University of Genova - DIST supported this work.
Contents 1 Alcuni concetti generali 2 2 l' hardware impiegato 2 3 Il software sviluppato 4 Le strutture dati scelte : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 4 L' algoritmo di Controllo Qualita : : : : : : : : : : : : : : : : : : : : : : : : 6 Riepilogo : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7 4 Risultati sperimentali 7 1
1 Alcuni concetti generali Il software e stato scritto in linguaggio "C", integrato da alcune speciali funzioni di libreria deputate alla gestione della scheda di acquisizione. Il riconoscimento e la valutazione della qualita delle verdure si basa sul confronto tra una descrizione di massima, scelta dall' operatore umano, e le caratteristiche estratte dai vegetali inquadrati. Per far cio si e ricorso alla estrazione di pattern mediante segmentazione sul piano della tinta e della saturazione (Hue e Saturation), ad una loro successiva analisi mediante tecniche basate su algoritmi di logica fuzzy, ed inne tenendo conto della presenza o meno di particolari desiderabili, come per esempio i piccioli, ed indesiderabilicome le ammaccature, la presenza di agenti patogeni ed altro. Compito dell' utente nale e la denizione, a seconda delle sue esigenze personali, delle caratteristiche ideali per la varieta di verdura che intende esaminare. Ovviamente tutte le descrizioni si possono salvare su le, leggere e modicare per adattarle alle varieta simili. E interessante sottolineare come l' operatore umano non debba necessariamente essere un esperto di programmazione: il suo compito infatti si risolve semplicemente fornendo indicazioni sulle caratteristiche delle verdure, senza preoccuparsi di come vengano poi usati questi dati. Acquisita una immagine di un vegetale della stessa varieta (questa volta reale), il software sviluppato lo confronta con le caratteristiche ideali trovate nella descrizione dell' operatore umano. Se il caso, riconosce la presenza di uno o piu fra i pregi o i difetti previsti ed inne genera una valutazione nale sulla qualita del prodotto. Per produrre questo resoconto nale, il programma estrae dalla immagine le forme dei vegetali e di tutti i possibili pregi e difetti. Inizialmente esamina tutte le regioni di colore uguale alla verdura in esame, poi, una volta isolate queste regioni (pattern), verica la loro rispondenza alle caratteristiche ideali. In seguito si analizzano anche i pattern di colore diverso, che possono essese valutati come pregi o difetti. Tutti i pattern cos ricavati vengono analizzati utilizzando algoritmi basati sulla logica fuzzy [Zadeh, 1965] [Dubois and Prade, 1980] [Bezdek, 1993] [T. Terano, 1992], applicandoli ad alcuni parametri geometrici caratteristici della forma. Questi parametri sono il rapporto tra la area ed il perimetro, il rapporto tra gli assi di inerzia ed una misura basata sulla simmetria. 2 l' hardware impiegato Brevemente descriviamo la congurazione hardware del nostro setup, il cui schema di massima si trova nella gura 1. Esaminando uno alla volta ogni singolo componente del setup minimo, troviamo La workstation Come gia accennato, si tratta di un Eidobrain 7001 [VDS, 1988] [VDS, 988A] [VDS, 988B] [VDS, 988C], prodotto dalla V.D.S. di Firenze. Equipaggiato con un processore centrale Motorola 68040 ha una struttura modulare che lo rende facilmente espandibile, grazie anche alla possibilita di coesistenza di 16 processori diversi. Le immagini 2
VDS RGB Camera COHU Vegetable RGB Sync RGB Sony Sync Monitor Main Menu Trackball 1. Do This 2 Do That 3 Do All 4 Undo 0 Exit Consolle DIST Workstation V.D.S. 7001 Figure 1: Schema della congurazione hardware impiegata. trattate dal V.D.S. 7001 sono conformi allo standard televisivo europeo per segnali monocromatici. E inoltre possibile accettare tre diversi segnali video monocromatici oppure accettare anche un unico segnale RGB a 24 bit ed inviare i tre canali in uscita ad un monitor a. il V.D.S. 7001 inne, e equipaggiato con una speciale scheda microprogrammata denominata F.I.P. (Fast Image Processor) per la elaborazione veloce di immagini. La telecamera Durante la nostra sperimentazione, e stata utilizzata una telecamera RGB, in quanto gli algoritmi sviluppati e la scheda di acquisizione della workstation richiedono in ingresso le tre componenti cromatiche separate. In particolare abbiamo adoperato una COHU 1710 che utilizza un sensore CCD da mezzo pollice. La consolle Si tratta di un vecchio ma sucentemente funzionale VT100; la workstation 7001 Eidobrain e pure fornita di un altro terminale, che, volendo, puo sostituire la consolle. Il Monitor L' interfaccia video del 7001 Eidobrain e conforme allo standard RS-170. I segnali RGB possono avere il sincronismo separato (questa soluzione e quella da noi adottata nelle prove) ed hanno connettori tipo BNC a 75 di impedenza all' uscita dalla workstation. La trackball Questa periferica e di fondamentale importanza quando viene utilizzata dal- 3
l' operatore per indicare regioni della immagine con determinate caratteristiche. Se ne puo fare a meno solo a patto di usare descrizioni gia preparate leggendole da le. 3 Il software sviluppato Vediamo ora come sia stato risolto il problema di dare una denizione di qualita compatibile con il modo di ragionare umano ed allo stesso tempo, facilmente gestibile da un normale programma scritto in linguaggio "C". Come primo passo abbiamo spostato il problema dallo spazio RGB allo spazio HSI, ed in particolare sul piano HS. Eettivamente le persone comuni immaginano un colore come una tinta particolare (Hue) piu o meno pura/intensa (Saturata), mentre dicilmente si pensa ad un colore come alla somma delle sue tre componenti rossa verde e blu. Inoltre nel nostro laboratorio si erano gia arontati con successo alcuni problemi riguardanti la segmentazione di prodotti agricoli nel loro ambiente naturale [Sandini et al., 1990a] [Sandini et al., 1990b] [Sandini et al., 1991] [Buemi et al., 1991], riscontrando nel piano dato dalla tinta e dalla saturazione buoni risultati ed una migliore robustezza alla variazione delle condizioni di illuminazione. Per la trasformazione dallo spazio RGB a quello HSI abbiamo adottato le formule proposte da Otha [Yu-Ichi Ohta, 1980] 8 >< >: I 1 = I 2 = I 3 = R+G+B 3 R?B 2 2G?R?B 4 8 >< >: I = I 1 q S = I 2 + 2 I 2 3 H = atan( I 3 I 2 ) Una volta stabilito come rappresentare il colore, adoperando tecniche di segmentazione, siamo in grado di estrarre un qualunque pattern da una normale immagine. In seguito, per analizzarne la forma, abbiamo scelto di esaminare semplici invarianti geometrici come il rapporto area/perimetro, il rapporto tra gli assi di inerzia, ed una misura della asimmetria rispetto all' asse di inerzia piu lungo. Successivamente, l' analisi si conclude con una ricerca di particolari desiderabili (come per esempio i piccioli) che possono aumentare la gradevolezza dell' aspetto esteriore, e di particolari che al contrario diminuiscona la qualita del prodottto, quali le ammaccature, le aree aette da agenti patogeni ed altro. Le strutture dati scelte Il tipo di descrizione scelta e mostrata alla gura 2, dove un qualunque prodotto agricolo viene rappresentato con una stringa di caratteri, che ne contiene il nome, e soprattutto tre dierenti liste dinamiche di strutture chiamate oggetto. Ciascun oggetto, se nella prima lista dinamica, serve a rappresentare i parametri tipici del vegetale, mentre, se nella seconda o nella terza lista, rappresenta rispettivamente un possibile merito o un possibile difetto. L' 4
algoritmo di controllo qualita, fra le altre cose, si preoccupa di estrarre dalla immagine tutti i pattern con le caratteristiche riassunte da tutte le strutture oggetto e successivamente di esaminarli. Ogni oggetto al suo interno contiene i dati caratteristici del particolare che rappresenta, come il suo nome, il suo peso (nel senso che per esempio esistono difetti peggiori di altri e quindi devono essere valutati diversamente) e tre fuzzy set per tenere conto dei range ammissibili per il rapporto area / perimetro, il rapporto fra gli assi di inerzia e la misura della simmetria. Viene memorizzato inoltre, il numero minimo di pixel per poter considerare una porzione di immagine come pattern descritto da quel particolare oggetto. Quest' ultimo risulta utile per contrastare gli eetti del rumore stocastico, che si manifesta sotto forma di pixel spuri i quali, se non eliminati, verrebbero considerati erroneamente come regioni nel processo di riconoscimento. Inoltre, il colore caratteristico di ciascun oggetto viene memorizzato con una lista dinamica, iniziata al suo interno, di strutture chiamate col rett. Ciascuna col rett rappresenta una regione a forma rettangolare del piano Hue e Saturation contenente solo caratteristici per quell' oggetto, mentre una unione di domini rettangolari permette di ricoprire qualsiasi regione nel piano HS. VerdCorrente v_nome varieta o_id nextrett ogg_nome peso sogliafilter 3 range fuzzy nextogg struct oggetto nextparticol o_id nextrett ogg_nome peso sogliafilter 3 range fuzzy nextogg struct oggetto nextdifetti o_id o_id o_id nextrett nextogg nextogg nextogg nextrett nextrett ogg_nome ogg_nome ogg_nome peso sogliafilter peso sogliafilter peso sogliafilter 3 range fuzzy 3 range fuzzy 3 range fuzzy struct oggetto struct oggetto struct oggetto Figure 2: Organizzazione di una possibile descrizione: il prodotto ortofrutticolo, rappresentato con l' oggetto della prima lista dinamica, e caratterizzato da una sola particolarita positiva (seconda catena), inoltre e possibile distinguere tre difetti diversi. Vediamo ancora come si riesca a risalire, da una immagine, ad un certo numero di pattern di questa, ognuno dei quali descrivibile con una struttura dati come quella in gura 3. 5
NEXTRETT HUEMIN HUEMAX SATMIN SATMAX NEXTRETT HUEMIN HUEMAX SATMIN SATMAX NEXTRETT PESO SOGLIA NOME NEXTOGG Figure 3: Rappresentazione in dettaglio della la struct oggetto. L' algoritmo di Controllo Qualita Sintetizzando al massimo, l' algoritmo di segmentazione si compone di una prima parte, in cui si individuano tutte le zone dell' immagine in base ai memorizzati nelle liste dinamiche di col rett di ogni oggetto, e di una seconda, dove invece, in base alle informazioni sulla forma contenute nel setup, queste zone vengono classicate come parti componenti di una verdura oppure scartate. Poiche quest' ultimo esame fa ricorso alla logica fuzzy, il risultato e il valore (compreso tra 0 ed 1) usualmente contrassegnato con la lettera, che indica il "grado di appartenenza" del pattern esaminato alla descrizione fatta con l' oggetto considerato come prototipo. In altre parole, tale grado di appartenenza vale 1 solo se il pattern in esame rientra appieno nei tre fuzzy set dell' oggetto che lo descrive. In questo modo, via via che si trovano pattern con le caratteristiche tipiche della verdura, si attribuiscono i loro rispettivi valori compresi tra 0 (pattern da scartare) ed 1 (caratteristiche ottimali). Per ciascun pattern riconosciuto come verdura, un primo indice di qualita, provvisorio, sara il grado di appartenenza fuzzy al tipo di pattern descritto con la relativa struct oggetto. In seguito sara pio possibile modicarlo qualora si riscontrasse la presenza di particolari desiderabili o di difetti ad esso associabile. 6
Riepilogo Come abbiamo visto, quindi, le zone interessanti di una immagine vengono inizialmente individuate dal loro colore: ogni possibile oggetto che compone la verdura, sia esso la verdura vera e propria, una particolarita o un difetto, ha propri, che vengono memorizzati con una lista dinamica di struct col rett. Ad esempio, con riferimento alla gura 2, supponiamo che il setup in questione sia composto da cinque struct oggetto: una per indicare la verdura vera e propria, una per indicare il suo picciolo, tre per tre possibili diversi difetti, ossidazione, malattia X, principio di mua. Ognuno di questi componenti e caratterizzato da propri, a volte parzialmente comuni con altri, che memorizza come unione di piu aree rettangolari sul dominio Hue Saturation. Ciascuna area rettangolare viene rappresentata con una struct col rett nella lista dinamica dell' oggetto corrispondente. Esistono due modi per aggiungere ad un oggetto, e l' utente sceglie di volta in volta quello che trova piu comodo. Individuando una zona dell' immagine, il programma calcola tinta e saturazione di tutti i pixel di questa regione e li mappa sul loro dominio nel piano Hue Saturation. In seguito l' utente sceglie se far scomporre il dominio in rettangoli autonomamente dal software o se farlo personalmente. Con un poco di esperienza sara possibile vericare che, a seconda delle situazioni, una soluzione puo risultare piu comoda dell' altra. Il vantaggio di descrivere il dominio dei desiderati in una maniera cos particolare si puo notare dalla accuratezza della denizione del dominio HS valido per la segmentazione: per avere una possibilita di raronto immediata, abbiamo lasciato traccia del vecchio algoritmo, il quale teneva conto solo di un unico dominio sul piano Hue Saturation. Adoperando solo quattro numeri (Hue minima, Hue massima, Saturation minima e Saturation massima) capita molto spesso di accettare come validi un gran numero di in realta inutili che possono indurre in errore la segmentazione (cfr g. 6 a destra). 4 Risultati sperimentali Per brevita prenderemo in esame solamente i risultati ottenuti con le carote, rimandando alla lettura della tesi di laurea [Calvini, 1994] coloro che volessero conoscere gli esiti degli altri esperimenti, peraltro analoghi al caso che presentiamo. Mentre il colore degli oggetto di nome "carota", rappresentato dalla apposita lista di strutture col rett, e visibile in gura 2 e 6, la forma caratteristica viene memorizzata con i seguenti domini fuzzy, visibili in gura 4. rapporto area/perimetro Per la precisione si tratta del valore dato da 2 area perimetro (1) Il fuzzy set vale 1 oltre 5.0, vale 0 prima di 3.0 e cresce linearmente fra 3.0 e 5.0. 7
Rapporto autovalori matrice inerzia Riferendoci alla lunghezza, si esamina asse inerzia lungo asse inerzia corto (2) Il fuzzy set che lo descrive, vale 0 no a 6.0, vale 1 oltre 9.5 e cresce linearmente tra 6.0 e 9.5. Grado di asimmetria La misura eettuata e data dal valore numero pixel asimmetrici rispetto l 0 asse principale il numero totale dei pixel (3) Il fuzzy set relativo vale 1 no a 2.5, vale 0 oltre 5.0 e decresce linearmente tra 2.5 e 5.0. µ µ µ 1 1 1 3 5 Rapp. area /perim. 6 9.5 Rapp. assi inerzia 0 2.5 5 coeff. asimmetr. Figure 4: Graco dei tre fuzzy set adoperati per descrivere la forma delle carote: a sinistra e il rapporto area / perimetro, in centro il rapporto tra la lunghezza degli assi di inerzia, a destra la misura della simmetria. Si e mantenuto su valori piuttosto piccoli il peso assegnato alla presenza del colletto, dal momento che non risulta strettamente necessario ne alla conservazione e ne allo scopo di conferire all' ortaggio un aspetto piu gradevole. Un esempio visivo dei risultati ottenuti si trova alle gure 5 e 6. 8
Figure 5: Immagine di un gruppo di carote prima del controllo qualita (a sinistra) e subito dopo la estrazione dei pattern mediante segmentazione sul piano HS (a destra). Figure 6: A sinistra le carote a controllo qualita concluso: come si puo vedere, la immagine e stata anche ltrata. A destra il dominio HS adoperato per descrivere i delle carote. 9
Nome ns. descrizione qualita a/p I 1 /I 2 as carote1a leggermente curva.78 4.53 19.55 3.31 carote1b normale 1 5.62 17.62 1.65 carote1c normale 1 7.21 19.26 2.51 carote2a storta e piuttosto sottile scartato 3.15 25.61 9.62 (out) carote2b con spaccatura longitudinale 1 5.31 18.59 2.20 carote2c leggermente curva 1 5.56 15.17 2.11 carota2d pezzo di carota scartato 3.71 4.25 (out) - carote3a normale.85 4.84 27.03 2.25 carote3b grossa e curva.68 5.80 14.87 3.92 carote3c molto corta.22 4.39 7.13 2.09 carote3d curva ma con colletto.82 7.15 25.39 3.83 carote4a leggermente curva.53 7.61 22.87 3.67 carote4b leggermente curva.82 7.76 27.89 2.96 carote5a normale 1 5.88 22.60 2.43 carote5b con spaccatura longitudinale 1 6.75 28.62 2.27 carote6a normale 1 5.25 32.73 2.13 carote6b con piccola zona ammuta.56 4.11 21.11 2.41 Table 1: La lista delle carote impiegate per gli esperimenti ed i risultati dei test. Le carote chiamate carote3* sono quelle mostrate in gura. 10
References [Bezdek, 1993] J.C. Bezdek, Fuzzy Models - What Are They, and Why?, IEEE Transaction on Fuzzy Systems,Vol 1, N 1 pagg.1,6, 1993. [Buemi et al., 1991] F. Buemi, M. Massa, and M. Zucchini, Sistema di Visione Stereoscopicoa Colori per la Robotica Agricola, DIST - Universita di Genova, Tesi di Laurea, 1991. [Calvini, 1994] G. M. Calvini, Segmentazione e Analisi di Forme per il Controllo Qualita di Prodotti Agricoli, DIST - Universita di Genova, Tesi di Laurea, 1994. [Dubois and Prade, 1980] D. Dubois and H. Prade, Fuzzy Sets and Systems : Theory and Applications, New York Academic Press, 1980. [Sandini et al., 1990a] G. Sandini, F. Buemi, M. Massa, and M. Zucchini, Visually Guided Operations in Green Houses, IARP1 pagg. 69-83, 1990. [Sandini et al., 1990b] G. Sandini, F. Buemi, M. Massa, and M. Zucchini, Visually Guided Operations in Green Houses, IEEE International Workshop on Intelligent Robots and Systems - IROS 90, 1990. [Sandini et al., 1991] G. Sandini, Ferrari, Grosso, Magrassi, and Massa, Vision Based Operations in Green Houses, IARP2 pagg. 95-104, 1991. [T. Terano, 1992] S. Masui T. Terano, Image Understanding by Fuzzy Logic, Joint Japanese - European Symposium on Fuzzy Systems, Ottobre 1992. [VDS, 1988] VDS, VDS 7001 Eidobrain: Fast Image Processor Reference Manual, Video Display Systems, 1988. [VDS, 988A] VDS, VDS 7001 Eidobrain: Architettura per la Elaborazione di Immagini in tempo reale, Video Display Systems, 1988/A. [VDS, 988B] VDS, VDS 7001 Eidobrain: Tecnical Memo, Video Display Systems, 1988/B. [VDS, 988C] VDS, VDS 7001 Eidobrain: Basic Conguration Manual, Video Display Systems, 1988/C. [Yu-Ichi Ohta, 1980] Toshiyuki Sakay Yu-Ichi Ohta, Takeo Kanade, Colour Information for Region Segmentation, Computer Graphics and Image Processing, 13, pp. 222-241, 1980. [Zadeh, 1965] L.A. Zadeh, Fuzzy Sets, Information and Control,8, pagg.338,353, 1965. 11