INTRODUZIONE. Introduzione

Transcript

1 INTRODUZIONE i Introduzione Nel presente lavoro viene affrontato il problema del riconoscimento automatico di segnali stradali da scene esterne riprese da telecamera, tema di grande interesse nello sviluppo di sistemi di assistenza alla guida e di navigazione automatica di veicoli mobili. Il processo che porta al riconoscimento di un segnale stradale è composto da una prima fase di segmentazione che divide l immagine acquisita nelle sue parti più significative, seguita dalla fase di classificazione della regione segmentata che individua il tipo di segnale stradale. La fase di segmentazione avviene tramite tecniche di dissimilarità dei pixel che mirano ad individuare linee e contorni delle regioni d interesse oppure attraverso tecniche di omogeneità che estraggono regioni aventi proprietà simili ai cartelli stradali. La fase di classificazione può avvenire tramite tecniche che studiano la morfologia delle regioni segmentate quali la determinazione di simmetrie rispetto a certi assi o il confronto con modelli prefissati, oppure attraverso reti neurali addestrate al riconoscimento. Presso il laboratorio di Scienza dei Calcolatori e Intelligenza Artificiale (CSAI) del Dipartimento di INgegneria informatica (DINFO) dell Università di Palermo è stata sviluppata un applicazione software per il riconoscimento dei segnali stradali in scene esterne [1]. Il sistema già messo a punto prevedeva per la segmentazione un analisi del colore che estraeva zone dell immagine aventi colore simile a quelli dei segnali stradali e usava per la classificazione una combinazione tra analisi della forma che individuava regioni aventi forma simile ai cartelli stradali e una rete neurale addestrata. Il sistema [1] implementato su un architettura SIMD (Single Instruction Multiple Data) aveva un tasso medio di riconoscimento superiore al 90% ma un tempo di elaborazione di circa 3 secondi che non permetteva applicazioni in tempo reale. L attuale disponibilità, ad un costo relativamente basso, di hardware ad alta scala di integrazione (VLSI) consente ora la realizzazione di sistemi di elaborazione in tempo reale delle immagini acquisite da una telecamera superando i colli di bottiglia delle CPU. In particolare, il ricorso ai Field- Programmable Gate Array (FPGA) consente l implementazione di sistemi sincroni guidati dal segnale di clock. Poiché le FPGA sono riprogrammabili è possibile la rapida realizzazione, a bassi costi, di un prototipo.

2 INTRODUZIONE ii Sempre nell ambito delle attività del laboratorio CSAI del DINFO dell Università di Palermo è stato implementato su FPGA il sottosistema di segmentazione [2] del riconoscitore automatico di segnali stradali, in grado di segmentare regioni di colore rosso dalle immagini acquisite dalla telecamera. L applicazione è stata realizzata sulla piastra RC100 prodotta dalla CELOXICA Inc.[12] dove alloggia una FPGA appartenente alla famiglia Spartan II prodotta dalla XILINX Inc.[11]. L implementazione su FPGA del sottosistema di classificazione dei segnali stradali a partire dalle regioni segmentate è stato l obiettivo della presente tesi. Il classificatore di cartelli stradali individua in tempo reale dalle regioni segmentate la classe del segnale (pericolo,divieto,indicazione,dare precedenza). Per la realizzazione si è partiti dai risultati ottenuti in [2] riprogettando l intero sistema di riconoscimento allo scopo di contenerlo in un unica FPGA. E stato ampliato il modulo [2], prevedendo l analisi del colore blu e l estrazione delle regioni segmentate, ed è stato aggiunto il modulo di classificazione che esegue l analisi della forma delle regioni di colore rosso o blu fornite dalla segmentazione. La nuova architettura non richiede il ricorso ai banchi di memoria SSRAM presenti sulla piastra RC100 qualora non fosse necessario mostrare i risultati sul monitor. In questo modo si ha la possibilità di aggiungere nella stessa FPGA la classificazione neurale che completa il processo di riconoscimento. Difatti le memorie SSRAM possono essere utilizzate per contenere la grande quantità di pesi forniti dall addestramento della rete neurale. Le risorse hardware richieste dall applicazione assicurano sufficienti margini per implementare lo stadio neurale. Il classificatore ha ottenuto un tasso di riconoscimento medio di segnali stradali dell 80% e un tempo di elaborazione del frame di 2,54 msec. L implementazione del classificatore sulla FPGA ha richiesto un linguaggio HDL (Hardware Description Language) per la descrizione della logica del sistema e alcuni strumenti software che trasformano il codice in un file di configurazione del chip. Attraverso l ambiente di sviluppo DK1.1 [14] realizzato dalla Celoxica [12] è stato possibile descrivere il sistema utilizzando il linguaggio Handel-C [13]. Il risultato della compilazione del codice è stato trasformato in un file binario di configurazione dal software Design Manager [15] realizzato dalla Xilinx [11]. La programmazione della FPGA è avvenuta ricorrendo al tool File Transfer Utility [16] realizzato dalla Celoxica [12].

3 INTRODUZIONE iii Il presente lavoro è articolato nel modo seguente: capitolo 1 : viene descritto il processo di classificazione dei segnali stradali, analizzando le problematiche legate all acquisizione di immagini da scene esterne; capitolo 2 : vengono analizzate le risorse hardware a disposizione, descrivendo la struttura ed il funzionamento della FPGA Spartan II e della piastra RC100; capitolo 3 : vengono descritti il flusso di progetto che porta alla programmazione della FPGA e gli strumenti software necessari; capitolo 4 : viene descritta l applicazione analizzando l architettura complessiva del classificatore e le routine grafiche dei sottosistemi di segmentazione e classificazione; capitolo 5 : viene riportata un analisi delle prestazioni del sistema in termini di tassi di riconoscimento, tempi di elaborazione e risorse; appendice A : vengono descritte le caratteristiche di un traduttore automatico di algoritmi di elaborazione delle immagini da C a Handel-C; appendice B : viene riportato il codice Handel-C dell applicazione. L applicazione è stata svolta all interno delle attività di ricerca del gruppo IN.C.A. (INnovative Computer Architecture) del DINFO dell Università di Palermo e dell I.CA.R. (Istituto di CAlcolo e Reti ad alte prestazioni) del CNR (Consiglio Nazionale delle Ricerche).

4 CAPITOLO 1 Il riconoscimento di segnali stradali 1 Capitolo 1 Il riconoscimento dei segnali stradali In questo capitolo viene descritto il processo di riconoscimento dei segnali stradali in scene esterne [1]. Tale processo prevede una fase di segmentazione delle immagini acquisite dalla telecamera e una fase di classificazione delle regioni individuate. La prima fase estrae regioni di colore rosso e blu, tipici dei cartelli stradali, la seconda individua tra le regioni segmentate quelle aventi forma simile ai segnali stradali e, attraverso una rete neurale addestrata, riconosce il tipo di cartello. Le analisi del colore e della forma eseguite dal processo di riconoscimento dovranno tenere conto delle problematiche legate a tutte le possibili cause naturali e artificiali che possono comprometterne l efficacia. 1.1 Descrizione del processo di riconoscimento Il processo di riconoscimento permette l individuazione di segnali stradali da immagini acquisite dalla telecamera. Il riconoscimento prevede una fase di segmentazione che divide l immagine nelle sue parti significative (punti isolati, linee, contorni e regioni) e una fase di classificazione che individua le proprietà delle zone segmentate. La fase di segmentazione applica all immagine acquisita un analisi del colore che individua regioni aventi colore simile ai segnali stradali mentre la fase di classificazione applica alle zone estratte un analisi della forma che stabilisce la classe del segnale (pericolo, divieto, indicazione e dare precedenza) e una classificazione neurale che individua il tipo di segnale. La figura mostra il processo di riconoscimento che permette d individuare segnali stradali da immagini acquisite dalla telecamera.

5 CAPITOLO 1 Il riconoscimento di segnali stradali 2 Immagine acquisita dalla telecamera Analisi del colore Regioni rosse segmentate Regioni blu segmentate Analisi della forma Segnale di divieto Segnale di obbligo Segnale di dare precedenza Classificazione neurale Segnale di dare precedenza Tipo di segnale Figura 1-1 : Processo di riconoscimento L analisi del colore individua regioni aventi colore simile ai segnali stradali confrontando l informazione cromatica dei pixel dell immagine acquisita con i colori rosso e blu tipici dei cartelli stradali. L analisi della forma determina se la regione segmentata ha la forma di un segnale stradale confrontandone i pixel con quelli di modelli prefissati. In particolare, se la regione è di colore blu viene comparata con una forma circolare relativa ai segnali di indicazione mentre se la regione è di colore rosso viene confrontata con le forme circolare, triangolare con la punta in su e in giù relative rispettivamente ai segnali di divieto, pericolo e dare precedenza. La tecnica utilizzata nell analisi del colore consiste in un filtraggio passa banda con soglie statiche relative alle tinte ideali del rosso e del blu. La tecnica utilizzata nell analisi della forma è il calcolo di coefficienti di similitudine tra le regioni segmentate e i modelli rappresentanti la percentuale di pixel uguali.

6 CAPITOLO 1 Il riconoscimento di segnali stradali 3 Una rete neurale addestrata al riconoscimento di cartelli stradali permette di stabilire il tipo di segnale tra quelli d indicazione, divieto e pericolo secondo le tabelle seguenti [1]. Segnale di divieto Descrizione del segnale Tipo Divieto di svolta a destra 0 Divieto d inversione 1 Limite di velocità 30 Km/h 2 Limite di velocità 40 Km/h 3 Limite di velocità 80 Km/h 4 Divieto di sorpasso 5 Divieto di sosta 6 Divieto di sosta e fermata 7 Tabella 1-1 : Segnali di divieto riconosciuti Segnale d indicazione Descrizione del segnale Tipo Direzione in avanti o a destra 0 Direzione in avanti 1 Direzione a destra 2 Tabella 1-2 : Segnali di indicazione riconosciuti

7 CAPITOLO 1 Il riconoscimento di segnali stradali 4 Segnale di pericolo Descrizione del segnale Tipo Strada senza banchina 0 Curva pericolosa a destra 1 Curva pericolosa prima a destra poi a sinistra 2 Curva pericolosa prima a sinistra poi a destra 3 Strada a doppio senso di circolazione 4 Pericolo generico 5 Incrocio 6 Incrocio a destra 7 Semaforo 8 Tabella 1-3 : Segnali di pericolo riconosciuti La rete neurale è basata sul percettrone multistrato con uno strato d ingresso, uno strato nascosto e uno strato d uscita. La funzione di attivazione che determina l uscita post-sinaptica dello strato d ingresso è lineare, quella dello strato nascosto è sinusoidale e quella dello strato d uscita è lineare. Un circuito WTA individua il segnale stradale selezionando il maggiore tra le uscite dei neuroni dello strato d uscita.

8 CAPITOLO 1 Il riconoscimento di segnali stradali Analisi delle problematiche Il processo di riconoscimento deve considerare tutte le possibili cause naturali o artificiali legate all acquisizione d immagini da scene esterne che possono comprometterne l efficacia. L analisi del colore deve tener conto dei seguenti aspetti che possono influenzare il colore degli oggetti : variabilità delle scene che fanno da sfondo ai segnali stradali; variazioni di luminosità legate all alternanza giorno-notte, al cambiamento delle condizioni atmosferiche e alla presenza di oggetti circostanti; sovrapposizione di rumore introdotto dai dispositivi d acquisizione che non operano in condizioni ideali. L analisi della forma deve tener conto dei seguenti aspetti che possono influenzare la forma degli oggetti : segnali stradali deformati; cartelli stradali ripresi da una qualunque angolazione ed a qualsiasi distanza. 1.3 Requisiti del processo di riconoscimento Alla luce dell analisi delle problematiche relative all acquisizione d immagini da scene esterne, emergono i requisiti che il processo di riconoscimento deve possedere per non compromettere l efficacia del sistema. Il rumore introdotto dal dispositivo d acquisizione deve essere ridotto attraverso un opportuno filtro che renda i colori dell immagine più omogenei senza però offuscare i contorni. La possibilità che un segnale stradale sia deformato richiede l applicazione di un filtro per il miglioramento della qualità dell immagine che renda i contorni più regolari. La possibilità di riprendere un cartello stradale da qualunque angolazione comporta, nell analisi della forma, il confronto della regione segmentata non solo col modello della forma del segnale ma anche con sue rotazioni.

9 CAPITOLO 1 Il riconoscimento di segnali stradali 6 La possibilità di riprendere un segnale stradale da una qualunque distanza richiede la normalizzazione delle regioni individuate dall analisi del colore ad una dimensione prefissata, uguale a quella dei modelli. E necessaria la conversione dell immagine RGB acquisita dalla telecamera nello spazio colore HSV (Hue Saturation Value), meno sensibile a variazioni della luminosità delle scene esterne. Le formule di trasformazione sono quelle di Travis che, a partire dalle componenti normalizzate R G B r = g = b = R + G + B R + G + B R + G + B determinano le corrispondenti componenti HSV nel seguente modo : v = max(r, max(r, min(r, s = max(r, h indefinita 5 + b 1 - g = 1 + r 3 - b 3 + g 5 - r se s = 0 se r = max se r = max se g = max e g = min e g min e b = min se g = max e b min se b = max e r = min in ogni altro caso dove: r r = min( r, g g = min( r, b b = min( r, Per valori di r,g e b in [0,1] si ottengono valori di s e v in [0,1] e di h in [0,6] che vengono normalizzati in [0,360]. La sogliatura, pertanto, deve effettuare un filtraggio passa banda che elimini i colori aventi tinta diversa da quella rossa (340< hred < 20) o da quella blu (195 < hblu < 230) e i colori appartenenti alla zona acromatica (S 0.25, V 0.2, V 0.9) dello spazio colore HSV.