Giornata ANIPLA Introduzione alla visione industriale 3D. Milano, 14 giugno R. Sala - remo.sala@polimi.it

Transcript

1 Giornata ANIPLA Introduzione alla visione industriale 3D Milano, 14 giugno R. Sala - remo.sala@polimi.it

2 La visione delle macchine: 35 anni di storia Il testo Digital image processing di Gonzales-Wintz va in stampa per la prima volta nel 1977 e diventa un volume di riferimento per quanto riguarda il mondo della visione. Cosa è cambiato da allora: - hardware più potente ed economico - disponibilità di sensori ad alta risoluzione - sviluppo di nuovi algoritmi - semplificazione dello sviluppo delle applicazioni grazie a strumenti di configurazione e di librerie integrate con gli strumenti di sviluppo Tecnologia matura crescita del fatturato del settore.

3 La visione delle macchine nell industria Si tratta di una tecnologia ormai essenziale nei processi industriali, presente in tutte quelle aziende che hanno necessita di rimanere competitive sul mercato. In ambito manifatturiero i settori applicativi consolidati sono: - verifica di conformità; - misura senza contatto; - guida robot - identificazione

4 La visione delle macchine nel mondo Coinvolgimento di nuovi settori al di fuori del manifatturiero: settore agro alimentare (allevamenti e coltivazioni) ambito forense (identificazione) ingegneria biomedica (riabilitazione ed analisi del recupero) sicurezza (video registrazione, sorveglianza, analisi) traffico (identificazione veicoli, supervisione) assistenza alla guida (riconoscimento segnali, angolo buio) intrattenimento (dal joystick al corpo) robotica di servizio (robot umanoidi) elettrodomestici (robot di pulizia) protezione civile (monitoraggio del territorio) con rilevanti vantaggi per i rispettivi ambiti.

5 Visione umana e visione industriale Nel quotidiano molte delle nostre azioni sono guidate dalla visione, che nel mondo biologico si chiama globalmente sistema di percezione visiva (occhio, retina, corteccia cerebrale). Nell industria un sistema di visione è costituito da una o più telecamere connesse ad un elaboratore che, esaminando le immagini riprese con un software opportuno, estrae delle informazioni utili al processo.

6 Visione umana Circa il 40% del cervello è impegnato nel processo di visione: dall occhio si ha una sequenza di elaborazioni locale con moduli specializzati.. La visione umana è: matrice bidimensionale di forecettori (retina) scena a colori geometria della scena movimento delle singole parti nella scena.

7 Visione industriale 2D La telecamera è una matrice di fotocellule con posizione relativa nota, ciascuna delle quali restituisce un valore di luminosità (eventualmente con informazioni sul colore) L elaboratore non vede ma riceve una matrice di valori di luminosità.

8 Visione industriale 2D Rappresentiamo una immagine in tre dimensioni facendo in modo che la luminosità sia la terza coordinata. Cosa raffigura?

9 Visione industriale 2D La stessa informazione rappresentata come immagine è immediatamente riconosciuta. Il sistema di visione non vede nel senso umano.

10 L elaboratore non vede ma riceve un elenco di punti tridimensionali. Visione industriale 3D Rappresentiamo una immagine in tre dimensioni facendo in modo che la distanza dalla telecamera dei vari punti sia la terza coordinata.

11 Misura di una forma La forma è descritta tramite le coordinate di un certo numero di suoi punti. Tale insieme è detto nuvola di punti.

12 La forma e la nuvola di punti La nuvola di punti ottenuta per via ottica è un insieme di punti di cui sono note le COORDINATE TRIDIMENSIONALI (3 gradi di libertà). In modo funzionale decidiamo che la nuvola di punti è adeguata a descrivere un oggetto quando il degrado di informazione (metrologica) passando dall oggetto reale alla sua discretizzazione a punti è compatibile con lo scopo che si persegue. La nuvola di punti è il risultato di: - una DISCRETIZZAZIONE NELLO SPAZIO - un CAMPIONAMENTO NEL TEMPO.

13 Classificazione dei diversi sistemi di misura I sistemi di misura senza contatto possono essere classificati in molti modi diversi. Classificazione per quantità di punti 3D che ogni acquisizione permette di ottenere: Acquisizione di un punto singolo (distanziometro) Acquisizione di un profilo tridimensionale (profilometro) Acquisizione di tutti i punti su una superficie A livello di misure statiche i tre approcci sono equivalenti, la differenza si ha a livello dinamico.

14 Distanziometri Classificazione per tecnologia utilizzata (e range di misurazione) Laser a triangolazione: (usato fino a pochi metri) estremamente accurato su piccole distanze Laser a variazione di fase: (usato fino a distanze dell ordine dei cento metri) buona accuratezza su medie distanze Laser a tempo di volo: (usato fino ad oltre il chilometro) meno accurato funziona su grandi distanze

15 Acquisizione punti singoli una distanza più due coordinate Se monto il misuratore di distanza su un dispositivo in grado di imporgli un angolo di brandeggio e di alzo controllato posso generare (un punto alla volta) la nuvola di punti. Questo approccio è utilizzato nelle stazioni totali topografiche.

16 Acquisizione punti in un piano una distanza più una coordinata Se monto il misuratore di distanza su un dispositivo in grado di imporgli un angolo di brandeggio controllato posso generare (un punto alla volta) la linea di intersezione tra il piano descritto dal misuratore di distanza e la scena reale.

17 Acquisizione punti in un piano una distanza più una coordinata Ex: ricostruzione di scene 3D per guida autonoma Essendo questi sistemi basati sulla tecnologia di misura di distanza tramite tempo di volo sono infatti fondamentalemnte inserisibili alle condizion iambientali.

18 Acquisizione di una superficie una distanza più due coordinate Nuvola di punti Ricostruzione 3D della superficie interpolante

19 Acquisizione di una superficie una distanza più due coordinate Se il dispositivo permette di spostarsi da un punto all altro molto velocemente ho realizzato uno scanner laser. Il dispositivo è costituito da specchi azionati da galvanometri. In automatico ottengo la nuvola di punti, uno alla volta ma molto velocemente (fino a 1000 Kpunti/s)

20 Laser scanner Acquisizione di una superficie una distanza più due coordinate

21 Esempio di scansione ambientale

22 Esempio di ricostruzione di impianti industriali Nuvola di punti Generazione superfici Creazione modelli 3d

23 Acquisizione di un profilo tridimensionale Un laser proietta un piano di luce che viene osservato da una telecamera matriciale disposta con l asse ottico incidente rispetto a tale piano. I dati riguardanti la deformazione della linea laser dovuta alla presenza di un oggetto nella scena vengono registrati ed elaborati per ricreare profilo dell'oggetto; tutti i punti sono all interno del piano laser.

24 Acquisizione di un profilo tridimensionale complesso Si possono proiettare anche diversi piani di luce per avere più informazioni e risolvere situazioni di sottosquadri. In presenza di sottosquadri è possibile combinare tra loro più profilometri per estrarre il profilo completo di oggetti complessi.

25 Acquisizione di una superficie tridimensionale 1) Scansione come sequenza di profili equidistanziati 2) Nuvola di punti degli oggetti scanditi

26 Acquisizione di una superficie tridimensionale 3) Elaborazione della nuvola di punti 4) Presa da cassetta

27 Laser a triangolazione hand held scanner Scanner hand held è un dispositivo che viene movimentato manualmente dall operatore attorno alla superficie da sottoporre a scansione. Per tenere traccia del movimento della mano, si posizionano solitamente dei marcatori di riferimento tracciati da telecamere piuttosto che sensori magnetici. Strumento semplice ed affidabile. Acquisisce una linea di punti per volta.

28 Laser a triangolazione lama laser rotante Il piano laser è attuato in modo da generare una sequenza regolare di profili che vengono acquisiti singolarmente.

29 Scanner densi Sono strumenti che permettono di acquisire in tempi brevissimi tutte le informazioni necessarie per ricostruire in modo completo una forma tridimensionale: - frange di Moirè - stereoscopia attiva - stereoscopia passiva - tempo di volo

30 Analizzando la deformazione delle ombre proiettate sul volto si risale alla sua geometria Scanner moirè

31 Stereoscopia in generale In modo del tutto simile all uomo a partire da due (o più) immagini riprese da angolature diverse estraggo la tridimensionalità della scena.

32 Stereoscopia attiva La coordinate tridimensionali dei singoli punti, evidenziati da una opportuna illuminazione, sono ricavati mediante triangolazione ottica.

33 Stereoscopia attiva Probabilmente il sensore più conosciuto è il Kinect per Xbox.

34 Stereoscopia attiva con marcatori La coordinate tridimensionali dei singoli punti, evidenziati da marcatori catarifrangenti opportunamente illuminati, sono ricavati mediante triangolazione ottica.

35 Stereoscopia attiva con marcatori Esempio di studio del moto di pantografo ferroviario:

36 Stereoscopia passiva

37 Telecamere a tempo di volo Queste telecamere si basano su tre componenti: - sensore matriciale - ottica - sistema di illuminazione attiva La distanza dei punti è ricavata misurando il tempo di propagazione e ritorno della luce.

38 Tendenze: dall immagine alla visione KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera*

39 Perché una applicazione di visione è complessa? Il sensore più simile alla telecamera è: - visione 2D fotocellula - visione 3D distanziometro Per l acquisizione di un immagine sono necessarie centinaia di fotocellule. Utilizzando una telecamera megapixel l acquisizione è possibile grazie ad un unico sensore, composto da un milione di fotocellule. Per estrarre una informazione spesso anche molto semplice, è necessario trattare una enorme mole di dati. Complicazione quantitativa

40 Perché una applicazione di visione è complessa? Esempio: come si identificano i bordi di un oggetto? matrice di luminosità cambio della luminosità matrice di colori cambio del colore matrice di distanza cambio della distanza Il contorno di un oggetto presente nell immagine cade esattamente in corrispondenza di una variazione. aiuta molto avere il concetto di oggetto Complicazione qualitativa

41 Cosa è un sistema di visione? Un sistema di visione è costituito da: - una illuminazione che semplifichi l elaborazione - un sistema di ripresa opportuno - 2D (matrice di luminosità) - 3D (matrice di quote) - un software di analisi adeguato

42 Cosa è un sistema di visione efficace? Un sistema di visione efficace è costituito da: - un processo industriale di cui si conosce la variabilità; - una illuminazione che semplifichi l elaborazione - un sistema di ripresa opportuno - un software di analisi adeguato (dinamico) - un integratore e un utente che collaborano quindi un impianto che soddisfa cliente e fornitore

43 Visione, attenzione a non dimentica che: Solo quando si riesce a rendere una applicazione poco più che banale si otterrà una soluzione efficace ed affidabile. La visione artificiale è efficace solo nell ambito della variabilità produttiva ipotizzata in fase di progetto. Non esistono applicazioni facili o difficili ma applicazioni che si sanno fare e applicazioni che non si sanno fare.

44 Grazie per l attenzione Maggiori informazioni: remo.sala@polimi.it Si ringraziano per la partecipazione allo sviluppo della presentazione: ing. Ambra Vandone, ing. Giacomo Mainetti