Università degli Studi di Napoli Federico II

Università degli Studi di Napoli Federico II Corso di Meccanica dei Robot Prof. Cesare Rossi Robot e Sistemi di Visione Ing. Sergio Savino Ing. Salvatore Strano 1

Cos è la visione artificiale? La visione artificiale è il processo che estrae informazioni da una scena analizzando l'immagine della stessa Vantaggi I sensori di visione consentono di poter misurare l ambiente senza nessun tipo di contatto e in maniera globale La sempre crescente velocità degli elaboratori e il perfezionamento delle tecniche di analisi delle immagini consentono elevate prestazioni anche in caso di telecamere a costo ridotto Alcune applicazioni dei sistemi di visione in robotica Rilevamento di ostacoli Esplorazione dell ambiente sconosciuto circostante Sorveglianza di ambienti conosciuti 2

Ricostruzione di modelli tridimensionali reverse engineering misure e controlli di qualità costruzione di modelli 3D di oggetti reali, per poter mostrare le caratteristiche di oggetti, anche via internet, in modo più dettagliato rispetto a semplici fotografie o per creare ambienti virtuali, come musei o monumenti; in ambito medico, per la costruzione e l utilizzo di modelli tridimensionali di parti del corpo; in robotica, per descrivere l oggetto che deve essere riconosciuto o manipolato 3

Sistema di visione: telecamera e modello Pinhole Modello Prospettico Pin-hole Sia P un punto della scena, di coordinate (X, Y, Z) e sia P la sua proiezione sul piano immagine (o piano retina), di coordinate (X,Y,Z ): Se f (distanza focale), è la distanza del foro (o centro di proiezione) O dal piano immagine allora dalla similarità dei triangoli si ottiene X X' = f Z Y Y' = f Z Z' = f Si noti che l'immagine risulta invertita rispetto alla scena, sia destra-sinistra che sopra-sotto, come indicato dal segno meno. Equivalentemente possiamo modellare la proiezione prospettica ponendo il piano immagine davanti al centro di proiezione, eliminando così il segno negativo. X' = f Y' = f X Z Y Z 4

Sensore ottico Un sensore è un dispositivo in grado di convertire la grandezza fisica che si vuole rilevare o misurare, in un altra grandezza, in genere elettrica, legata alla prima da una relazione che in prima approssimazione è di proporzionalità. Nel SENSORE OTTICO la grandezza da rilevare è: ENERGIA LUMINOSA Possiamo vedere il sensore come una matrice n m di celle rettangolari fotosensibili, ciascuna dei quali converte l'intensità della radiazione luminosa incidente in un potenziale elettrico. Il segnale video (analogico) viene letto dal frame grabber che lo digitalizza, convertendolo in una matrice N M di valori interi. Gli elementi della matrice prendono il nome di pixel (picture element) 5

Modello del sensore ottico 6 Modello Pin-hole = = = = η ζ η ξ ζ ξ w d f w w f v w d f w w f u Relazione di proiezione prospettica: Se δ u e δ v sono le dimensioni dei pixel del sensore: f d a f d a v v c u u c = = δ δ Accuratezza dovuta alla discretizzazione = n z y x z y x z y x P t N N N t t T ] [ η ξ η η η ξ ξ ξ } ~ { ] [ ] [ 1 1 1 1 1 1 w T K d w w w t N N N t t v f u f d v u P z y x n z y x z y x z y x v u = = η ξ η η η ξ ξ ξ δ δ [K] è la matrice dei parametri intrinseci della telecamera; contiene informazioni sull ottica e la sensoristica della telecamera; [T p ]è la matrice dei parametri estrinseci della telecamera; tali parametri contengono le informazioni riguardanti la sua configurazione cinematica nello spazio. Modello del sensore ottico

Visione stereoscopica Se è necesario riconoscere la posizione (w) di un punto partendo dalla sua immagine (u,v), il modello descritto in precedenza diventa un sistema di 2 equazioni in 3 incognite, che non ha soluzione finite. PROBLEMA STEREOSCOPICO Nel caso di un sistema composto da due telecamere, tra tutti punti nello spazio che giacciono sul raggio che passa per il centro ottico O l e il punto q, proiezione di Q sul piano immagine π l, al più un solo punto (punto omologo) viene proiettato (e.g. q ) anche sul piano immagine π r. I punti dello spazio che potrebbero risultare proiezione nello stesso punto q del piano immagine π l, giacciono sulla retta generata dall intersezione tra il piano immagine π r e il piano (denominato piano epipolare) che passa per la retta O l QP e i due centri ottici O l e O r. La determinazione dei punti omologhi consente di mettere in relazione le proiezioni dello stesso punto sui due piani immagini. La trasformazione prospettica che mappa un punto dello spazio nel piano immagine di una telecamera implica la perdita dell informazione relativa alla distanza. Un metodo per poter risalire a quale punto dello spazio corrisponda la proiezione di un punto sul piano immagine di una telecamera consiste nell utilizzo di due o più telecamere. 7

Alcune applicazioni di sistemi di visione presso il laboratorio di robotica del DIME Calibrazione cinematica Pianificazione di traiettorie 8

Sistemi di acquisizione di forme VANTAGGI: - non richiedono contatto; - velocità; - economicità. SVANTAGGI: - possono acquisire solo la parte visibile delle superfici; - elevata sensibilità alle proprietà delle superfici come trasparenza, brillantezza, colore.. Metodi passivi Si basano sull analisi di immagini (di colore) della scena così com è. Economici, pongono meno vincoli per l applicabilità, ma hanno risoluzioni più basse. Metodi attivi Impiego di sorgenti di illuminazione speciali che modificano la scena (pattern luminosi, luce laser, radiazioni infrarosse etc... ). Risoluzioni elevate, ma sono più costosi e non sempre applicabili. 9

Sistemi di acquisizione di forme Depth from focus/defocus Shape from shading Shape from silhouettes Stereo fotometria Stereo fotometria attiva Triangolazione laser Interferometria Time of fly (tempo di volo) 1

Calibrazione della telecamera Calibrazione Telecamera: Algoritmo di Zhang Caratteristiche ottiche e sensoriali della telecamera (parametri intrinseci) distorsione Griglia piana Individua posizione ed orientamento del sistema di riferimento telecamera (parametri estrinseci) 11

Robot progettato e costruito presso il DiME Robot antropomorfo avente 3 assi Software di controllo Analisi cinematica 9 parametri cinematici strutturali { π DH } = { 1, a2, a3, d1, d 2, d3, α1, α 2, α 3 a } T 3 variabili di giunto { Θ} = { ϑ1, ϑ2, ϑ3} T 12

Calibrazione del sistema robot - telecamera Posizione della griglia nella terna camera Posizione della griglia nella terna base robot Griglia piana Terna camera nella terna base del robot 15 15 1 1 5 5-1 -5 5 1-1 -5 5 1-1 -5 5 1-1 -5 5 1 Terna griglia Terna griglia 13

Shape from silhouettes Silhoutte cone Contiene l oggetto Modello della telecamera + Silhoutte dell oggetto Intersecando i vari silhoutte cone ottenuti dalle varie immagini è possibile ottenere la ricostruzione 3D dell oggetto Il volume limite che si ottiene è detto visual hull dell oggetto. 14

Shape from silhouettes: Descrizione della procedura fotocamera robot tavolo girevole 15

Cinematica del robot Matrice di trasformazione tra il riferimento (fisso) e la terna n (quella dell ultimo link) T n = A 1 1 A 2... n 1 A n Generico punto P nel riferimento { } P { } { } = T n P n = [ DH ] P n Generico punto P nel riferimento n Matrice di Denavit e Hartemberg DH ] = f ({ Θ},{ π }) [ DH 16

Relazione robot - fotocamera Trasformazione tra la terna camera e la terna base del robot { P} { } = [ DH ] P 3 { P} { } c = [Tc _ 3 ] P 3 { } 1 P = [T { } c _ 3 ] [ DH ] P c xc zc [Tc_3] y3 yc z3 x3 17

Relazione fotocamera - tavolo girevole Trasformazione tra la terna camera prima e dopo la rotazione della tavola { P} c = [Tc_c ] {P} c [ Tc _ c ] zc = f ( δ ) δ xc yc zc zt yt [Tc_c] xt yc xc 18

Relazione piano immagine - terna base Relazione tra i punti nel piano immagine e gli stessi rappresentati nella terna base del robot = = = = c c c c c c y d f z y f v x d f z x f u } { ] [ 1 ] [ ] [ 1 1 P M z y x T K d v u = = 1 3 _ c c _ c ] DH [ ] [T ] [T [T ] = 19

Acquisizione delle immagini e delle posizioni del riferimento fotocamera nel riferimento base del robot Relative image i (u,v) Mouse [M ] Camera frame i Robot base frame { P} 2

Algoritmo di segmentazione Grayscale image u Silhouette u v v 1 Matrice di dimensione 2592 x 1944 e valori compresi tra 1 e 256 Matrice di dimensione 2592 x 1944 e valori o 1 21

Shape from silhouettes: Algoritmo di ricostruzione Box di punti iniziali Silhouettes Ricostruzione Ricostruzione nello spazio di lavoro del robot 22

Shape from silhouettes: Risultati Computer Mouse res = 8 res = 5 La risoluzione dipende dal numero di punti definito ne l box iniziale, res = 1 res = 15 res = n corrisponde a n 3 punti iniziali. Accuratezza lineare per res = 15: 1.33 mm lungo la direzione x 1.33 mm lungo la direzione y.66 mm lungo la direzione z La ricostruzione del mouse con 8 foto e 15 3 punti iniziali, è ottenuta in circa 6 minuti 23

Triangolazione Laser: Modellazione webcam prototipo di laser scanner a bordo del robot Relazione terna telecamera - piano immagine proiettore laser Posizione del riferimento telecamera rispetto al robot x y z c c c ( u u ) δ xzc = f ( v v ) δ yzc = f Df = A( u u ) δ + B( v v x ) δ + Cf Relazione terna telecamera - terna base robot y c 1 { P} c = [ T ] [ DH ] { P} 3 24

Triangolazione Laser: Elaborazione dell immagine Determinazione della linea laser polistirolo Oggetti test Lega di ferro Immagine binaria legno Leghe particolari Peak detection: Algoritmi Gaussian approximation Center of mass Linear interpolation Parabolic estimator 25

Triangolazione Laser: Calibrazione Sistema per la calibrazione 26

Triangolazione Laser: Calibrazione Fasi della procedura Immagini acquisite 27

Triangolazione Laser: Calibrazione Calibrazione a bordo del robot Risultato calibrazione 28

Triangolazione Laser: Software Software di ricostruzione 3D real-time Durata della ricostruzione: 13 s Durata della ricostruzione: 22 s Regolazione del filtro software Oggetto ricostruito Lettura encoder Punti ricostruiti Regolazione webcam Immagine elaborata 29

Triangolazione Laser: Accuratezza Accuratezza in funzione di una variazione unitaria in pixel lungo u (α=1) e/o lungo v (β=1) a x a y a z v Immagine acquisita u 3

Ottimizzazione del dispositivo laser scanner Modulo laser generatore di linea Sistema di partenza Sistema ottimizzato Lunghezza d onda : 635nm Potenza di uscita : 1 o 3mW Voltaggio d esercizio : 3V DC Filtro ottico passa - banda 31

Triangolazione Laser: Risultati Prototipo di robot laser scanner Konica Minolta Vivid 9i Deviazione 3D media +/-:.723 mm, -.444 mm Nuvola di punti robot Nuvola di punti Konica Minolta Confronto 32

Confronto tra le due tecniche di ricostruzione 3D Shape from silhouette Non necessita di un ambiente a luce strutturata Calibrazione della telecamera Tempi di elaborazione lunghi e in postprocessing (ricostruzione volumetrica) Accuratezza legata al numero di punti definiti nel box iniziale Triangolazione Laser Necessita di una luce strutturata Calibrazione della telecamera e del piano laser Ricostruzione real-time (ricostruzione di superfici) Accuratezza legata all angolo di incisione tra il fascio laser e la superficie Laser Plane v u Image Point 33

Replica della superficie scannerizzata Processo CAM "Computer-Aided Manufacturing" Caricamento di un modello geometrico Selezione della parte di modello da lavorare Impostazione dei parametri di lavorazione (raggio dell'utensile, velocità di spostamento) Visualizzazione grafica del percorso utensile generato Generazione delle istruzioni per la macchina utensile Pianificazione della traiettoria Con la pianificazione della traiettoria si intende stabilire la modalità con cui si vuole che evolva il movimento del manipolatore, da una postura iniziale ad una postura finale. Si tratta di definire sia il percorso geometrico sia la legge di moto da realizzare. Traiettorie nello spazio operativo Traiettorie nello spazio dei giunti 34

Pianificazione della traiettoria Punti acquisiti Punti rielaborati Punti scelti per la lavorazione 4 4 4 38 35 36 35 34 3 3 32 25 25 3 28 2 2 26 15 8482 878 7674 88 86 84 82 8 78 15 84 82 8 78 76 74 88 86 84 82 8 78 24 8 Traiettoria nello spazio operativo Determinazione di una curva parametrica definita a partire dalla nuvola di punti assegnata 78 76 74 84 82 8 78 Inversione cinematica Traiettoria nello spazio dei giunti Algoritmo BLEND per passare da un punto al successivo Calcolo delle componenti delle velocità assegnate nei punti della curva in modulo direzione e verso 35

Pianificazione della traiettoria Traiettoria sinusoidale assegnando 9 punti Metodo proposto Metodo punto-punto Spline cubica s s sx( λ ) = s s x1 x2 x3 xn ( λ ) ( λ ) ( λ )... t ( λ ) se Curva parametrica se 1 λ 2 se 2 λ 3 se 3 λ 4... N Ψ λ ) = { s ( λ ),s ( λ ),s ( λ )} ( x y z t 1 λ N t 4 35 3 25 8 75 84 82 8 78 Calcolo delle velocità nello spazio dei giunti Vettore tangente Ψ ( λ ) t( λ ) = { t x( λ ),t y( λ ),t z( λ )} = Ψ ( λ ) V V V x y z = t = t = t x y z V V V dq = dt [ J ] 1 V V V x y z 36

Tipo di lavorazione Principali tipi di lavorazione generati da un sistema di CAM Incisione Taglio Svuotamento di percorsi chiusi Svuotamento di bitmap Modellazione di superfici Modellazione di superfici Partendo dalla traiettoria, e da un pezzo avente la forma di un parallelepipedo, l'utensile deve scolpire la superficie desiderata. La lavorazione è divisa in due fasi: Sgrossatura: si effettua un terrazzamento a più livelli, ottenendo un pezzo che somiglia a quello desiderato, ma è scalettato Finitura: si percorre a tappeto la superficie, interpolando i punti della traiettoria Sgrossatura Definizione dei parametri per la lavorazione 65 6 55 5 45 2-2 54 56 58 6 62 64 Finitura Geometria dell utensile Velocità di avanzamento dell utensile 37

Procedura per ottenere il ciclo di lavorazione Posizionamento del pezzo da lavorare Posizionamento dei punti rispetto al pezzo grezzo 12 1 8 6 75 5 6 65 7-5 55 Singola fase del ciclo di lavorazione Ciclo totale 12 1 8 5 12 11 1 9 5-5 6 62 64 66 68 7-5 6 62 64 66 68 7 38

Gestione Software Software di ricostruzione laser scanner Software per la gestione punti nello spazio operativo Software per la pianificazione della traiettoria Software di controllo del robot 39

Risultati Sistema robot - utensile Replica del dorso di una paletta di un compressore assiale Replica del profilo della testa di un manichino DREMEL con fresa sferica 4

Esecuzione della traiettoria Video 41

Conclusioni I sistemi di visione consentono di ottenere una serie di informazioni necessarie per costruire una scena virtuale nel quale il robot può interagire in condizioni di sicurezza. Le informazioni provenienti da un sistema di visione rappresentano un input utilizzabile anche per il rilievo della forma di oggetti tridimensionali, un processo che ha, recentemente, assunto un ruolo significativo in svariate applicazioni industriali. La combinazione di un sistema di visione e di un robot, contrariamente agli apparati di acquisizione statici, consente di muovere il sistema di visione stesso rispetto agli oggetti da analizzare, senza introdurre problematiche di matching dei dati. D altra parte in una tale applicazione, il sistema di visione diviene un dispositivo integrato, avente funzioni di trasduttore di posizione, di riconoscimento di forma e volume, inducendo così un miglioramento di prestazioni del robot, se il sistema stesso viene inserito nell anello di controllo; inoltre, un robot dotato di vista, acquisisce maggiore capacità di utilizzare informazioni del suo spazio operativo, e diviene maggiormente consapevole di ciò che lo circonda, fino a consentirgli di poter riprodurre quello che vede. 42