PANTOBOT: A computer vision system for the automatic inspection of locomotive pantographs! Sacchi Matteo Henesis srl

Transcript

1 PANTOBOT: A computer vision system for the automatic inspection of locomotive pantographs! Sacchi Matteo Henesis srl matteo.sacchi@henesis.eu

2 La problematica Riduzione dei costi di manutenzione dovuti ad impigliamenti o gravi danni causati alla catenaria da pantografi consumati e/o con anomalie strutturali Ridurre i costi di manutenzione dovuti al consumo della catenaria causato dal forte attrito causato da pantografi usurati Fornire ai gestori della rete ferroviaria un sistema efficiente per monitorare la qualità del materiale rotabile lungo linea.

3 Pantobot Un pò di storia : si attiva un progetto di ricerca tra RFI e Università degli Studi di Parma per esplorare la possibilità di un analisi automatica delle immagini provenienti dai VIP. L impianto campione oggetto della sperimentazione è quello di Milano Pioltello : Henesis srl e Università degli Studi di Parma con la supervisione di RFI vincono un bando della regione Emilia-Romagna con lo scopo di portare la ricerca condotta nei laboratori universitari (Pavisys) sul mercato : Nasce Pantobot un servizio di analisi e gestione delle immagini dei pantografi per locomotive a trazione elettrica. Contestualmente parte la validazione del sistema con la supervisione della Direzione Produzione Ingegneria di Manutenzione Trazione Elettrica e SSE di RFI. Il sito prescelto è quello di Roma Casilina : Prima installazione di Pantobot completamente operativa sulla linea TAV a Bologna. Il sito prescelto è San Piero.

4 Pantobot Architettura Pantobot è un sistema completo basato su tecniche di Visione Artificiale per l ispezione dei pantografi per locomotive a trazione elettrica. È stato realizzato partendo da una serie di algoritmi (Pavisys) sviluppati in collaborazione con l Università degli Studi di Parma. Caratteristiche principali: Memorizzazione delle immagini su RDBMS (Mysql) Comunicazione M2M basata su protocollo SOAP + XML su HTTP con MTOM per la trasmissione di dati binari (immagini) Portale di supervisione webbased accessibile da qualsiasi terminale interno alla rete RFI

5 Configurazione Ricerca e Risultati Diagnostica Pantobot Architettura

6 Pantobot - Architettura Il cuore del sistema per l ispezione delle immagini dei pantografi (Pavisys) svolge e seguenti analisi: 1.Riconoscimento e classificazione del modello di pantografo 2.Classificazione del materiale strisciante sulle barre di contatto 3.Analisi del grado di consumo ed usura delle barre striscianti 4.Controllo sulla sagoma del pantografo per verificare la corretta interazione con la catenaria 5.Analisi delle estremità del pantografo (anche dette corni) per verificare la presenza di urti e deformazioni Grazie alla sua struttura modulare Pantobot/Pavisys può facilmente essere esteso per includere nel workflow di ispezione altri tipi di controllo.

7 Pantobot - Caratteristiche Server Comprende tutti i software specialistici per l analisi e la gestione delle immagini dei pantografi (database, Pavisys, web-interface, etc ) Supporta l analisi delle immagini fino a 40 RIP (fotocamere)* Può essere centralizzato nella sala CED Mandarino o, a seconda delle esigenze, dislocato in qualsiasi punto interno alla rete LAN RFI Sistema 2x CPU di classe Xeon con accelerazione su GPU Licenze per fotocamera Ogni RIP (fotocamera) è caratterizzato da una propria licenza che abilita il sistema all analisi automatica delle immagini Il sistema deve essere calibrato sulla prospettiva/inquadratura del RIP *Stima basata su una quantità giornaliera di 90/110 immagini per RIP, valida fino a saturazione della capacità di calcolo.

8 Classificazione del modello di pantografo Il primo modulo di Pavisys riconosce il pantografo presente nell immagine. Questa attività è fondamentale per poter individuare le aree di interesse (o ROI) nell immagine che sono caratteristiche per ciascun modello. Italo/NTV Minuetto ATR95/Trenitalia FS FS 52 AV ATR90

9 " Classificazione del modello: Risultati" Matrice di confusione calcolata su 3712 acquisite lungo la linea Roma-Napoli via Formia FS 52AV FS 52/92 ATR90 MINUETTO FS 52 AV 99.54% 0.77% 0.59% 0.00% FS 52/ % 98.73% 1.78% 0.00% ATR % 0.00% 97.04% 25.86% MINUETTO 0.15% 0.50% 0.59% 74.14% 3638 immagini su 3712 sono state correttamente classificate (98%)

10 Rilevamento materiale su barre striscianti Dall area in cui si trovano le barre striscianti: 1. Viene identificata e successivamente rimossa la zona dove si trova la catenaria 2. La zona dello strisciante viene raffinata utilizzando l informazione di tessitura presente sul pattino (GLCM) 3. Viene calcolata la differenza media su diversi piani colore dell immagine nelle aree individuate 4. Le informazioni calcolate al punto precedente vengono classificate da una rete neurale FF

11 Analisi del consumo del materiale strisciante Consumo Consumo Normale Eccessivo Media e Deviazione Standard Profilo pattino Banda colore 90% Anomalie tessitura pattino Anomalie contorni/segni su pattino

12 Analisi del consumo del materiale strisciante L insieme dei 5 descrittori estrapolati dall immagine viene classificato da Pantobot con una funziona discriminante su una probabilità di appartenenza ad una classe di usura (probabilità a posteriori creata usando un esteso insieme di immagini). Molti parametri agiscono sull algoritmo di analisi del consumo permettendo di variare la sensibilità e la specificità del giudizio finale.

13 Analisi dei corni Text Alcuni modelli (come l FS 52 AV, l ATR 90 o l NTV) presentano lunghe appendici alle estremità della sagoma del pantografo. Può capitare che tali estremità vengano in contatto durante la marcia del locomotore con corpi estranei. Pantobot effettua un controllo per verificare che non siano presenti gravi anomalie.

14 Analisi dei corni

15 Controllo sulla sagoma La struttura del pantografo può presentare anomalie nella forma causate dagli urti. Applicando la traformata di Hough alla sagoma dei contorni verticali del pantografo è possibile rilevare questo tipo di anomalia

16 Controllo sulla sagoma

17 Validazione Con il sostegno/supporto della Direzione TE di RFI, Pantobot è stato installato e testato in ambiente di esercizio lungo la tratta Roma Napoli via Formia. Durante un periodo di 45 giorni tutte le immagini rilevate (3712 in totale) sono state sia processate da Pantobot che sottoposte al giudizio di un esperto RFI. Il sistema è stato valutato considerando a tale scopo gli indici di Sensibilità e di Specificità. Sensitivity = n true positive n true positive + n false negative Specificity = n true negative n true negative + n false positive

18 Pantobot - Risultati Test in Roma Specificità Sensibilità Risultati 91% 100% Tutte le immagini contenenti pantografi danneggiati sono state correttamente allarmate Specificità pari al 91% significa che il sistema è più sensibile dell operatore nel segnalare pantografi danneggiati Pantobot riduce il carico di lavoro del personale addetto alla videoispezione delle immagini di circa l 80%

19 Installazione su AV/Bologna 1 Sistema Online di video-ispezione pantografi completamente operativo secondo la specifica TE 0 70 di RFI 1 Installazione su linea TAV > 99% di modelli correttamente riconosciuti Circa l 80% delle immagini giornalmente prodotte dall impianto viene escluso dalla presa visione manuale da parte dell operatore Processo di tuning ancora in atto per migliorare ulteriormente il processo di analisi automatica

20 Grazie per l attenzione! Matteo Sacchi matteo.sacchi@henesis.eu