Studio e sviluppo di un sistema di gestione di template per l estrazione di informazione da modulistica

Transcript

1 Università degli Studi di Siena Facoltà di Ingegneria Corso di Laurea Specialistica in Ingegneria Informatica Studio e sviluppo di un sistema di gestione di template per l estrazione di informazione da modulistica Tesi di Laurea Specialistica di Luca Paolini 26 Settembre 2011 Relatore: Prof. Ing. Marco Maggini Correlatore: Ing. Ernesto di Iorio Anno Accademico 2010/2011

2 Alla mia famiglia.

3 When you walk through a storm Hold your head up high And don t be afraid of the dark At the end of the storm Is a golden sky And the sweet silver song of a lark.

4 Indice 1 Introduzione Ipotesi di lavoro Architettura del sistema Workflow Presentazione del Sistema Sviluppo del progetto Interfaccia Amministratore Interfaccia Utilizzatore Motore di Segmentazione e Riconoscimento Filtraggio e raddrizzamento dell immagine Filtraggio Filtro Media Filtro Mediano Filtro Maschera di Contrasto (UnSharp Mask) Raddrizzamento Method for identification and correction of document skew Metodo basato sulle SURF (Speeded Up Robust Feature) Riconoscimento del verso e Template Matching Scelta della firma a distanza minima Sperimentazione e Risultati Valutazione delle prestazioni di raddrizzamento Influenza dell angolo minimo nel raddrizzamento Influenza della riduzione delle immagini nel raddrizzamento Template Matching: analisi e scelta della soglia Template Matching: valutazione delle prestazioni

5 INDICE iv 6 Conclusioni Sviluppi futuri Bibliografia 49

6 Capitolo 1 Introduzione Da diversi anni ormai viene studiato ed analizzato il problema della conversione di documenti cartacei in digitali per la memorizzazione e l immagazzinamento dei dati. Il volume dei dati prodotti ogni anno dalle aziende cresce infatti in maniera vertiginosa, ma gran parte di queste informazioni rimangono ancora cartacee. Digitalizzare significa offrire risposte adeguate alle esigenze degli utenti, ampliare le conoscenze, ridurre lo spazio di archiviazione, costi e tempi aumentando quindi l efficienza. Gli ambiti della digitalizzazione sono moltissimi, sia da un punto di vista sociale (lettura assistita per ipovedenti e ciechi) che commerciale (dati a disposizione delle aziende). Inoltre ciò comporta notevoli vantaggi per qualunque azienda in quanto si assiste così ad una riduzione di spazio per gli archivi, ad una catalogazione rapida per ricerche immediate ed alla possibilità di creare copie di salvataggio e riproduzione di stampe. Per la maggior parte dei casi, i dati da digitalizzare vengono inseriti con processo manuale chiamato Manual Data Entry. Questo comporta però l utilizzo di personale ed un aumento dei tempi e dei costi, nonchè la possibilità di errori umani dovuti a stress e distrazione del personale a ciò preposto. Per ovviare a questo tipo di problema le soluzioni sono sostanzialmente due: addestrare e formare nel migliore dei modi del personale esperto in modo da ridurre i tempi (ma ciò comporta un innalzamento dei costi) oppure affidarsi all acquisizione automatica. Questa soluzione appare molto interessante in quanto la maggior parte delle operazioni necessarie all immagazzinamento prevede una semplice copiatura, adatta quindi ad essere facilmente effettuata dai calcolatori. Ora, in presenza di una domanda sempre maggiore rivolta alla soluzione dei casi più disparati, il mercato degli OCR (Optical Character Recognizion) ha prodotto svariati software, tutti sottoposti ad una costante: programmi efficienti ma indirizzati alla soluzione di casi specifici. Ogni azienda infatti ha sviluppato, o si è fatta sviluppare, un programma ad hoc che fosse finalizzato alle proprie necessità. Da

7 1.1 Ipotesi di lavoro 2 questa osservazione di base prende sempre più campo l idea di realizzare sistemi di riconoscimento di caratteri flessibili tali da soddisfare al meglio le richieste del consumatore. Questa tipologia di OCR è però relativamente giovane e quindi ancora in fase di sviluppo. Lavori interessanti sono proposti da Gori-Marinai [1] e anche da aziende leader del settore come l Abbyy. L analisi dei risultati riportati in letteratura ha contribuito a portare avanti questo progetto verso la realizzazione di un sistema flessibile, capace di adattarsi ad ogni tipo di documento in ingresso come ad esempio carte d identità, patenti, bollettini postali... tutti acquisiti tramite scanner. Sempre tenendo presente l originaria idea di flessibilità, il sistema è stato concepito in modo tale da poter riconoscere sia i moduli dattiloscritti che quelli manoscritti. La strada intrapresa per permettere al programma di adattarsi a qualunque documento è la creazione di template personalizzabili direttamente dall utente finale, cosicché ogni tipo di documento possa essere preso in esame. A fronte dunque di un piccolo tempo necessario per la creazione di un nuovo template si riducono drasticamente i tempi di elaborazione per l acquisizione e il riconoscimento dei documenti veri e propri. Tali template, creati a partire da un modello di riferimento, vengono utilizzati per individuare le porzioni di immagine nelle quali è presente del testo che deve essere acquisito ed eventualmente memorizzato. Il mio lavoro si è concentrato in particolar modo nello studio di tecniche per il raddrizzamento automatico delle immagini acquisite e nella selezione automatica dei template creati. Nell ambito del raddrizzamento automatico sono state analizzate due tecniche: Method for identification and correction of document skew [2] e SURF (Speeded Up Robust Feature) [3]. Abbiamo deciso di optare per la prima soluzione, in quanto l altra sembra non essere del tutto appropriata per il nostro tipo di problema e piuttosto onerosa relativamente ai tempi di calcolo. Per eventuali approfondimenti al riguardo si rimanda al paragrafo Nell ambito del riconoscimento automatico dei template (Template Matching) si è sfruttata una tecnica basata sulle proiezioni dei pixel neri. Il sistema descritto nella tesi è stato progettato in collaborazione con l azienda QuestIt s.r.l. in Siena. 1.1 Ipotesi di lavoro Il sistema implementato prevede un livello di tolleranza alla scansione non perfetta delle immagini dovuta, ad esempio, a degli scanner di cattiva qualità o alla non perfetta pulizia della superficie di scansione. Questi inconvenienti possono introdurre del rumore che può essere in parte eliminato mediante un filtraggio dell immagine,

8 1.2 Architettura del sistema 3 prima che questa venga processata. Ulteriori elementi di disturbo possono essere la non perfetta condizione dei documenti da acquisire oppure la rotazione delle immagini dovuta all incuria del personale adibito al Data Entry. 1.2 Architettura del sistema Il sistema consta di tre entità principali che collaborano tra di loro: Interfaccia Amministratore, Interfaccia Utilizzatore, Motore di Segmentazione e Riconoscimento. In figura 1.1 si può osservare un diagramma che riassume tale interazione. L amministratore del sistema, mediante l Interfaccia Amministratore, crea un template per ogni tipologia di documento da acquisire. Una volta creati i template, il sistema è pronto per essere utilizzato a regime dal personale addetto al Data Entry. Il personale, tramite l Interfaccia Utilizzatore, fornisce in ingresso al sistema l immagine dalla quale deve essere estratto il testo. Il sistema si occupa di selezionare in modo automatico il template adeguato al tipo di documento messo in ingresso e lo fornisce al Motore di Segmentazione e Riconoscimento. Il Motore di Segmentazione farà il riconoscimento e salverà il risultato in un file xml che verrà poi mostrato al personale per permettere eventuali correzioni manuali. 1.3 Workflow Ora passiamo ad illustrare l intero processo di estrazione automatica del testo che avviene seguendo degli step logici ben precisi, ognuno dei quali produce un risultato che verrà posto in input alla fase successiva. In figura 2.1 è schematizzato, sotto forma di diagramma a blocchi, l intero processo. Di seguito verranno illustrate in modo conciso le varie fasi del sistema, mentre nei capitoli successivi saranno trattati con maggiore dettaglio gli argomenti e le tecniche prese in considerazione per la realizzazione di ognuna di esse. Verrà posta maggiore attenzione sulle fasi di filtraggio dell immagine, raddrizzamento e Template Matching in quanto tali parti sono state studiate ed implementate dal sottoscritto. 1. Filtraggio dell immagine. L intero processo ha inizio con un filtraggio opzionale del rumore presente nell immagine per agevolare la successiva elaborazione, che ha come obiettivo il raddrizzamento dell immagine. Si può decidere di evitare questa fase in quanto l algoritmo di raddrizzamento delle immagini è di per sé abbastanza robusto al rumore introdotto dalle non perfette condizioni di scansione. Tale operazione è

9 1.3 Workflow 4 Figura 1.1: Architettura del sistema. L amministratore, tramite un opportuna interfaccia, crea dei template che verranno utilizzati successivamente per il riconoscimento della tipologia di documento e per l individuazione dei campi dove è presente il testo da riconoscere.

10 1.3 Workflow 5 onerosa in tempo, poiché si lavora su immagini di grandi dimensioni (immagini delle dimensioni di un A4 scansionate alla risoluzione di 300dpi). 2. Raddrizzamento delle immagini usate come modelli. Nell ambito del raddrizzamento automatico sono state analizzate due tecniche: Method for identification and correction of document skew e un approccio basato su SURF (Speeded Up Robust Feature). Tali tecniche verranno spiegate nei dettagli in seguito. In questa fase viene sfruttata la prima, l unica possibile delle due, in quanto la seconda deve necessariamente sfruttare dei template che in questa fase non sono ancora stati creati. 3. Creazione dei template. L immagine raddrizzata nella fase precedente viene mostrata all amministratore, il quale può procedere alla realizzazione di un template. Esso sarà sfruttato successivamente per l estrazione delle parti di immagine nelle quali è presente del testo e sul quale verrà fatto il riconoscimento. 4. Raddrizzamento delle immagini dalle quali viene fatta acquisizione dati. In questa fase sarebbe stato possibile sfruttare ambo le tecniche introdotte al punto 2, ma si è comunque deciso di optare per la prima, in quanto l altra è risultata inadeguata al nostro tipo di problema. 5. Template Matching e selezione dei template. Sfruttando l idea delle proiezioni della tecnica proposta in [2], si costruisce la proiezione dei pixel neri dell immagine sull asse delle ordinate. Questa viene confrontata con quelle dei modelli per riconoscere la tipologia di documento, in quanto ognuna di esse ha una proiezione diversa. Si sfruttano le proiezioni anche per stabilire il verso corretto delle immagini in quanto con questo tipo di approccio, tale operazione non è possibile. In questa fase è permesso all utente anche di scegliere il template, qualora il sistema di riconoscimento automatico avesse sbagliato. 6. Segmentazione. L applicazione del template all immagine raddrizzata ci permette di prelevare le porzioni di immagine in cui è presente del testo. La fase di segmentazione ci permette di separare le singole lettere in modo che queste possano essere riconosciute. 7. Riconoscimento. In questa fase si esegue il riconoscimento vero e proprio del carattere.

11 1.3 Workflow 6 8. PostProcessing. A differenza della fase precedente in cui si analizzava un singolo carattere alla volta, ora si cerca invece di sfruttare le informazioni relative ad una parola affidandosi, per la correzione degli errori, a dei dizionari. Quando la fase di riconoscimento produce una parola non contenuta in nessuno di essi, si cerca di correggere eventuali errori trovando il termine che più si avvicina alla parola in questione. 9. Visualizzazione e modifica. Il testo riconosciuto viene così memorizzato in un file xml che viene quindi caricato nell Interfaccia Utilizzatore, con la possibilità di correzioni manuali qualora il sistema abbia compiuto degli errori.

12 Capitolo 2 Presentazione del Sistema 2.1 Sviluppo del progetto Riguardo alla progettazione del sistema, è emersa da subito la necessità di strutturare il sistema in tre moduli distinti (Fig. 1.1) come già anticipato nel paragrafo 1.2. L Interfaccia Amministratore, dedicata alla memorizzazione di un nuovo template. L Interfaccia Utilizzatore, relativa alla procedura di acquisizione di un nuovo documento. Il Motore di Segmentazione e Riconoscimento, volto al riconoscimento del testo estratto da tale documento. Nei paragrafi successivi verrà spiegato nel dettaglio il funzionamento dei singoli moduli mentre in figura 2.1 viene presentato lo schema generale del progetto con tutte le sottosezioni di cui è composto. Nei capitoli successivi approfondiremo invece il funzionamento di ogni singola parte del sistema da me realizzata. 2.2 Interfaccia Amministratore In questa fase, si procede alle creazione dei template (uno per ogni tipologia di documento da analizzare). Ciò è possibile grazie ad un interfaccia grafica (Fig. 2.2) che guida in maniera rapida e intuitiva l amministratore del sistema. L amministratore caricherà l immagine usata come modello, la quale verrà raddrizzata in modo automatico dal software. Poiché con la tecnica presentata in [2] si può regolare solamente l angolazione del documento, ma non il verso, si dà la

13 2.2 Interfaccia Amministratore 8 Interfaccia Amministratore Filtraggio immagine Raddrizzamento Immagine Creazione template Elenco template Interfaccia Utilizzatore Filtraggio immagine Raddrizzamento immagine Selezione template Motore di segmentazione e Riconoscimento Segmentazione Riconoscimento Post-processing Visualizzazione e modififica del testo acquisito Figura 2.1: Schema dettagliato

14 2.2 Interfaccia Amministratore 9 possibilità di ruotarlo manualmente di 180 gradi tramite dei pulsanti radio o tramite la barra dei menù, alla voce Modifica. L amministratore avrà la possibilità di ruotarlo anche di 90 o 270 gradi, qualora si siano verificati degli errori. E possibile abilitare anche un filtraggio dell immagine per togliere il rumore dovuto all acquisizione non perfetta. Sono stati implementati tre tipologie di filtro: Filtro Media, Filtro Mediano e Filtro Maschera di Contrasto. A questo punto l amministratore ha la possibilità di creare il template che verrà poi utilizzato dall Interfaccia Utilizzatore, sia per riconoscere il tipo di documento sia per stabilirne il verso. Mediante il mouse, il template viene costruito selezionando direttamente sull immagine le zone dove è presente del testo. Una volta evidenziata un area, vanno fornite alcune specifiche (Fig. 2.3): l etichetta (label) da dare al campo selezionato. la tipologia di testo che tale campo contiene. La scelta è possibile mediante un menù a tendina che permette di selezionare il tipo di informazione che esso contiene. Viene chiesto di scegliere tra una lista di tipologie, quali ad esempio numeri, caratteri, o anche campi più specifici quali nomi, cognomi, città, etc. Scegliere la tipologia è importante perché permetterà di utilizzare, in fase di riconoscimento, il dizionario corretto e quindi ottenere una maggiore precisione. Sulla parte destra vengono visualizzati i box finora specificati dall utente (Fig. 2.2) e viene data la possibilità di scegliere se analizzarli tutti o solo una parte. Alla fine di tale processo, il template così costruito sarà salvato su un file xml il quale sarà utilizzato ogni volta che si ripresenterà un documento dello stesso tipo. Qui sotto riportiamo un esempio: <?xml version="1.0" encoding="utf-8"?> <template name="carta d identità" height="0" width="0"> <boxes> <box> <id>1</id> <label><![cdata[cognome]]></label> <xstart>530</xstart> <ystart>399</ystart> <xend>821</xend> <yend>442</yend> <dictionary>cognomi</dictionary> <boxed>false</boxed>

15 2.2 Interfaccia Amministratore 10 <rowsspaceoffset>0</rowsspaceoffset> <boxheight>0</boxheight> <rowsnumber>0</rowsnumber> <columnsspaceoffset>0</columnsspaceoffset> <boxwidth>0</boxwidth> <columnsnumber>0</columnsnumber> </box> <box> <id>2</id> <label><![cdata[nome]]></label> <xstart>530</xstart> <ystart>445</ystart> <xend>809</xend> <yend>479</yend> <dictionary>nomi</dictionary> <boxed>false</boxed><rowsspaceoffset>0</rowsspaceoffset> <boxheight>0</boxheight> <rowsnumber>0</rowsnumber> <columnsspaceoffset>0</columnsspaceoffset> <boxwidth>0</boxwidth> <columnsnumber>0</columnsnumber> </box> <box> <id>3</id> <label><![cdata[città]]></label> <xstart>531</xstart> <ystart>483</ystart> <xend>802</xend> <yend>523</yend> <dictionary>cities</dictionary> <boxed>false</boxed><rowsspaceoffset>0</rowsspaceoffset> <boxheight>0</boxheight> <rowsnumber>0</rowsnumber> <columnsspaceoffset>0</columnsspaceoffset> <boxwidth>0</boxwidth> <columnsnumber>0</columnsnumber> </box> </boxes>

16 2.3 Interfaccia Utilizzatore 11 </template> Figura 2.2: Interfaccia Amministratore Figura 2.3: Tramite un form è possibile inserire le specifiche relative ad ogni box. 2.3 Interfaccia Utilizzatore Ora illustreremo nei dettagli l Interfaccia Utilizzatore dedicata all utilizzo a regime dell applicativo, ovvero quando l interesse è rivolto al riconoscimento di un documento. Come per l Interfaccia Amministratore, l immagine caricata viene raddrizzata con la tecnica illustrata in [2] prima di essere visualizzata all utente. In questa fase

17 2.4 Motore di Segmentazione e Riconoscimento 12 Figura 2.4: Interfaccia Utilizzatore però abbiamo a disposizione le firme (proiezioni ortogonali dei pixel neri sull asse delle ordinate e che verranno analizzate nel dettaglio in seguito). Esse sono costruite sui modelli usati per creare i template di ogni tipologia di documento e possono essere utilizzate sia per stabilire il verso corretto (ricordiamo che con la tecnica di Bloomberg e Kopec è possibile correggere l angolazione del documento, ma non il verso) sia per l esatta tipologia di documento (v. Template Matching Cap. 4). Il sistema è dunque pronto al riconoscimento del testo. Il giusto template, identificato automaticamente mediante il Template Matching, viene visualizzato come voce di default nel menù a tendina. Si lascia comunque la possibilità all utente di variarlo manualmente qualora si siano verificati degli errori. Premendo il bottone Riconosci sarà avviata l estrazione e il riconoscimento del testo, alla fine del quale, il risultato prodotto sarà visualizzato sulla finestra a destra. 2.4 Motore di Segmentazione e Riconoscimento Unendo le informazioni raccolte attraverso la creazione del template e l acquisizione del nuovo documento, il sistema estrapola le parti di immagine da analizzare. In pratica, dal file di configurazione del template vengono prelevate le informazioni riguardanti le coordinate di inizio e fine di ogni rettangolo disegnato dall amministratore e si procede dunque all estrapolazione di ogni campo contenente dati dal documento originale. A questo punto ha inizio l operazione di segmentazione volta a suddividere il testo in singoli caratteri. La prima operazione che viene svolta è quella di verificare

18 2.4 Motore di Segmentazione e Riconoscimento 13 la presenza di caselle. Se così fosse, si cerca di individuare e sfruttare la larghezza di una casella per portare a termine tale operazione in modo più agevole. Una volta che disponiamo di singoli caratteri si fa il riconoscimento sfruttando un metodo denominato Feature analysis. Esso consiste nell estrarre dal pattern in ingresso alcune variabili caratteristiche della classe che rappresenta. Un carattere viene così classificato in base a un criterio di massima somiglianza tra la sua descrizione strutturale e quella relativa alle varie classi riconoscibili. Prima dell output finale, si effettua un ulteriore fase in cui si analizzano le parole invece che fermare l analisi ai singoli caratteri. Per fare ciò, ci si affida a dei dizionari. Quando la fase di riconoscimento produce una parola non contenuta in nessun dizionario, si cerca di correggere eventuali errori trovando il termine che più si avvicina alla parola data. Il dizionario da utilizzare per ciascun campo lo si preleva dal file di configurazione del template. E infatti l amministratore che nella fase di creazione di un nuovo template stabilisce, mediante un menù a tendina, quale sia il dizionario corretto. Il risultato di questo processo viene memorizzato in un file xml, il quale sarà poi mostrato a video tramite l Interfaccia Utilizzatore.

19 Capitolo 3 Filtraggio e raddrizzamento dell immagine 3.1 Filtraggio Osservando le immagini scansionate, ci accorgiamo che spesso sono soggette a rumore, il quale può essere dovuto a diversi motivi, quali la non perfetta pulizia della superficie di scansione o la non perfetta condizione dei documenti scansionati. Tale rumore può essere più o meno influente a seconda della tipologia di documento da analizzare e della soglia sfruttata per la conversione in bianco e nero e può quindi inficiare la buona riuscita del processo di estrazione del testo. Si mettono a disposizione dell utente tre tipi di filtri da applicare all immagine per poterne migliorare la nitidezza: Filtro Media [4], Filtro Mediano [5] e Filtro Maschera di Contrasto [6]. Questi filtri, spiegati nel dettaglio nei paragrafi successivi, sono operatori di tipo spaziale in quanto, per determinare il valore del pixel di destinazione (dove per valore si intende l intensità del livello di grigio), sfruttano non solo il valore del pixel stesso, ma anche quello dei pixel ad esso vicini Filtro Media Mediante questo tipo di filtro è possibile eliminare rumori distribuiti in modo gaussiano. Il rumore gaussiano è un rumore che ha come funzione di densità di probabilità una distribuzione normale. In altre parole, ponendo sull asse delle ascisse la frequenza e sull asse delle ordinate la densità di probabilità, i valori che il rumore può assumere sono distribuiti secondo una gaussiana. Il Filtro Media calcola la media aritmetica dei pixel all interno di una finestra di lato impostabile e impone tale valore al pixel sul quale è centrata. Il filtro viene applicato a tutti i pixel dell immagine. Vediamo un esempio di tale applicazione nel caso di una finestra 5x5 (Tabella 3.1).

20 3.1 Filtraggio Tabella 3.1: Esempio di un applicazione del Filtro Media nel caso di una finestra 5x5. Il pixel centrale di valore 105 verrà sostituito con la media µ = 97 dei pixel all interno della finestra Filtro Mediano Ora passiamo ad analizzare il funzionamento del Filtro Mediano, il quale calcola la mediana statistica dei pixel all interno di una finestra di lato impostabile e impone tale valore al pixel sul quale è centrata. Il filtro viene applicato a tutti i pixel dell immagine. Mediante un filtro di questo tipo è possibile eliminare il rumore impulsivo, cioè quello che viene comunemente chiamato rumore sale e pepe. Si ha rumore impulsivo quando si presenta un alterazione di un unico pixel fino alla saturazione di esso o, più in generale, quando il singolo pixel differisce molto dal valore reale (il pixel assume valore 0 o 255 a seconda che venga saturato verso il nero o verso il bianco). Tipicamente solo una percentuale ridotta dell immagine viene corrotta da questo tipo di rumore. Vediamo un esempio di tale applicazione nel caso di una finestra 5x5 (Tabella 3.2) Tabella 3.2: Esempio di un applicazione del Filtro Mediano nel caso di una finestra 5x5. Il pixel centrale di valore 255 verrà sostituito con la mediana Me = 108 dei pixel all interno della finestra Filtro Maschera di Contrasto (UnSharp Mask) DatocheilFiltroMascheradiContrastoèunmodoflessibileepotenteperaumentare la nitidezza di un immagine ed accentuare il contrasto locale, esso può risultare molto utile in presenza di documenti con testo poco marcato. Applicando tale filtro si riesce ad accentuare le differenze locali di luminosità e quindi ad individuare in modo migliore i bordi delle immagini e il testo. Vediamo un esempio di tale applicazione (Tabella 3.3).

21 3.2 Raddrizzamento Tabella 3.3: Esempio di un applicazione del Filtro Maschera di Contrasto. Viene valutata la differenza di luminosità del pixel in basso a destra nelle tre direzioni (orizzontale, verticale e diagonale). Se tale differenza è maggiore di una certa soglia impostabile, essa verrà ampliata. 3.2 Raddrizzamento Interfaccia Amministratore ed Interfaccia Utilizzatore includono il modulo che si occupa del raddrizzamento automatico delle immagini. Come abbiamo già anticipato, è stato fatto un grande sforzo per cercare di raddrizzare le immagini nel modo più preciso ed efficiente possibile. Sono state analizzate due tecniche: Method for identification and correction of document skew [2] e un approccio basato su SURF (Speeded Up Robust Feature) [3]. Se nell Interfaccia Amministratore l unica tecnica possibile è la prima poiché non necessita di nessun template, per quanto riguarda l Interfaccia Utilizzatore è stata studiata anche un altra tecnica che sfrutta l algoritmo di feature extraction SURF. Esso rappresenta un alternativa ancora più recente rispetto al metodo delle SIFT [7][8] e più efficiente dal punto di vista computazionale [9][10]. Alla fine della sperimentazione si è comunque deciso di sfruttare il primo approccio anche per l Interfaccia Utilizzatore in quanto il secondo metodo si è rivelato non troppo adatto al nostro scopo. Esso infatti, almeno con le tipologie di immagini da noi trattate, ha presentato una certa efficienza con limitate rotazioni del documento fra un immagine e la successiva. Quando invece l oggetto da raddrizzare era sottoposto a grandi rotazioni, come poteva avvenire nel nostro caso tra il template e una nuova immagine da acquisire, l algoritmo restituiva risultati non troppo accurati. Il problema probabilmente deriva dalla tipologia di immagini con cui lavoriamo in quanto le SURF dovrebbero riuscire a funzionare anche con grandi rotazioni. Si pensa che il problema possa essere che le immagini su cui lavoriamo hanno elementi che si ripetono e quindi difficilmente distinguibili come ad esempio possono essere caratteri neri su sfondo bianco, nel caso di bollettini, oppure su sfondo blu, nel caso delle carte d identità Method for identification and correction of document skew Method for identification and correction of document skew prevede degli step logici ben definiti che sono illustrati in Fig 3.1 e analizzati nel dettaglio nei seguenti paragrafi.

22 3.2 Raddrizzamento 17 Immagine da acquisire Calcolo dei margini Ritaglio immagine Ridimensionamento immagine Conversione Scala dei grigi Calcolo soglia adattativa Conversione in bianco e nero Raddrizzamento immagine Pixel trasparenti Calcolo dei margini Ritaglio immagine Immagine raddrizzata Figura 3.1: Fasi del raddrizzamento mediante Method for identification and correction of document skew.

23 3.2 Raddrizzamento 18 L immagine caricata dall amministratore o dall utente viene ritagliata in modo da eliminare la superficie bianca dello sfondo dello scanner e preservare solo la porzione contenente il documento. L immagine, dopo essere stata ridotta, viene convertita in scala dei grigi e poi in bianco e nero. A questo punto ha inizio il raddrizzamento vero e proprio, il quale avviene effettuando rotazioni successive dell immagine di partenza e sfruttando una ricerca dicotomica. L idea che sta alla base di questo metodo è quella di calcolare, sull asse delle ordinate, le proiezioni dei pixel neri (firme) delle varie immagini ruotate e prendere poi quella a massima energia (indice molto simile alla varianza), che risulterà essere anche quella dritta [11]. Infine, l immagine raddrizzata verrà nuovamente tagliata e visualizzata, a colori e in dimensione reale, all utente. Calcolo dei margini e ritaglio dell immagine Essendo stato studiato per l acquisizione dei documenti più disparati, spesso di dimensione inferiore alla superficie di scansione, il sistema cerca di individuare il documento e tagliare i pixel bianchi in eccesso. Questo permetterà di velocizzare il processo di raddrizzamento. L idea è quella di scorrere l immagine a partire dai quattro margini (superiore, inferiore, sinistro e destro) fino a quando non verranno trovati dei pixel neri che identificano la presenza del documento. In fase implementativa, in realtà si introduce anche una tolleranza per evitare dei falsi positivi, ovvero pixel neri dovuti alla non perfetta scansione. Individuati i margini effettivi, si effettua un ritaglio dell immagine leggermente più ampio mantenendo una cornice bianca intorno al documento, in quanto ciò può essere molto utile per la fase di raddrizzamento. Tale operazione viene ripetuta due volte: la prima sull immagine originale per togliere gran parte dei pixel bianchi in eccesso in modo da ridurre le dimensioni dell immagine, la seconda, con l immagine raddrizzata, per togliere i rimanenti pixel in esubero. (Fig. 3.2) Ridimensionamento Riduciamo a questo punto l immagine di un 90% per motivi di prestazioni. L algoritmo, spiegato nei dettagli in seguito, prevede un numero di rotazioni variabile, a seconda dell angolo limite col quale si permette all immagine di essere ruotata e a seconda del livello di precisione che si vuole ottenere nel raddrizzamento. Poiché una grande risoluzione agevolerà successivamente il riconoscimento del testo, lavoriamo con immagini di dimensioni molto elevate (2550x3509 pixel, pari ad una scansione a 300 d.p.i. di tutta la superficie dello scanner). Per la fase di raddrizzamento, decidiamo quindi di ridurne le dimensioni perché effettuare le rotazioni sulle immagini originali avrebbe un costo computazionalmente troppo elevato per i nostri obiettivi

24 3.2 Raddrizzamento 19 Figura 3.2: Nell immagine vediamo il calcolo dei margini prima e dopo la rotazione. Notiamoinbiancoipixelrimanentidopoilprimoritaglio; inviolaeazzurroimargini effettivi e quelli con tolleranza prima del raddrizzamento; in verde e rosso i margini effettivi e quelli con tolleranza, ricalcolati dopo la fase di raddrizzamento, poco prima che sia effettuato il secondo ritaglio. Infine in verde chiaro sono stati evidenziati i pixel trasparenti introdotti dalla rotazione (un file immagine deve necessariamente avere forma rettangolare). (vogliamo che il raddrizzamento del documento sia quasi istantaneo). Usiamo quindi figure di dimensioni pari al 10% di quelle originali, come consigliato in [2], e abbiamo effettivamente verificato che tale fattore di riduzione è il miglior compromesso possibile tra velocità di raddrizzamento e precisione. Conversione in scala dei grigi Dato che, per poterci calcolare le firme abbiamo bisogno di un immagine in bianco e nero, dobbiamo prima effettuare la conversione in scala dei grigi. L approccio normalmente utilizzato per tradurre un colore nel rispettivo tono di grigio è calcolare il segnale di luminanza (luminosità) a partire dai segnali RGB chiamati anche canali. L algoritmo più banale per tradurre un colore nel rispettivo tono di grigio è fare la media dei colori dei tre canali ed assegnare tale valore a tutti e tre i canali [12]:

25 3.2 Raddrizzamento 20 Gray = (RR+GG+BB) 3 (3.1) Esistono tuttavia formule più accurate che tengono conto del fatto che l occhio umano è sensibile in maniera diversa ai vari colori, in quanto esso valuta in misura diversa l intensità corrispondente alle varie lunghezze d onda della luce [13]. Uguali intensità di luce, aventi differenti lunghezze d onda, non provocano un impressione luminosa di uguale intensità e quindi, per una conversione più accurata, si fa una media ponderata dei colori dei vari canali e si decide come pesare i valori dei vari canali in base a risultati sperimentali. Per il calcolo del grigio abbiamo usato la seguente formula [14]: Gray = 0,299 RR+0,587 GG+0,114 BB (3.2) Calcolo e considerazioni sulla soglia A questo punto dobbiamo trovare una soglia da utilizzare nella successiva conversione in bianco e nero. Poiché il metodo proposto in [2] è stato inventato per il raddrizzamento di solo testo, la soglia ideale è quella che riesce a discriminare meglio tra testo e resto dell immagine, togliendo quindi più rumore possibile derivato da eventuali disegni, foto e sfondo colorato presenti nel documento da acquisire. Poiché vorremmo che il nostro sistema fosse più generico possibile e che funzionasse con i documenti più disparati, ci rendiamo conto che trovare una soglia unica che vada bene per tutti i tipi di documento potrebbe essere un obiettivo arduo da raggiungere. L idea è stata quindi quella di implementare una soglia adattativa calcolando la media di tutti i pixel dell immagine in modo da adeguare la soglia al colore dello sfondo. Così facendo, si sono ottenuti risultati abbastanza buoni, ma non del tutto soddisfacenti come settando il valore di soglia empiricamente. Ma cosa succede se impostiamo una soglia altissima, prossima alla saturazione, con la quale consideriamo nera qualsiasi cosa che si discosta leggermente dal bianco perfetto? Con i documenti a sfondo non bianco (carte di identità, nuova e vecchia, patente, nuova e vecchia, passaporti, tessere sanitarie...) il sistema individua la superficie come se fosse totalmente nera, non raddrizza più considerando il testo bensì i bordi, con percentuali di riuscita altissime. E ciò funziona molto bene anche con documenti a sfondo bianco con testo nero (bollettini). Quindi, di fatto, abbiamo trovato la soglia che desideravamo, solo che in un caso l algoritmo lavora nel modo per il quale è stato inventato, nell altro invece raddrizza il documento considerandone i bordi. In realtà ciò era possibile anche mediante un algoritmo di edge detection, ma

26 3.2 Raddrizzamento 21 esso non avrebbe funzionato a dovere con documenti a sfondo bianco poiché sarebbe risultato non distinguibile dalla superficie dello scanner, anch essa bianca. Si lascia quindi all utente la possibilità di reintrodurre la soglia adattativa qualora si voglia usare il sistema per un solo tipo di documento e raddrizzarlo sfruttandone il testo. Noi abbiamo impostato manualmente la soglia ad un valore alto (abbiamo scelto 230). Così facendo abbiamo ottenuto il vantaggio di eliminare anche i disturbi che in alcuni tipi di documento si potrebbero presentare come ad esempio il rumore proveniente da una foto (con questo metodo è quasi impossibile distinguere ad esempio i capelli scuri dai pixel neri del testo). Conversione in bianco e nero!come abbiamo già anticipato, per poter calcolare le firme, dobbiamo lavorare con un immagine in bianco e nero. La conversione viene effettuata mediante un Filtro Threshold [15] dove come soglia si usano quelle illustrate nel paragrafo precedente. Il Filtro Threshold, a differenza di quelli precedentemente introdotti, che sono operatori di tipo spaziale, è un operatore punto in quanto effettua una trasformazione del pixel a seconda del valore che esso stesso ha nell immagine originale. L operatore analizza i pixel dell immagine uno ad uno e se il suo livello di grigio eccede la soglia, il valore verrà impostato a bianco (255 in tutti e tre i canali del colore), mentre se ciò non avviene, sarà impostato a nero (valore zero in tutti e tre i canali). Raddrizzamento Una volta che disponiamo dell immagine in bianco e nero possiamo calcolare la proiezione dei pixel neri sull asse delle ordinate (firma). Da queste calcoliamo l energia [11][16], che è definita nel seguente modo: E(φ) = h 0 p 2 (y) dy (3.3) dove p(y) è la distribuzione della proiezione dei pixel neri dell immagine φ sull asse delle ordinate e h è la sua altezza. Ma poiché trattiamo funzioni discrete, calcoleremo l energia nel seguente modo: h 1 E(φ) = y i (3.4) dove h è l altezza dell immaine misurata in pixel e y i è il numero di pixel neri nella riga i-esima. Osservando questo tipo di indice, ci rendiamo conto che è molto simile alla varianza tranne per il fatto che manca il termine di normalizzazione davanti all integrale i=0

27 3.2 Raddrizzamento 22 o alla sommatoria e per il fatto che non viene sottratta la media. Poiché il loro comportamento, al ruotare dell immagine, è simile (Fig. 3.3), adottiamo l energia come proposto in [11][16], in quanto meno onerosa da calcolare rispetto alla varianza, come invece era suggerito in [2]. Ruotando ripetutamente l immagine, si ha che la firma a massima energia corrisponderà a quella calcolata sull immagine dritta [11][16], ma poiché il nostro obiettivo è quello di raddrizzare le immagini, sceglieremo proprio quella in cui l energia ha il valore massimo (Fig. 3.4). Dato che abbiamo a che fare con immagini abbastanza grandi, per poter individuare l immagine a massima energia, non possiamo calcolare tutte le rotazioni possibili perché questo risulterebbe computazionalmente troppo oneroso. Sfruttiamo quindi una ricerca dicotomica che in pochi passi ci permetterà di trovare l immagine dritta. Ritaglio dell immagine raddrizzata e visualizzazione La fase di raddrizzamento fornisce l angolo con il quale l immagine originale deve essere ruotata affinché possa essere dritta e si applica ad essa una rotazione di tale angolo prima di essere mostrata all utente. Poiché durante le ricerca dicotomica lavoriamo con immagini ridotte e in bianco e nero, non possiamo usare l ultima così trovata, ma dobbiamo effettuare nuovamente la rotazione a partire dall immagine originale e quindi, per non perdere risoluzione, la rotazione finale risulterà indispensabile Metodo basato sulle SURF (Speeded Up Robust Feature) In Computer Vision spesso si usano algoritmi che permettono di rilevare lo stesso oggetto in immagini differenti. Dato un oggetto, possono essere estratti punti interessanti (features) per fornire una descrizione delle sue caratteristiche. Questa descrizione, ricavata da un immagine selezionata per l apprendimento, può essere poi usata per identificarlo in una nuova immagine. Per fare ciò le caratteristiche estratte dal modello devono essere rilevabili anche con cambiamenti di scala, rotazioni, rumore e illuminazione. Ci siamo chiesti allora se tali algoritmi potessero fare al nostro caso visto che l obiettivo era quello di riconoscere un nuovo documento ruotato. L idea di tale approccio è quella di estrarre le features dal documento usato come modello e farle matchare con le features estratte dal documento da raddrizzare in modo da riconoscerlo e da calcolarvi l angolo di rotazione che servirà successivamente per raddrizzare il documento (Fig 3.5). Per l estrazione delle features è stato usato l algoritmo SURF (Speeded Up Robust Feature) [3].

28 3.2 Raddrizzamento (a) Varianza 2.4 x (b) Energia Figura 3.3: Confrontando le due funzioni ci rendiamo conto che il loro comportamento è molto simile, in quanto differiscono solo per il termine di normalizzazione presente nella varianza e per il fatto che non sottraiamo la media. La funzione varianza non è quindi una semplice scalatura dell energia anche perché, al ruotare dell immagine, l altezza della stessa varia e quindi anche il termine per il quale dividiamo è variabile. Del resto però tale variazione è comunque piccola rispetto al dividendo, e perciò trascurabile. Poiché l andamento delle due funzioni risulta comunque simile, i massimi si verificano per angoli uguali e quindi per il nostro scopo è indifferente utilizzare l uno o l altro indice. In corrispondenza dei massimi avremo le immagini ad inclinazione corretta. Nell esempio illustrato in figura, si è partiti da un immagine originale dritta, quindi avremo la massima varianza ed energia in corrispondenza dell angolo nullo ed in corrispondenza dell angolo piatto.

29 3.2 Raddrizzamento 24 (a) Vettore delle firme in caso di documento inclinato. (b) Vettore delle firme in caso di documento dritto. Figura 3.4: Vettore delle firme calcolato prima e dopo il raddrizzamento dell immagine. Nel secondo caso si presentano delle zone ad alta concentrazione di pixel neri in corrispondenza delle linee di testo e delle zone dove i pixel neri sono nulli (o quasi) in corrispondenza dell interlinea. Con funzioni di questo tipo l energia sarà massima. Massimizzare l energia ci permetterà quindi di trovare l immagine ad orientazione corretta. Estrazione delle features In fase di acquisizione di un nuovo documento tramite l Interfaccia Utilizzatore, disponiamo di un modello già raddrizzato per ciascuna tipologia. L idea è proprio quella di utilizzare tale modello per avere delle informazioni riguardo all orientazione corretta del nuovo documento. Il primo step di questo approccio è quindi quello di cercare delle corrispondenze fra modello e immagine da acquisire, in modo da poter calcolare l angolo di rotazione della seconda rispetto al primo. Per fare questo

30 3.2 Raddrizzamento 25 Modello Immagine da acquisire Estrazione Features (SURF) Estrazione Features (SURF) Features immagine da acquisire Features modello Matching Eliminazione falsi positivi (RANSAC) Calcolo angolo di rotazione e raddrizzamento immagine Immagine raddrizzata Figura 3.5: Fasi del raddrizzamento mediante SURF.

31 3.2 Raddrizzamento 26 Figura 3.6: Features estratte da una cartà d identità. I cerchi rappresentano le zone sulle quali vengono calcolati i descrittori, mentre i centri rappresentano le features individuate. Figura 3.7: Features estratte da un bollettino postale. impieghiamo l algoritmo di estrazione delle features SURF. In pratica si cerca di selezionare nelle immagini le locazioni più distintive in modo che esse possano essere ritrovate anche in altre immagini traslate, ruotate e affette da rumore. La più importante qualità di un buon rivelatore (detector) di punti di interesse è la ripetibilità espressa come la capacità di trovare gli stessi sotto diverse condizioni di visione. L intorno di ogni punto di interesse è rappresentato da un vettore di features che prende il nome di descrittore il quale deve essere distintivo e robusto al rumore, alle traslazioni e alle rotazioni. In Fig. 3.6 e Fig. 3.7 sono mostrate due immagini con i punti di interesse e relativi descrittori. Rivelatore e descrittore SURF si ispirano in parte a rivelatore e descrittore SIFT (Scale-invariant feature transform) [7] pubblicato da David Lowe nel Abbiamo deciso di usare questo algoritmo perché molto più veloce del suo predecessore e

32 3.2 Raddrizzamento 27 perché, a detta degli autori, il rivelatore SURF è molto più ripetibile del precedente e il descrittore SURF molto più distintivo[3]. Tali risultati sono stati anche dimostrati in [9] e [10]. Matching Supponendo per un attimo di conoscere la tipologia di documento da acquisire e quindi anche il modello con cui confrontarlo, dobbiamo individuare le features dell immagine da raddrizzare per associarle a quelle dell oggetto preso in considerazione in modo da capire quali siano quelle derivanti dagli stessi punti reali. Il Matching verrà effettuato confrontando ogni feature della nuova immagine con quelle del relativo modello e accoppiandola con quella a minima distanza euclidea nello spazio dei descrittori. A questo punto avremo fatto matchare le nostre features e potremmo anche procedere alla fase successiva. Rimane però ancora irrisolto il problema di scegliere il modello giusto a cui fare riferimento in quanto non sappiamo neppure la tipologia di documento che siamo a trattare, come invece avevamo ipotizzato all inizio. Quindi l operazione di Matching dovrebbe essere ripetuta per tutti i modelli a nostra disposizione nel tentativo di scegliere quello corretto. Già da qui iniziamo ad intuire la macchinosità di tale tecnica la quale si presenta non troppo adatta al nostro scopo anche perché, se essa non risulta impeccabile pur essendo a conoscenza del modello corretto, a maggior ragione sarà problematica nel nostro caso in quanto il modello dobbiamo ancora individuarlo. Per un analisi più approfondita dei motivi che ci hanno portato ad abbandonare questo tipo di approccio, si rimanda il lettore al rispettivo paragrafo. Calcolo dell angolo di rotazione e raddrizzamento dell immagine Alla fine della fase di Matching abbiamo associato alle features estratte dall immagine usata come modello le features dell immagine da acquisire. Dopo questa fase si avranno degli accoppiamenti corretti (inliers) e altri non corretti (outliers). In genere, per cercare di togliere gli accoppiamenti rumorosi, si applica RANSAC [17][18], un algoritmo iterativo per la stima dei parametri di un modello matematico a partire da un insieme di dati contenente outliers. Esso è un algoritmo non-deterministico nel senso che produce un risultato corretto solo con una data probabilità, che aumenta al crescere delle iterazioni consentite. Per calcolare l angolo di rotazione ci siamo ispirati all idea fornitaci da RANSAC ed abbiamo proceduto nel seguente modo: Siano x 1,x 2,,x n le features estratte dall immagine φ usata come modello e siano x 1,x 2,,x n le features estratte dall immagine φ da raddrizzare, con x i associata a x i, i = 1,,n. Ci calcoliamo tutti i possibili segmenti d i,j fra le

33 3.2 Raddrizzamento 28 features di φ con i = 1,,n, con j = 1,,n e j i e tutti i possibili segmenti d i,j fra le features di φ con i = 1,,n, con j = 1,,n e j i e normalizziamo i segmenti così trovati. Calcoliamo la matrice di rotazione tra d i,j e d i,j, i = 1,,n, j = 1,,n e j i, ruotiamo tutti i segmenti rimanenti di φ sfruttando tale matrice di rotazione e calcoliamo le distanze (la distanza è data dall angolo) fra i segmenti corrispondenti di φ e φ eccetto il primo con cui è stata calcolata la matrice di rotazione. Se la distanza è sotto una certa soglia impostabile, i punti vengono considerati inliers altrimenti outliers. Scelgo come matrice di rotazione quella che mi ha dato più inliers. Gli inliers così trovati sono ruotati di un certo angolo, il quale non sarà esattamente lo stesso per tutti, dato che un inlier e considerato tale a meno di un certo valore di soglia. Sfruttiamo quindi tutti gli inliers per calcolare l angolo di rotazione. Motivi dell abbandono di questo metodo I continui miglioramenti dal punto di vista computazionale dell implementazione della prima tecnica di raddrizzamento presentata in questa tesi, ci hanno spinto ad abbandonare questo approccio in quanto computazionalmente troppo complesso. Ricordiamo infatti che, qualora si volesse sfruttare il sistema per l acquisizione di più tipologie di documento, non sappiamo a priori quale sia il template corretto da usare per il confronto. Dovremo quindi ripetere l operazione di Matching e Ransac con le features estratte da qualsiasi modello ma questo rallenterebbe notevolmente i tempi di calcolo. Con la prima tecnica raddrizziamo invece il documento a prescindere dalla tipologia e solo in fondo sfruttiamo il confronto con i template per stabilire il verso e la tipologia di documento. Inoltre, i risultati sperimentali hanno dimostrato che le features delle immagini con le quali ci siamo trovati a lavorare venivano matchate quasi senza errori per angoli piccoli (Fig. 3.8 e Fig. 3.10), mentre con angoli grandi l associazione di features corrette era molto bassa come possiamo vedere dalle immagini in Fig. 3.9 e Fig Si pensa che la causa di questo problema possa essere data dal tipo di immagini con le quali ci troviamo a lavorare. Infatti, generalmente le features estratte sono posizionate in prossimità di caratteri su sfondo uniforme (ad esempio caratteri neri su sfondo blu nel caso di carte d identità e caratteri neri su sfondo bianco per bollettini) e quindi per l algoritmo difficilmente distinguibili fra loro. Nemmeno l applicazione di Ransac ha migliorato la situazione in quanto esso restituisce risultati positivi quando la probabilità di scelta di soli inliers tra i dati è abbastanza alta (in genere almeno superiore al 50%) e comunque avere una probabilità alta di inliers non è sempre garantito né da SURF né dal Matching.

34 3.2 Raddrizzamento 29 Figura 3.8: Features estratte da una carta d identità usata come modello e la stessa ruotata di un piccolo angolo. Molte features sono state accoppiate correttamente. Figura 3.9: Matching fra features estratte dopo una rotazione di un grande angolo. Vediamo in questo caso molte features sono state accoppiate in modo errato. Si nota anche che le features che sono accoppiate correttamente sono quelle nella zona centrale, ovvero quelle che hanno subito uno spostamento minore. La letteratura ci dice che rivelatore e descrittore SURF dovrebbero funzionare bene anche con grandi rotazioni, ma come vediamo in questo caso, il funzionamento non è stato ottimale. Si pensa che il problema sia dato dalla tipologia di immagini con le quali ci troviamo a lavorare. Documenti e modulistica presentano elementi ripetitivi come possono essere i caratteri su sfondo uniforme. I descrittori delle features estratte si presentano quindi come poco distintivi fra loro e quando facciamo il Matching nello spazio dei descrittori riteniamo che influisca molto la posizione, rispetto ad altre caratteristiche memorizzate nel descrittore, in quanto tutte molto simili e quindi anche vicine quando andiamo a calare la distanza.

35 3.2 Raddrizzamento 30 Figura 3.10: Matching nel caso di un bollettino ruotato di un piccolo angolo. Anche in questo caso, per angoli piccoli, molte features sono state accoppiate correttamente.

36 3.2 Raddrizzamento 31 Figura 3.11: Anche con i bollettini, per grandi rotazioni, il numero di outliers è molto maggiore del numero di inliers rendendo del tutto impossibile una stima corretta dell angolo di rotazione.

37 Capitolo 4 Riconoscimento del verso e Template Matching Come abbiamo già detto in precedenza, Method for identification and correction of document skew ci permette di correggere l inclinazione di un documento, ma non di individuarne il verso. Ricordiamo infatti che tale metodo ci dice di scegliere l immagine a massima energia, che dovrebbe corrispondere a quella con inclinazione corretta, ma due immagini ruotate di 180 gradi avranno firme simmetriche e quindi uguale energia (Fig. 4.1). Pertanto, come output di tale processo, potremmo avere sia l immagine raddrizzata, sia la sua rotazione di 180 gradi. Sarebbe desiderabile quindi riuscire a capire in qualche modo il verso corretto del documento, prima di poterlo mostrare all utente. Sarebbe inoltre auspicabile riuscire a riconoscere in modo automatico il tipo di documento in modo da potervi applicare il giusto template. Per raggiungere questi due obiettivi sfruttiamo ancora l idea delle firme di un immagine. In fase di creazione del template, decidiamo di calcolare la firma della figura raddizzata, ma questa volta a dimensione naturale, in modo da poterla usare sia per stabilire il verso corretto di una nuova immagine acquisita tramite l Interfaccia Utilizzatore, sia per identificare la tipologia di documento alla quale essa appartiene. Per il raddrizzamento abbiamo deciso di introdurre una nuova soglia in quanto quella ottimale per questo scopo potrebbe essere anche diversa da quella ideale per il riconoscimento. Empiricamente abbiamo constatato che per questo scopo le soglie migliori erano quelle più centrali perché discriminavano maggiormente fra pixel bianchi e neri (noi abbiamo usato 130; ricordiamo che il valore massimo possibile è 255). A questo punto disponiamo delle firme di ogni tipologia di documento, le confrontiamo sia con la firma dell immagine raddrizzata, sia con quella della sua rotazione di 180 gradi e poi verranno scelte le due a distanza minima. In questo modo riusciamo a stabilire sia il verso che la tipologia corretta. In figura 4.2 lo schema di tale processo.

38 4.1 Scelta della firma a distanza minima Figura 4.1: Firme di un immagine e della sua rotazione di 180 gradi. 4.1 Scelta della firma a distanza minima. Analizziamo ora più nel dettaglio il modulo che si occupa del confronto fra firme. Come abbiamo detto, in fase di creazione dei template verrà anche calcolata una firma per ciascuna tipologia di documento e salvata su disco. Il salvataggio del vettore delle firme avverrà tramite serializzazione in modo da velocizzarne la lettura, quando richiesta, dall Interfaccia Utilizzatore. Ricordiamo brevemente che la serializzazione è un processo per salvare un oggetto in un supporto di memorizzazione lineare come ad esempio, un file o un area di memoria. Lo scopo della serializzazione è quello di trasmettere l intero stato dell oggetto in modo che esso possa essere successivamente ricreato nello stesso identico stato dal processo inverso, chiamato deserializzazione. L idea è quella di calcolare le firme dell immagine raddrizzata dall Interfaccia Utilizzatore e quelle della stessa, ruotata di 180 gradi, per poi confrontarle con quelle dei modelli. Poiché le firme di due immagini che differiscono di una rotazione di 180 gradi sono speculari (fig 4.3), basterà invertire gli elementi del vettore firma invece che ricalcolarle a partire dall immagine ruotata. Prendendo le due firme a distanza minima, avremo l informazione sia sulla tipologia del documento che stiamo analizzando, sia sul verso.

39 4.1 Scelta della firma a distanza minima. 34 Figura 4.2: Mediante l Interfaccia Amministratore vengono calcolate le firme dei modelli, le quali verranno utilizzate per il riconoscimento del verso e della tipologia di un nuovo documento. Quando questo viene acquisito, la propria firma e quella speculare (ovvero quella del documento ruotato di 180 gradi) verranno confrontate con quella dei modelli e prese le due a distanza minima. Così facendo, non solo riusciamo a riconoscere la tipologia di cui la nuova immagine fa parte, ma anche se il verso calcolato dalla tecnica proposta in [2] è quello corretto.

40 4.1 Scelta della firma a distanza minima. 35 Figura 4.3: Da questo esempio vediamo che le firme di due immagini ruotate di 180 gradi sono speculari. firma: Come distanza viene usata la media degli scarti (in modulo) fra le due funzioni d ( y,y ) = 1 h 1 y i y i (4.1) h i=0 dove y e y sono i due vettori delle firme da confrontare e h è l altezza dell immagine. Se già due scansioni diverse del solito documento produrranno firme diverse a causa del rumore introdotto in esse (Fig. 4.4), a maggior ragione ciò succederà con documenti diversi fra loro, anche se dello stesso tipo (Fig. 4.5). L idea è che però documenti dello stesso tipo differiranno fra loro in modo minore rispetto a documenti di tipologie diverse. (Fig. 4.6). A livello pratico, si deve comunque usare un ulteriore accorgimento per poter confrontare le firme in quanto, dopo la rotazione dell immagine e il ritaglio dei margini, esse si potranno presentare disallineate e anche di dimensioni diverse. Si prenderà quindi il vettore delle firme di dimensione minore e lo si farà scorrere, mediante un iterazione, lungo tutta la lunghezza di quello maggiore (Fig. 4.7), calcolando ad ogni passo la distanza fra le due funzioni. Quando la distanza sarà minima (difficilmente essa sarà nulla in quanto stiamo comunque confrontando firme di documenti diversi), si avrà anche l allineamento.

41 4.1 Scelta della firma a distanza minima Figura 4.4: Confronto fra firme dello stesso documento, ma scansioni diverse Figura 4.5: Confronto fra firme di documenti diversi, ma della stessa tipologia.

42 4.1 Scelta della firma a distanza minima (a) Carta d identità nuova - Tessera sanitaria (b) Carta d identità nuova - Bollettino postale (c) Carta d identità nuova - SienaCard Figura 4.6: Confronto fra documenti diversi.

43 4.1 Scelta della firma a distanza minima. 38 Figura 4.7: Allineamento firme di documenti diversi.

44 Capitolo 5 Sperimentazione e Risultati Abbiamo provato le prestazioni del nostro sistema sia per quanto riguarda la fase di raddrizzamento dei documenti sia per quanto riguarda quella di riconoscimento del verso di un documento e della sua tipologia. Sono state eseguite alcune prove per analizzare le prestazioni del sistema riguardo a diverse tipologie di documenti e al variare dei parametri. (Fig. 5.1). La sperimentazione è stata condotta su una macchina dalle seguenti specifiche: Sistema operativo: Windows Vista Premium Edition - Service Pack 2 Processore: Intel Core 2 Duo P8600, 2.4 GHz, 3MB cache L2, FSB 1066 MHz Memoria: 4096 MB DDR2 Hard disk: 250 GB SATA 5400 rpm 5.1 Valutazione delle prestazioni di raddrizzamento Abbiamo condotto la sperimentazione attribuendo ai parametri usati nella fase di raddrizzamento i valori elencati qui di seguito: //Costanti usate per raddrizzare l immagine BackgroundThresholding = 200; DefaultThresholding = 230; PixelTollerance = 20; BoundTolerance = 50; StartingAngle = 50; StopAngle = 0.05F; Scale = 0.1F;

45 5.1 Valutazione delle prestazioni di raddrizzamento (a) Carta d identita nuova (b) Carta d identita vecchia (c) Patente nuova (d) Patente vecchia (e) Tessera sanitaria (f) SienaCard 40 (g) Bollettino postale Figura 5.1: Documenti usati per la sperimentazione. elaborate con distorsioni per motivi di privacy. Le immagini sono state La scelta e stata fatta tenendo conto anche del fatto che il sistema vuole essere generico e funzionare su piu tipologie di documenti contemporaneamente. Qui sotto diamo una spiegazione sul significato dei parametri utilizzati: BackgroundThresholding: Indica la soglia sotto la quale i pixel grigi vengono considerati neri. Viene usata per il calcolo dei margini e per tagliare il documento prima della fase di raddrizzamento. Ricordiamo che viene fatta la scelta di eliminare gran parte dei pixel bianchi in eccesso per poter lavorare con immagini piu piccole riducendo i tempi di raddrizzamento.

46 5.1 Valutazione delle prestazioni di raddrizzamento 41 DefaultThresholding: È la soglia che viene usata per la conversione in bianco e nero durante la fase di raddrizzamento. Ogni tipologia di documento ha una soglia ottimale diversa per il raddrizzamento. Il nostro obiettivo però è quello di implementare un sistema flessibile che funzioni nel maggior numero di casi possibile. Si fa la scelta di mettere valori alti in modo da raddrizzare documenti a sfondo colorato (carte d identità, patenti...) basandoci sul bordo e documenti a sfondo bianco (bollettini), basandoci sul testo. PixelTollerance: Durante la fase di calcolo dei margini, scorriamo l immagine a partire dai quattro bordi alla ricerca dei primi pixel neri che dovrebbero identificare l inizio del documento. È però possibile che vengano trovati pixel neri dovuti al rumore e quindi da non considerare come parte del documento. Con questa soglia impostiamo il numero di pixel neri consecutivi che dobbiamo trovare prima di considerare essi come parte del documento. BoundTolerance: Abbiamo già detto che lasciare una cornice bianca intorno al documento può fare comodo per poter raddrizzare l immagine sulla base del bordo. BoundTolerance indica la larghezza di tale cornice. StartingAngle: Indica l angolo con cui si effettuano le rotazioni al primo passo della ricerca dicotomica. StopAngle: Indica l angolo usato come condizione di arresto per la ricerca dicotomica. Va ricordato che la ricerca dicotomica ad ogni passo dimezza l angolo usato al passo precedente fintanto che esso non scende sotto un certo valore che impostiamo tramite questa variabile. Scale: Per trovare l immagine dritta si effettuano diverse rotazioni del documento da acquisire. Utilizzare l immagine originale risulterebbe molto oneroso visto che ci troviamo a lavorare con figure di grandi dimensioni. Optiamo quindi di ridurre l immagine di partenza per trovare l angolo con cui il documento è ruotato e applicheremo tale angolo all originale per non perdere in risoluzione. Nella tabella 5.1 elenchiamo i risultati per quanto riguarda i tempi impiegati per il raddrizzamento. Da un analisi dei risultati ci accorgiamo subito che il tempo impiegato dall algoritmo per portare a termine il raddrizzamento è proporzionale alla dimensione dell immagine. Questo era prevedibile in quanto con documenti più piccoli, verranno tagliati più pixel in eccesso e quindi ogni rotazione della ricerca dicotomica avverrà con un immagine più piccola. In futuro, questo ci potrebbe far considerare l idea di implementare una riduzione adattativa in base alle dimensioni dell immagine.

47 5.2 Influenza dell angolo minimo nel raddrizzamento 42 Nella tabella 5.2 elenchiamo invece i risultati riguardo all errore compiuto nella fase di raddrizzamento. Documento tot. Media Best Case Worst Case Carta d identità nuova Carta d identità vecchia Patente nuova Patente vecchia Tessera sanitaria Bollettino postale Tabella 5.1: Tempi impiegati per il raddrizzamento espressi in millisecondi. Documento tot. M(p) BC(p) WC(p) M(d) BC(d) WC(d) Carta d identità nuova 16 10, ,606 0,057 1,260 Carta d identità vecchia 8 23, ,317 0,115 2,570 Patente nuova 8 10, ,580 0,000 1,310 Patente vecchia 10 6, ,367 0,057 1,031 Tessera sanitaria 10 8, ,477 0,000 1,260 Bollettino postale 9 4, ,273 0,000 0,802 Tabella 5.2: Accuratezza del raddrizzamento. Vengono visualizzati la media dell errore (M), il caso migliore (Best Case) ed il caso peggiore (Worst Case) misurati prima in pixel di differenza ogni mille (p) e poi in gradi (d). Per quanto riguarda la precisione di raddrizzamento, le prestazioni migliori si hanno con i bollettini, probabilmente dovute alla struttura semplice e ai pochi disegni, i quali sono sempre fonte di rumore. Per le altre tipologie di documenti, le prestazioni sono più o meno simili. Caso a parte è la carta d identità nella versione precedente a quella attuale, con la quale le prestazioni sono ben al di sotto della media. Analizzando singolarmente i vari casi di questa tipologia ci rendiamo conto che ve ne sono comunque alcuni in cui il raddrizzamento è buono ed altri dove invece l errore è grossolano (qui è riportato solo il caso migliore, in linea con quelli delle altre tipologie di documento). Questo potrebbe far pensare che la natura del documento presenti, nella funzione energia, dei minimi locali, dai quali, con la ricerca dicotomica, non riusciamo più ad uscire. 5.2 Influenza dell angolo minimo nel raddrizzamento Come abbiamo già detto in precedenza, il nostro obiettivo è quello di ricercare fra tutte le rotazioni possibili di un immagine, quella a massima energia in quanto sappiamo che essa sarà anche quella orientata correttamente. Poiché questa operazione

48 5.3 Influenza della riduzione delle immagini nel raddrizzamento 43 risulta essere molto onerosa, l obiettivo principale sarà quello di giungere al massimo sprecando meno risorse possibili. Per fare questo adottiamo una ricerca dicotomica, la quale, ad ogni passo, effettuerà una rotazione verso sinistra ed una verso destra di un angolo pari alla metà di quello utilizzato al passo precedente. Risulta chiaro che deve essere dato un angolo minimo (StopAngle) al di sotto del quale non scendere affinché la ricerca dicotomica possa arrestarsi. Adottando un angolo di arresto grande avremo sì buone prestazioni per quanto riguarda il tempo, ma una scarsa qualità di raddrizzamento in quanto la ricerca dicotomica viene arrestata troppo presto impedendole di avvicinarsi ulteriormente all ottimo. L idea sarà quindi quella di ridurre l angolo minimo, anche se ciò comporterà un deterioramento delle prestazioni per quanto riguarda il tempo. Ma fin quanto risulteranno convenienti le ulteriori riduzioni dell angolo? In tabella 5.3 sono riassunti i risultati di questo esperimento che danno la risposta al nostro quesito. Valore angolo minimo Tempo medio Precisione media , , , Tabella 5.3: Effetti sulle performance della variazione dell angolo minimo. La sperimantazione è avvenuta su training set di dieci documenti contenente tutte le tipologie di documenti illustrate in Fig. 5.1 Con un angolo minimo di 5 avremo un raddrizzamento veloce, ma non soddisfacente in quanto il nostro obiettivo primario è quello di avere un buon raddrizzamento per poi estrarre il testo. Con un angolo di 0,5 miglioriamo di molto in precisione ma subendo un rallentamento. Provando ancora a spingerci oltre e riducendo di 5 volte l angolo minimo, notiamo che le prestazioni iniziano a stabilizzarsi ma, come avremmo potuto aspettarci, il tempo continua a salire. Il motivo del fatto che non possiamo migliorare ulteriormente le prestazioni sta nel fatto che le rotazioni diventano impercettibili ed abbiamo solo uno spreco di tempo nel tentativo di calcolarle. 5.3 Influenza della riduzione delle immagini nel raddrizzamento È stato effettuato anche uno studio sulle prestazioni del sistema al variare del parametro che regola la riduzione dell immagine per la fase di raddrizzamento (Scale).

49 5.4 Template Matching: analisi e scelta della soglia. 44 Anche in questo caso, diminuendo il valore di tale parametro, si verificherà una riduzione dei tempi, anche se a discapito dell accuratezza. Per valori inferiori a 0,1 la precisione del raddrizzamento inizia a peggiorare in modo sostanziale e ciò ci consiglia di non ridurre ulteriormente il valore di tale parametro. Nella tabella 5.4 sono riportati i risultati di tale sperimentazione. Scalatura Tempo medio Precisione media 0, ,1 0, ,2 0, ,6 0, ,9 Tabella 5.4: Effetti sulle performance della riduzione delle immagini. La sperimantazione è avvenuta su training set di dieci documenti contenente tutte le tipologie di documenti illustrate in Fig Template Matching: analisi e scelta della soglia. Dopo la fase di raddrizzamento per identificare il verso delle immagini e la tipologia di documento decidiamo di utilizzare delle firme calcolate mediante una nuova soglia. Per soglie basse, solo pochi pixel verranno considerati neri, rendendo le firme poco utilizzabili. Scegliendo invece valori alti della soglia, molti pixel verranno considerati neri e quindi documenti a sfondo scuro (carta d identità, tessera sanitaria...) verrebbero visti molto simili fra loro (Fig. 5.2) con un sensibile aumento della probabilità di scambiarli. L idea è perciò quella di adottare una soglia prossima al valore intermedio che il pixel può assumere in modo da cercare di rendere il sistema il più elastico possibile dato che esso deve essere pronto a funzionare su documenti di ogni tipo, anche quelli sui quali non è mai stato testato. Nelle figure 5.3a, 5.3b e 5.3c vengono visualizzati casi di firme su bollettino calcolate con soglie diverse. 5.5 Template Matching: valutazione delle prestazioni. Come già anticipato in 5.4 per il calcolo delle firme da utilizzare per l identificazione del verso delle immagini e la tipologia di documento, viene introdotta una nuova soglia alla quale decidiamo di dare un valore centrale al range possibile: SignatureThresholding = 130;

50 5.5 Template Matching: valutazione delle prestazioni. 45 (a) Carta d identità con soglia 130 (b) Carta d identità con soglia 190 (c) Tessera sanitaria con soglia 130 (d) Tessera sanitaria con soglia 190 Figura 5.2: Confronto fra documenti diversi al variare della soglia. Soglie molto alte possono andare bene per la fase di raddrizzamento ma non per il riconoscimento in quanto documenti diversi vengono visti molto simili fra loro. Ricordiamo che i valori possibili variano da 0 a 255. In tabella 5.5 riportiamo i risultati della sperimentazione. Documento tot. Errori verso Errori tipologia Carta d identità nuova Tessera sanitaria SienaCard Bollettino postale Tabella 5.5: Tempi impiegati per il raddrizzamento espressi in millisecondi. Come possiamo notare dalla tabella 5.5, nei casi analizzati non si sono verificati errori. Ci potremmo aspettare però un degrado delle prestazioni sia in tempo che in accuratezza all aumentare delle tipologie di documenti che chiediamo al sistema di riconoscere. Ricordiamo infatti che ogni nuovo documento verrà confrontato con tutti i possibili modelli. In presenza di documenti simili, verosimilmente anche le firme potrebbero risultare simili e quindi si potrebbe pensare di discriminare maggiormente considerando contemporaneamente firme calcolate sia con soglie diverse sia distintamente sui tre canali del colore invece che solo sull immagine in scala dei grigi come facciamo adesso.