Modello collaborativo per migliorare l accuratezza dell OCR del Greco antico

Transcript

1 Modello collaborativo per migliorare l accuratezza dell OCR del Greco antico Federico Boschetti federico.boschetti@yahoo.com Perseus Project Tufts University, Boston MA CIMeC Univ. degli Studi di Trento Verona, 3 4 Marzo 2010 Federico Boschetti Modello collaborativo per migliorare l OCR 1/ 30

2 Overview Introduzione 1 Introduzione Federico Boschetti Modello collaborativo per migliorare l OCR 2/ 30

3 Introduzione La nuova generazione di corpora greci e latini ha spostato l interesse dai testi digitali alle edizioni digitali. Infatti nella creazione delle prime collezioni digitali, prefazioni, introduzioni, indici, bibliografie, note, apparati critici e varianti testuali presenti in edizioni differenti abitualmente non venivano presi in considerazione. Federico Boschetti Modello collaborativo per migliorare l OCR 2/ 30

4 Edizione Critical edition critica Introduzione Overview Textual Structures Mapping Results and Conclusions Critical edition Register of collations Repertory of conjectures Editions and Repertories Federico Boschetti Federico Modello Boschetti collaborativo Alignment per migliorare of Variants l OCR and Linkage of Interpretations 3/ 30

5 Overview Textual Structures Mapping Results and Conclusions Testo Critical e edition apparato critico Critical edition Register of collations Repertory of conjectures Editions and Repertories Federico Boschetti Federico Modello Boschetti collaborativo Alignment per migliorare of Variants l OCR and Linkage of Interpretations 4/ 30

6 Overview Textual Structures Mapping Results and Conclusions Testo Critical e edition apparato critico Critical edition Register of collations Repertory of conjectures Editions and Repertories Federico Boschetti Federico Modello Boschetti collaborativo Alignment per migliorare of Variants l OCR and Linkage of Interpretations 4/ 30

7 Peculiarità dell OCR applicato ad edizioni critiche dei classici Il layout è diviso in diversi specchi con differente dimensione del carattere. Il Greco antico usa un ampio set di caratteri per rappresentare le combinazioni di spiriti e accenti sulle vocali. Le edizioni critiche sono multilingui. Gli esemplari di edizioni del XIX e del XX secolo possono avere pagine di testo danneggiate. Federico Boschetti Modello collaborativo per migliorare l OCR 5/ 30

8 Studi affini Introduzione Si possono dividere i lavori relativi alla digitalizzazione dei testi antichi in tre gruppi: Il primo gruppo fornisce strumenti e metodi per l analisi e la correzione assistita da computer. Il secondo gruppo di studi si occupa delle strategie e delle interfacce per registrare le varianti e le congetture. Il terzo gruppo riguarda i metodi per migliorare l accuratezza dell OCR tramite tecniche di post-processing sull output di applicazioni per l OCR. Federico Boschetti Modello collaborativo per migliorare l OCR 6/ 30

9 Overview Introduzione Allineamento multiplo Selezione dei caratteri Spell-checking 1 Introduzione 2 Allineamento multiplo Selezione dei caratteri Spell-checking 3 4 Federico Boschetti Modello collaborativo per migliorare l OCR 7/ 30

10 Allineamento multiplo Selezione dei caratteri Spell-checking Edizioni usate per acquisire dati sperimentali Ateneo, Deipnosophistae Meineke (1858): Teubner [senza apparato] Kaibel (1887): Teubner [apparato ricco] Gulick (1951): Loeb [apparato minimo] Eschilo, Tragedie Campioni Hermann (1852): Weidmann [senza apparato] Cinque pagine sono state scelte a caso per addestrare le singole applicazioni per l OCR. Altre cinque pagine sono state scelte a caso per addestrare il classificatore bayesiano. È stato applicato un metodo di valutazione incrociata, usando per l addestramento tutte le pagine tranne quella da testare. Federico Boschetti Modello collaborativo per migliorare l OCR 7/ 30

11 Edizione di Hermann (1852) Allineamento multiplo Selezione dei caratteri Spell-checking Federico Boschetti Modello collaborativo per migliorare l OCR 8/ 30

12 Abbyy Fine Reader 9.0 Introduzione Allineamento multiplo Selezione dei caratteri Spell-checking FineReader è in grado di compiere complesse analisi del layout e di riconoscere testi multilingui. Anche se il Greco politonico non è implementato nativamente, è possibile addestrare FineReader a riconoscere nuovi caratteri, associando l immagine dei glifi ai corrispondenti codici Unicode. Dopo l addestramento, FineReader dà i risultati migliori per quanto riguarda l accuratezza. Federico Boschetti Modello collaborativo per migliorare l OCR 9/ 30

13 Ideatech Anagnostis 4.1 Introduzione Allineamento multiplo Selezione dei caratteri Spell-checking Anagnostis è l unica applicazione capace di riconoscere, anche senza addestramento, il Greco antico. Tuttavia l addestramento può migliorare il riconoscimento. Spiriti e accenti sono trattati separatamente dal corpo del carattere, migliorando la precisione del sistema di riconoscimento. Anagnostis non è in grado di riconoscere sequenze di Greco politonico e caratteri latini, come si incontrano abitualmente negli apparati critici. Federico Boschetti Modello collaborativo per migliorare l OCR 10/ 30

14 Ocropus 0.3/Tesseract 2.03 Allineamento multiplo Selezione dei caratteri Spell-checking OCRopus è attualmente una delle applicazioni open source per l OCR che danno risultati più accurati. OCRopus/Tesseract necessita un addestramento ad hoc per riconoscere il Greco politonico (o qualsiasi nuovo set di caratteri). Il riconoscimento di set misti di caratteri dà risultati accettabili. Il formato dell output è solo testo oppure xhtml arricchito con un microformat che registra le posizioni delle parole (o anche dei singoli caratteri) sull immagine della pagina. Federico Boschetti Modello collaborativo per migliorare l OCR 11/ 30

15 Allineamento multiplo Selezione dei caratteri Spell-checking Allineamento degli output delle tre applicazioni Esempio di progressive multiple sequence alignment Federico Boschetti Modello collaborativo per migliorare l OCR 12/ 30

16 Il classificatore bayesiano Allineamento multiplo Selezione dei caratteri Spell-checking Perché usare un classificatore bayesiano L allineamento in se stesso non è sufficiente a determinare il carattere più probabile: anche se due applicazioni concordano, ma sono poco affidabili per il riconoscimento di uno specifico carattere, il carattere più probabile potrebbe essere fornito dalla terza applicazione in disaccordo. Federico Boschetti Modello collaborativo per migliorare l OCR 13/ 30

17 Il classificatore bayesiano Allineamento multiplo Selezione dei caratteri Spell-checking La probabilità che la posizione corrente nell originale pagina stampata e 0 contenga il carattere x, dato che la prima applicazione e 1 fornisce il carattere c 1, la seconda applicazione e 2 fornisce il carattere c 2 e la terza applicazione e 3 fornisce il carattere c 3, è espressa dalla formula: P(e 0 = x e 1 = c 1, e 2 = c 2, e 3 = c 3 ) dove, in generale, P(E 0 E 1, E 2, E 3 ), denota la probabilità a posteriori per l evento E 0, data la congiunzione degli eventi E 1 E 2 E 3. Federico Boschetti Modello collaborativo per migliorare l OCR 14/ 30

18 Il classificatore bayesiano Allineamento multiplo Selezione dei caratteri Spell-checking Sviluppando la formula precedente e rispettando le tipiche assunzioni richieste da un naive Bayesian classifier, si ottiene x 0 = arg max x 3 i=1 P(e i = c i e 0 = x) P(e 0 = x) 1/3 dove e i è una specifica applicazione e c i è il carattere fornito da quell applicazione; e 0 è la posizione corrente sulla originaria pagina a stampa e x è il carattere corretto effettivamente in quella posizione. Federico Boschetti Modello collaborativo per migliorare l OCR 14/ 30

19 Il classificatore bayesiano Allineamento multiplo Selezione dei caratteri Spell-checking Cinque pagine di ciascun output dell OCR sono state allineate con la ground truth, per calcolare la probabilità associata a ciascun error pattern. Secondo la formula precedente, la probabilità è espressa da C(a b) C(b) ( ) 1/3 C(b) N Il primo fattore di questo valore esprime la probabilità che, dato un carattere a nell output dell OCR, rappresenti un carattere b nella ground truth. È costituito dal numero di occorrenze dell allineamento corrente, C(a b), diviso per il numero totale di occorrenze del carattere b nella ground truth, C(b). Il secondo fattore di questo valore è la radice cubica di C(b) diviso per il numero totale di caratteri, N. Questo fattore è usato per tutte le applicazioni di OCR, perché è basato soltanto sulla ground truth. Federico Boschetti Modello collaborativo per migliorare l OCR 14/ 30

20 Allineamento multiplo Selezione dei caratteri Spell-checking Selezione della sequenza più probabile di caratteri Š l l o c d e k e Ð n o u p a Ø c t ì d è r g o n h n u s e n. FineReader Š l l o c d â k e Ð n o u * p a Ø c t ì d ê r g o n n u s e n ; OCRopus ; l l o c ì â q e ; t o u. k c t ì d R U o n n s i n. Anagnostis Š l l o c d â k e Ð n o u p a Ø c t ì d ê r g o n n u s e n. Risultato Federico Boschetti Modello collaborativo per migliorare l OCR 15/ 30

21 Allineamento multiplo Selezione dei caratteri Spell-checking Selezione della sequenza più probabile di caratteri h n u s e n. FineReader n u s e n ; OCRopus n n s i n. Anagnostis n u s e n. Risultato Federico Boschetti Modello collaborativo per migliorare l OCR 16/ 30

22 Allineamento multiplo Selezione dei caratteri Spell-checking Spell-checking supportato dai risultati dell OCR Output di FineReader RegEx per tutte le applic. OCR Suggerimenti dello spell-checker âxer mwsen âxer á?[mi]wsen âxer mwse, âxer mwsè, âxhr mwsen âxer mwsen wpasen [woº]p[ao]s[eì]n ºpasen, ºpasèn, spˆsen ºpasen en [eé]n ân, ân... én (34. elemento) én epˆshc e??pˆshc pˆshc, pˆsùc... pˆshc (11. elemento) pˆshc âîjuntšrion [eâ][îu]junt[š ]rion eîjunt rion, eîjunt riìn, eîjunt ri eîjunt rion pr toc pr[ À]toc pràtoc, pràtìc, prwtäc pràtoc KÔroc [KQH][ÔÜØ]roc KÜroc, KÜrìc, KÔproc KÜroc ejhke [eê]jhke êjhke, êjekè, j ke êjhke DudÀn [DL]udÀn DuÀn, DidÀn... LudÀn (6. item) LudÀn lˆän l[aˆ][äå]n laän, laìn, Lˆiìn laän «lasen [«]las[et]?n lasen, lasèn, asen lasen eufrwn e?i?[uî]frwo?n âôfrwn, EÖfrwn, eöfrwn (corretto) eufrwn Federico Boschetti Modello collaborativo per migliorare l OCR 17/ 30

23 Allineamento multiplo Selezione dei caratteri Spell-checking Suggerimenti correttamente accettati Output di FineReader wpasen RegEx per tutte le applic. OCR [woº]p[ao]s[eì]n Suggerimenti dello spell-checker ºpasen, ºpasèn, spˆsen Risultato ºpasen Federico Boschetti Modello collaborativo per migliorare l OCR 18/ 30

24 Allineamento multiplo Selezione dei caratteri Spell-checking Suggerimenti correttamente rifiutati Output di FineReader âxer mwsen RegEx per tutte le applic. OCR âxer á?[mi]wsen Suggerimenti dello spell-checker âxer mwse, âxer mwsè, âxhr mwsen Risultato âxer mwsen Federico Boschetti Modello collaborativo per migliorare l OCR 19/ 30

25 Allineamento multiplo Selezione dei caratteri Spell-checking Suggerimenti scorrettamente rifiutati Output di FineReader eufrwn RegEx per tutte le applic. OCR e?i?[uî]frwo?n Suggerimenti dello spell-checker âôfrwn, EÖfrwn, eöfrwn (corretto) Risultato eufrwn Federico Boschetti Modello collaborativo per migliorare l OCR 20/ 30

26 Overview Introduzione Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine 1 Introduzione 2 3 Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine 4 Federico Boschetti Modello collaborativo per migliorare l OCR 20/ 30

27 Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine Risultato dell allineamento sottoposto a spell-checking FineReader Ocropus Anagnostis Result Federico Boschetti Modello collaborativo per migliorare l OCR 21/ 30

28 Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine Risultato dell allineamento sottoposto a spell-checking Federico Boschetti Modello collaborativo per migliorare l OCR 21/ 30

29 Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine Risultato dell allineamento sottoposto a spell-checking b rodiaðtwn d á petai. ˆ A udàn ++# FineReader b rodiaðtwn d é petai L udàn b rodiaðtwn d é petai L u d Àn Ocropus b rodiaðtwn d é petai L u d Àn r rodiaðtwn d á k etai L u d Àn # # Anagnostis b rodiaðtwn d é petai L u d Àn b rodiaðtwn d é petai L u d Àn Risultato b rodiaðtwn d é petai L u d Àn Federico Boschetti Modello collaborativo per migliorare l OCR 21/ 30

30 Valutazione dell accuratezza Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine accuratezza = corrispondenze corrispondenze+substituzioni+inserzioni+cancellazioni Federico Boschetti Modello collaborativo per migliorare l OCR 22/ 30

31 Accuratezza: singole applicazioni Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine Edizione FR senza built-in training FR con built-in training OCRopus Anagnostis Gulick (Loeb) 96.44% 94.35% 92.63% 93.15% Kaibel (Teubner) 93.11% 93.15% 95.19% 92.97% Meineke (Teubner) 94.54% 93.79% 92.88% 91.78% Hermann (Weidmann) 97.41% 91.84% 78.64% Federico Boschetti Modello collaborativo per migliorare l OCR 23/ 30

32 Accuratezza: allineamento e spell-checking Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine Edizioni Allineam. e spell-checking FR allineato Applicazione migliore Gulick (Loeb) 99.01% 98.02% 96.44% guadagno +2.57% +1.58% 0.00% Kaibel (Teubner) 98.17% 95.45% 95.19% guadagno +2.98% +0.26% 0.0% Meineke (Teubner) 97.46% 96.15% 94.54% guadagno +2.92% +1.61% 0.00% Hermann (Weidmann) 98.91% 97.41% guadagno +1.50% 0.00% Federico Boschetti Modello collaborativo per migliorare l OCR 24/ 30

33 Accuratezza: apparato critico Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine Allineamento e spell-checking FR con b.-in OCRopus Anagnostis Gulick 90.88% 87.99% 64.79% 59.08% guadagno +2.89% 0.0% % % Kaibel 93.14% 87.68% 89.54% 57.11% guadagno +3.60% -1.86% 0.0% % Federico Boschetti Modello collaborativo per migliorare l OCR 25/ 30

34 Mappatura del testo corretto sull immagine Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine Federico Boschetti Modello collaborativo per migliorare l OCR 26/ 30

35 Mappatura del testo corretto sull immagine Accuratezza delle singole applicazioni per l OCR Accuratezza del testo allineato sottoposto allo spell-checker Accuratezza dell apparato critico Mappatura del testo corretto sull immagine Correzione j e s m À n â n S u r a k o Ô s a i c f h s È t o Ø c p a n t e l e Ð o i c t À n Originale j e s m À n â n S u r a k o Ô s a i c f h s È t o Ø c p a n t e l e Ð o i c t o ; n djvuxml [...] <LINE> <WORD coords= 114,194,249,233 >jesmàn</word> <WORD coords= 271,187,312,233 >ân</word> <WORD coords= 332,187,574,233 >SurakoÔsaic</WORD> <WORD coords= 593,187,678,234 >fhsè</word> <WORD coords= 697,187,767,234 >toøc</word> <WORD coords= 787,187,1007,234 >PanteleÐoic</WORD> <WORD coords= 1027,187,1078,234 >tàn</word> </LINE> [...] Federico Boschetti Modello collaborativo per migliorare l OCR 26/ 30

36 Overview Introduzione Diagramma di flusso Modello collaborativo Conclusione 1 Introduzione Diagramma di flusso Modello collaborativo Conclusione Federico Boschetti Modello collaborativo per migliorare l OCR 27/ 30

37 Diagramma di flusso Modello collaborativo Conclusione Il diagramma di flusso per digitalizzazioni massicce di edizioni di classici Addestramento delle applicazioni per l OCR (circa cinque pagine per libro). OCR. Allineamento multiplo. Correzioni tramite regular expressions riusabili. Correzioni manuali. Valutazione dell accuratezza dei testi corretti. Federico Boschetti Modello collaborativo per migliorare l OCR 27/ 30

38 Il modello collaborativo Introduzione Diagramma di flusso Modello collaborativo Conclusione Forze in gioco L installazione del software per l OCR e per l allineamento può presentare serie difficoltà, perché spesso ancora in beta version. Le operazioni di training sono dispendiose in termini di tempo. Uno stesso training set può essere usato su esemplari con caratteristiche simili. Versioni digitali diverse basate su un medesimo esemplare possono essere usate per l allineamento e quindi per aumentare l accuratezza complessiva. Federico Boschetti Modello collaborativo per migliorare l OCR 28/ 30

39 Il modello collaborativo Introduzione Diagramma di flusso Modello collaborativo Conclusione Scenario Su archive.org oppure books.google.com non è difficile trovare più di una copia digitale basata sulla medesima edizione o (più raramente) sul medesimo esemplare. Anche se spesso il Greco non è riconosciuto, le parti in caratteri Latini possono essere riusate per migliorare l accuratezza. Gruppi indipendenti di specialisti interessati alle medesime edizioni possono trarre vantaggio dalla condivisione di trascrizioni digitali, anche se solo parzialmente corrette. Federico Boschetti Modello collaborativo per migliorare l OCR 28/ 30

40 Il modello collaborativo Introduzione Diagramma di flusso Modello collaborativo Conclusione Soluzione proposta Fornire metadata che permettano di identificare in modo univoco non solo autore ed opera, ma anche edizione, esemplare e scansione. Rendere disponibili i training sets, fornendo metadata sulla scansione su cui sono basati e sull accuratezza raggiunta, grazie a questi, su una o più scansioni. Fornire la ground truth, associata ad oppurtini metadata, di un numero minimo di pagine (cinque?, dieci?) che permetta di valutare l accuratezza dei diversi OCR e allineamenti applicati alle medesime scansioni. Usare webservices per l esecuzione dell OCR. Procedere alla correzione manuale tramite l eccellente piattaforma collaborativa fornita da Wikisource (wikisource.org) Federico Boschetti Modello collaborativo per migliorare l OCR 28/ 30

41 Conclusione Introduzione Diagramma di flusso Modello collaborativo Conclusione Per andare oltre i digital incunabula è necessario creare un affidabile biblioteca digitale di edizioni critiche. Una soddisfacente accuratezza dell OCR per l intero contenuto di un edizione critica (testo e apparato) che permetta di abbattere i costi delle correzioni manuali, è uno dei primi, necessari passi per creare una nuova generazione di corpora testuali. Federico Boschetti Modello collaborativo per migliorare l OCR 29/ 30

42 Direzioni future Introduzione Diagramma di flusso Modello collaborativo Conclusione Analisi del layout: riconoscimento automatico degli specchi di testo, dell apparato critico, delle note, etc. Federico Boschetti Modello collaborativo per migliorare l OCR 30/ 30

43 Grazie per l attenzione Federico Boschetti Modello collaborativo per migliorare l OCR 30/ 30

44 Bibliografia Introduzione S. Feng, R. Manmatha: A Hierarchical, HMM-based Automatic Evaluation of OCR Accuracy for a Digital Library of Books. JCDL 2006, (2006) W.B. Lund, E.K. Ringger: Improving Optical Character Recognition through Efficient Multiple System Alignment, JCDL (2009) M. Reynaert: Non-interactive OCR Post-correction for Giga-Scale Digitization Projects. A. Gelbukh (ed.): CICLing 2008, LNCS 4919, (2008) M. Reynaert: All, and only, the Errors: more Complete and Consistent Spelling and OCR-Error Correction Evaluation. 6th International Conference on Language Resources and Evaluation 2008, (2008) C. Ringlstetter, K. Schulz, S. Mihov, K. Louka: The same is not the same - postcorrection of alphabet confusion errors in mixed-alphabet OCR recognition. 8th International Conference on Document Analysis and Recognition, 1, (2005) M. Spencer, C. Howe: Collating texts using progressive multiple alignment. Computer and the Humanities, 37, 1, (2003) G. Stewart, G. Crane, A. Babeu: A New Generation of Textual Corpora. JCDL 2007, (2007) L. Zhuang, X. Zhu: An OCR Post-processing Approach Based on Multi-knowledge. 9th International Conference on Knowledge-Based Intelligent Information and Engineering Systems, (2005) Federico Boschetti Modello collaborativo per migliorare l OCR 30/ 30