Traduzione e computer (4) Cris%na Bosco Informa%ca applicata alla comunicazione mul%mediale

Transcript

1 Traduzione e computer (4) Cris%na Bosco Informa%ca applicata alla comunicazione mul%mediale

2 Problemi nel valutare la MT Prima di affrontare il problema della valutazione della MT occorre chiarire che la valutazione della stessa traduzione in generale è un problema complesso, non risolto e su cui ci sono molte proposte e modelli in parte in contrasto tra loro.

3 Problemi nel valutare la traduzione Manca chiarezza in generale su come si deve valutare una traduzione perché: - è un problema estremamente complesso - la valutazione della traduzione implica una intrinseca ed ineliminabile componente soggebva - si parla di metodologia della valutazione della traduzione solo a parcre dal 1959 (convegno della Federazione Internazionale TraduIori)

4 Problemi nel valutare la traduzione Si propongono modelli diversi di valutazione della traduzione, che fanno riferimento a teorie diverse della traduzione. In parccolare per alcuni modelli la traduzione deve essere vista come un testo a se stante, per altri invece come un enctà dipendente dal testo originale. Una varietà di parametri vengono proposc per confrontare frasi e interi tesc.

5 Problemi nel valutare traduzione I modelli concordano tuiavia su alcuni principi fondamentali generali: la valutazione deve cercare di misurare il grado di adeguatezza della traduzione rispeio al dato semancco, sintabco e pragmacco del testo sorgente al quadro culturale del testo sorgente alle possibilità espressive del testo sorgente tenendo conto dello scopo comunicacvo.

6 Problemi nel valutare la traduzione L interesse teorico dei modelli di valutazione è spesso inversamente proporzionale alla loro semplicità di applicazione. Da una parte vi è la ricerca di esauscvità del mondo accademico, dall altra gli imperacvi di ordine economico di chi si trova a gescre il controllo di qualità in ambito professionale (traduzione giusta al momento giusto, nel posto giusto e al costo giusto, con la giusta formaiazione).

7 Problemi nel valutare la traduzione Livelli di qualità: qualità- traduzione: garancsce la resctuzione fedele del contenuto del testo di partenza e la correiezza sintabca e ortografica del testo di arrivo, ma adaio comunque solo ad una diffusione limitata. qualità- adaiamento: il testo viene rifinito fino ad oienere l equivalenza totale, testuale e contestuale, sul piano del geoscle e del socioscle. qualità- edicng: è lo zero difeb pronto da stampare, assemblato con le immagini, le foto ed i disegni.

8 Problemi nel valutare la traduzione Metrica SAE (Society of AutomiCve Engineers) con 7 categorie di errore: errore terminologico, errore sintabco, omissione, errore di concordanza o di morfologia, errore di ortografia, errore di interpunzione, altro. Ogni errore è pesato come lieve o grave, cioè che può causare un malinteso o far compiere errore nell eseguire le istruzioni descriie. La somma dei punc è divisa per il numero di parole.

9 Valutare la MT Un problema messo a fuoco dal rapporto ALPAC è quello della valutazione dei risultac prodob dai sistemi di MT. Non esiste tui ora una metodologia condivisa ed universalmente acceiata per la valutazione in toto della MT. Esistono però delle metriche ucli anche per il confronto tra i sistemi e degli aspeb che devono essere considerac.

10 Problemi nel valutare la MT Uno dei principali problemi è la scelta di chi valuta: - Se il valutatore è completamente ignorante di MT non esprime una valutazione realiscca e non evidenzia le potenzialità dei limic - Se è invece esperto di MT si rischia che si basi su campioni troppo scelc di linguaggio e che evidenzi problemi irrilevanc.

11 Passi di sviluppo e valutazione per MT Nella costruzione di un sistema di MT, il primo passo è la costruzione di un protocpo di sistema (esperc). Il secondo passo è lo sviluppo di un sistema che possa operare in un ambiente reale, con associate uclity per pre e post edicng (sviluppatori). Il terzo passo è la valutazione da parte degli acquirenc ed uclizzatori che possono esprimere giudizi su come il sistema modificherebbe il loro lavoro.

12 Valutazione dell output In tub i passi occorre valutare l output che il sistema produce sulla base di 3 parametri: - Fedeltà o accuratezza - in che misura l output concene le stesse informazioni dell input - Intelligibilità o chiarezza - la facilità con cui si può comprendere il significato della traduzione - S%le e registro - in che misura l output usa un linguaggio appropriato al contesto d uso

13 Valutazione dell output Fedeltà o accuratezza - in che misura l output concene le stesse informazioni dell input. Per verificare si possono applicare tecniche empiriche: - vedere se seguendo le istruzioni di un manuale tradoio si possono fare le stesse cose che seguendo l originale (leggibilità ed equivalenza di effeio sul leiore) - applicare la traduzione all indietro

14 Valutazione dell output Intelligibilità o chiarezza - la facilità con cui si può comprendere il significato della traduzione. Viene applicata a frasi isolate o a interi tesc, prendendo in considerazione anche la coerenza o consistenza tradubva delle varie parc. Si valuta con scale numeriche standard.

15 Valutazione dell output S%le e registro - in che misura l output usa un linguaggio appropriato al contesto d uso. È un faiore molto importante, sopraiuio in cerc Cpi di documenc, che richiede una valutazione difficile da quancficare. Vari faiori determinano infab il Cpo di registro, come la scelta dei termini e il modo in cui ci si rivolge al leiore.

16 Analisi dell errore Il conteggio degli errori presenc nell output di un sistema di MT fornisce informazioni molto ucli su come migliorarli. Si traia di quancficare il lavoro da svolgere sull output per renderlo acceiabile come traduzione. Si contano le aggiunte e cancellazioni, le sosctuzioni e si calcola la percentuale di parole correie nel testo tradoio. Non è un processo oggebvo, dipende dal revisore e dal livello di acceiabilità richiesto, e dai 3 parametri.

17 Analisi dell errore Si osservi che il semplice conteggio degli errori può non essere sufficiente: occorre anche classificarli in base al fenomeno ed alla difficoltà di correzione. Il risultato di queste analisi si rivela ucle per lo sviluppatore del sistema e per l acquirente. Ma serve anche a confrontare diversi sistemi di MT. Ma questo richiederebbe però l applicazione ad un benchmark condiviso.

18 Valutazione degli esperc Durante lo sviluppo del protocpo la valutazione è faia dagli esperc allo scopo di decidere in che direzione procedere. L output mostra carenze che richiedono modifiche dell algoritmo o dei dac, percnenc ad uno o più livelli di analisi o di generazione. La valutazione viene ripetuta ad ogni modifica del sistema allo scopo di verificare i progressi, in accordo con i 3 parametri.

19 Valutazione degli esperc Durante lo sviluppo del sistema la valutazione è faia dagli sviluppatori che si devono preoccupare del funzionamento del sistema in un ambiente reale, quindi correggere i problemi correggibili, e costruire uclity per supplire alle carenze del sistema che si decide di acceiare, cercando di bilanciare cosc e benefici. La valutazione viene faia prima su piccoli frammenc di testo e poi su corpora.

20 Valutazione degli acquirenc Spesso acquirenc ed uclizzatori intervengono già nella fase di sviluppo, ad es. selezionando i dac su cui testare il sistema. É una valutazione Cpo scatola- nera, solo sul risultato senza pensare al processo per oienerlo. È una valutazione fortemente condizionata da interessi pracci ed economici che devono essere chiaramente definic (Cpo di tesc, utenc, pubblicazione o uso interno, quanctà di tesc )

21 Valutazione degli acquirenc Per l uclizzo di un sistema in un ambiente reale occorre anche gescrne la compacbilità rispeio a sistemi operacvi ed eventuali sistemi di input e di output, come OCR ed editor di testo o stampanc e scanner. Molto raramente un sistema di MT è una enctà isolata, di solito è integrato in un sistema più ampio.

22 Valutazione dei traduiori Gli uclizzatori dei sistemi di MT sono principalmente i traduiori di professione, che sono quindi coinvolc nei processi di valutazione. La loro valutazione riguarda i 3 parametri e sopraiuio in relazione alla quanctà di lavoro di pre e post edicng, e l uclizzabilità delle relacve uclity. Il sistema di MT deve garancre facilità di revisione dell input e dell output.