L italiano di stranieri, l italiano di apprendenti indagati attraverso corpora

Transcript

1 L italiano di stranieri, l italiano di apprendenti indagati attraverso corpora Costruzione di corpora 10. Valutazione del lessico 15 aprile 2014 Linguistica italiana II Mirko Tavosanis

2 Ad una prima scorsa pare che il software digerisca meglio piccoli brani parole. È più preciso per quanto concerne l'individuazione della parte del discorso. L'evidenza di quanto sopra è ravvisabile dal confronto della prima parola del primo brano: l'articolo il. Nel foglio rinominato file_lemmatizzato, contenente il testo nella sua interezza, questa parola viene riconosciuta da TreeTagger come NPR (nome proprio) mentre nel foglio rinominato Brano_1 è interpretata come ciò che effettivamente risulta essere: ART (articolo). Tuttavia rimane un margine di errore anche nel processo di tratti brevi. A volte gli articoli o i pronomi vengono riconosciuti come verbi.

3 Classificazione del lessico L assieme delle parole usate in una lingua può essere catalogato in diversi modi Per esempio, in base: Al ruolo grammaticale (aggettivi, sostantivi ) Al rapporto con altre parole (diminutivi, accrescitivi, parole composte ) All etimologia (origine latina, francese ) All uso (alcune parole sono più comuni e conosciute di altre: che è evidentemente più comune di granodiorite)

4 Dimensioni del lessico Si stima (un po arbitrariamente) che un bravo laureato conosca parole I dizionari dell italiano in volume unico includono di solito oltre lemmi Lo Zingarelli 2014 dichiara di includere « voci, significati, 9300 sinonimi e 2000 contrari, 1000 sfumature di significato, 3123 parole da salvare» Il Grande dizionario della lingua italiana (GDLI o «Battaglia») include oltre lemmi Il Vocabolario Treccani include lemmi Tuttavia, non tutte le parole sono usate o frequenti («scaprugginare»?)

5 Classificazione in base all uso: fasce possibili De Mauro registra nel Grande dizionario italiano dell uso (GRADIT) diverse marche d uso: ( fondamentale ) FO ( frequenza AU ( alto uso, corrispondente ad alta ( disponibilità AD ( di alta ( comune ) CO ( tecnico-specialistico ) TS ( letterario LE ( di uso solo ( regionale ) RE ( dialettale ) DI ( esotismo ) ES ( uso BU ( di basso ( obsoleto ) OB

6 Classificazione in base alla frequenza / importanza 1. Parole fondamentali che, rioccorrendo con enorme frequenza (da il, e, che ad andare, fare, cosa), coprono mediamente il 94 % di tutti i testi detti o scritti; esse sono, in italiano, circa parole, mediamente assai più brevi delle altre e con significati larghi e molteplici e sono note a chiunque sia italiano e abbia un livello almeno elementare di istruzione (90 % degli adulti) ; 2. Parole di alta frequenza che coprono un altro 5 % dei testi: esse sono, in italiano, altre parole circa, mediamente un po più lunghe delle precedenti e con significati relativamente più specifici ; 3. Parole di alta familiarità o di alta disponibilità, rarissime nell uso normale ma legate ad atti e oggetti della vita quotidiana (da aceto e avvitare o forchetta a vomito o zuppa), che abbiamo continuamente in mente e costituiscono un insieme di altre parole circa. 4. In totale si tratta quindi di circa parole, che costituiscono il vocabolario di base dell italiano. Secondo De Mauro questo nucleo si può considerare interamente noto a chi è italiano e ha un livello almeno medio-inferiore di istruzione (52 % della popolazione)

7 Come si ottengono queste valutazioni? Nel caso di De Mauro: formazione di un corpus, analisi statistiche, verifiche con informatori Ovviamente, alcune valutazioni sono più difficili di altre (tipicamente, i regionalismi) Soprattutto (dal nostro punto di vista): alcune valutazioni sono ineludibilmente soggettive e poco motivabili la classificazione usa comunque per categorie molto ampie La classificazione autonoma è possibile (anche se non affidabile) solo attraverso le nostre competenze linguistiche

8 Come si applicano queste valutazioni? Esistono numerosi prodotti informatici basati su: Lemmatizzazione Liste di De Mauro Anche l edizione su CD del dizionario ridotto (monovolume) di De Mauro fornisce una catalogazione del lessico, ma non decide tra le alternative Altri prodotti forniscono risultati più mirati Vedremo subito READ-IT (parte di DyLan TextTools v2.1.9), all interno del sito Italian Natural Language Processing Lab dell ILC-CNR Presentazione per il Laboratorio di Cultura digitale:

9

10 Valutazione basata su fasi Ovviamente, prima di assegnare il lessico alle fasce d uso occorrono: Scomposizione delle frasi Individuazione delle parole (tokenizzazione) Lemmatizzazione e assegnazione di POS Inoltre, in una fase successiva viene ricostruita la rete delle dipendenze Il sistema calcola le percentuali di lemmi (attenzione!) appartenenti al vocabolario di base

11 Informazioni Istruzioni: su Moodle POS tagset: POStagset.pdf DEP tagset: DEPtagset.pdf

12

13 Confronti I valori sono confrontati con quelli di corpus di riferimento Verde: Dueparole (facile) Rosso: Repubblica (difficile) Prossimamente: livelli scolastici Il semaforo è un indicatore di vicinanza I dati numerici sono visibili come tooltip

14 Legge di Zipf (1949) In una lista di frequenza di parole, la frequenza di una parola è inversamente proporzionale al suo rango (la parola più frequente compare il doppio delle volte rispetto alla seconda parola più frequente, e così via) Possiamo estendere il discorso ai lemmi In pratica: più allarghiamo il campione, più aumenta il numero di lemmi che troviamo al suo interno Ovviamente, language is never, ever random; però in molti tipi di testo il rapporto c è (non nei Cent mille miliards de poèmes di Quenau, che generano automaticamente testi combinando 140 versi predefiniti ) Quindi, per valutare la varietà lessicale, ha senso controllare la percentuale di lemmi solo in campioni che hanno la stessa lunghezza oppure controllare le occorrenze dei lemmi, e non la loro semplice presenza / assenza

15 Vocabolario controllato? Il vocabolario degli apprendenti è limitato Il vocabolario di un esercizio scolastico pure La valutazione di testi come quelli su cui stiamo lavorando noi va fatta con estrema prudenza