LE CONCORDANZE. Gli spogli lessicali CONCORDANZE - 2. I caratteri jolly. Il formato KWIC 27/03/14. Parte seconda

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "LE CONCORDANZE. Gli spogli lessicali CONCORDANZE - 2. I caratteri jolly. Il formato KWIC 27/03/14. Parte seconda"

Eva Mattioli
5 anni fa
Visualizzazioni

Lez. 8 Gli spogli lessicali Parte seconda 19/03/14 LE CONCORDANZE È l elenco delle parole contenute in un testo, ordinate alfabeticamente e accompagnate da alcuni riferimenti che ne rendono possibile

deve definire la dimensione del contesto Si possono usare gli operatori standard per le concordanze specifiche I caratteri jolly CONCORDANZE - 2 Sono simboli che sostituiscono un carattere o un

1 Lez. 8 Gli spogli lessicali Parte seconda 19/03/14 LE CONCORDANZE È l elenco delle parole contenute in un testo, ordinate alfabeticamente e accompagnate da alcuni riferimenti che ne rendono possibile il ritrovamento nell originale Si devono selezionare le parole da espungere o da includere; la concordanza di tutte le parole di un testo è un retaggio della forma cartacea di questa operazione Si deve definire la dimensione del contesto Si possono usare gli operatori standard per le concordanze specifiche I caratteri jolly CONCORDANZE - 2 Sono simboli che sostituiscono un carattere o un insieme di caratteri MS-DOS li ha ereditati dai sistemi Unix (con molte limitazioni)? = un carattere qualsiasi * = più caratteri qualsiasi Le forme di output delle concordanze dei moderni programmi sono di due tipi: Kwic e Kwoc Kwic (Key Word In Context): le forme vengono allineate a partire da una stessa colonna di stampa Kwoc (Key Word Out of Context): le forme si trovano esternamente, come esponente Il formato KWIC Le forme possono essere centrate, allineate a destra oppure a sinistra per aumentare la leggibilità Il cotesto è breve (una riga, in genere) I riferimenti di mappatura del testo si trovano ad inizio riga (possono variare a seconda della codifica) Esempio tratto da La patente di Luigi Pirandello Programma TACT 1

Il formato KWOC La parola chiave si trova esternamente, come esponente È sostanzialmente un indice al quale viene associata una riga di cotesto È particolarmente indicato per contesti ampi,

2 Il formato KWOC La parola chiave si trova esternamente, come esponente È sostanzialmente un indice al quale viene associata una riga di cotesto È particolarmente indicato per contesti ampi, sviluppati su più righe Esempio tratto da La patente di Luigi Pirandello Programma TACT Funzioni delle concordanze Indici di rilievo che studieremo Osservare i diversi usi di una parola Esaminare i diversi contesti (semantico, sintattico, testuale) Analizzare la regolarità con la quale una parola è accompagnata ad altre nel suo cotesto Token Type Hapax legomena Hapax dislegomena Deviazione standard Costante di Zipf Z-score Indice di Kurtosis Caratteristica di Herdann Rapporto T/t Rapporto t/t (TTR) Frequenza assoluta Frequenza relativa Frequenza cumulativa Coefficiente di Variazione Range Media TAPoR Text Analysis Portal for Research Cos è Tapor Si tratta di un analizzatore testuale che prevede 3 set di strumenti per altrettante tipologie di file testuali File di testo semplice (plain text) File HTML File XML Il progetto nasce come collaborazione tra 6 università 2

Le 6 università canadesi McMaster University University of

University of Toronto University of Victoria Un problema

testuale è vario e non standard Generalmente si tratta di

MS-DOS, TAPoR tutte le tipologie di plain text Salvare il

txt, in formato Unicode UTF-8 Selezionare l opzione inserisci

programma si può occupare da solo di sostituire i caratteri

non compatibili tra il set utilizzato da Office e le tabelle

3 Le 6 università canadesi McMaster University University of Alberta Université de Montreal University of New Brunswick University of Toronto University of Victoria Un problema spinoso Il formato dei file riconosciuti da un analizzatore testuale è vario e non standard Generalmente si tratta di file con estensione TXT (plain text) Tact legge solo formati MS-DOS, TAPoR tutte le tipologie di plain text Salvare il file È consigliabile salvare il file come testo normale.txt, in formato Unicode UTF-8 Selezionare l opzione inserisci interruzioni di riga con separatore solo ritorno a capo Il programma si può occupare da solo di sostituire i caratteri non presenti nelle tabelle Ascii a 256 caratteri I caratteri non compatibili tra il set utilizzato da Office e le tabelle Ascii vengono segnalati in rosso. Un segnale di attenzione mette l utente in allarme. 3

Lista di frequenze Muoversi in Tapor Tre tipologie di testi analizzabili (TXT, HTML, XML) Diversi strumenti per le

connessione a Internet Concordanza Collocazioni Collocazioni dx/sx Clusters Estrattore di date Distribuzione Analisi

List words (elencazione delle parole): elenca tutte le parole presenti nel testo, ordinandole in 4 modi (alfabetico

Find text (ricerca del testo): è lo strumento di concordanza per cercare parole, frasi o righe di testo (NON è case

txt da analizzare Selezionare l opzione All words per ottenere la lista di frequenze completa Accertarsi di lasciare

4 Lista di frequenze Muoversi in Tapor Tre tipologie di testi analizzabili (TXT, HTML, XML) Diversi strumenti per le diverse tipologie Su file lunghi le operazioni possono richiedere molto tempo, dipendentemente dalla macchina e dalla connessione a Internet Concordanza Collocazioni Collocazioni dx/sx Clusters Estrattore di date Distribuzione Analisi plain text: gli strumenti 1. List words (elencazione delle parole): elenca tutte le parole presenti nel testo, ordinandole in 4 modi (alfabetico diretto ed inverso, di frequenza, di ordine di comparsa) 2. Find text (ricerca del testo): è lo strumento di concordanza per cercare parole, frasi o righe di testo (NON è case sensitive) BOX DI SELEZIONE PER L OPZIONE LIST WORDS Qui si inserisce il file.txt da analizzare Selezionare l opzione All words per ottenere la lista di frequenze completa Accertarsi di lasciare selezionata l opzione di ordinamento per frequenza Flaggare la casella per visualizzare i risultati in una nuova scheda del browser Tasto per avviare l elaborazione I punti interrogativi aprono altrettante finestre di aiuto contestuale BOX DI SELEZIONE PER L OPZIONE LIST WORDS RISULTATO INTERROGAZIONE SUL 1 CAP. PROMESSI SPOSI 4

e parole vuote (con l eccezione dell analisi

proposizioni, singoli caratteri sono inutili

anche errori nella pertinenza delle ricerche

5 ORDINAMENTO ALFABETICO RISULTATO INTERROGAZIONE 1 NOVELLA DECAMERON Stop word list È una lista di parole che verranno escluse dall analisi Normalmente sono numeri e parole vuote (con l eccezione dell analisi per clusters) Articoli, congiunzioni, proposizioni, singoli caratteri sono inutili ai fini della ricerca, e potrebbero causare anche errori nella pertinenza delle ricerche STRUMENTO FIND TEXT - CONCORDANZA CONCORDANZA PER LA PAROLA ABBONDIO 5

6 L INDICE Può essere considerato un caso particolare di concordanza senza contesto È una lista delle parole contenute in un testo (o corpus) accompagnata dai riferimenti ai luoghi in cui è possibile rintracciare le singole parole In genere è ordinato alfabeticamente in forma ascendente (A-Z) La lemmatizzazione Le forme che otteniamo dalle liste viste finora sono per lo più flesse Ci sono quindi vari tempi dei verbi, maschili e femminili, singolare e plurale, enclitiche, e così via Lemmatizzare significa riportare le diverse forme sotto un unico lemma (entrata di vocabolario) e ricostruire quindi un dizionario del testo Pro e Contro Nel modo lemmatizzato il vantaggio è la facilità di consultazione, lo svantaggio è la distanza che si crea tra il lemma e la parola (rischio di perdita di informazione). Nel modo non-lemmatizzato il vantaggio è la perfetta aderenza dello spoglio con le parole usate nel testo, lo svantaggio una difficoltà di consultazione. Lessici di frequenza Sono delle liste lemmatizzate organizzate in ordine di frequenza decrescente In genere applicati a grandi corpora testuali Servono ad individuare le principali fasce d uso dei lessemi Didattica delle lingue, lessicologia statistica, dizionari macchina L indice lemmatizzato Si tratta di una variazione dell indice classico È sostanzialmente un piccolo vocabolario dell opera in analisi, nel senso proprio del termine Come il suo progenitore in genere è ordinato alfabeticamente in forma ascendente (A-Z) Bibliografia Chiari, Isabella, Introduzione alla linguistica computazionale, Laterza, Bari 2007 Lenci, A., Montemagni, S., Pirrelli V., Testo e computer. Elementi di linguistica computazionale, Roma, Carocci 2005 Herdan Gustav, Linguistica quantitativa, Bologna, Il Mulino,

Documenti analoghi

Lez. 9. Gli spogli lessicali. Parte seconda 02/11/09

Lez. 9. Gli spogli lessicali. Parte seconda 02/11/09 Lez. 9 Gli spogli lessicali Parte seconda 02/11/09 LE CONCORDANZE È l elenco delle parole contenute in un testo, ordinate alfabeticamente e accompagnate da alcuni riferimenti che ne rendono possibile il