Text mining ed analisi di dati codificati in linguaggio naturale. Analisi esplorative di dati testualilezione

Transcript

1 Text mining ed analisi di dati codificati in linguaggio naturale Analisi esplorative di dati testualilezione 2

2 Le principali tecniche di analisi testuale Facendo riferimento alle tecniche di data mining, disponibili per dati categoriali, ed ampliate per il caso specifico di dati testuali, gli strumenti principali sono: Analisi descrittiva del corpus. Riduzione spaziale della dimensionalità dei dati. Analisi di classificazione. B-ASC Biccocca Applied Statistics Center 2

3 Obiettivi dell analisi Estrazione di contenuti semantici rilevanti Tecnica legata soprattutto al marketing. In particolari applicazioni vengono analizzati i messaggi scaricati da comunità virtuali al fine di ottenere informazioni sull opinione dei clienti Ricerca di entità qualificate per l estrazione di informazioni Formulazione di risposte ad interrogazioni specifiche. Tecnica sottostante i risponditori automatici utilizzati nella prima fase dai customerservice center. Nella maggior parte dei casi vengono utilizzate tecniche di riduzione spaziale. B-ASC Biccocca Applied Statistics Center 3

4 L analisi descrittiva preliminare Ogni analisi statistica inizia con la descrizionedei dati a disposizione. Nel caso specifico dei dati testuali, gli strumenti richiesti sono strettamente legati alla tipologia del dato, quindi richiedono un analisi statisticolinguistica che tenga in considerazione: Tecniche di normalizzazione del testo (stemming e refining). Struttura linguistica(tipologia del testo). Struttura informativa(contenuto). 4

5 L analisi descrittiva preliminare Prima di utilizzare gli indici e le analisi statistiche per commentare e soprattutto confrontare i risultati, è necessario controllare che le operazioni di normalizzazione del testo siano state uniformi su tutti i corpora in analisi: ES.: utilizzare le stesse liste di stop worde gli stessi algoritmi di stemming; Gli strumenti statistici di seguito proposti si applicano ai dati puliti. 5

6 L analisi descrittiva preliminare: Alcuni indicatori N Parole N termini(concetti, unità lessicali) (lo stesso termine si può ripetere più volte, più parole uguali). Occorrenze= numero di ripetizioni dello stesso termine (frequenza) nel corpus. Indici sintetici della qualità dei testi: Tasso di copertura del testo. Indici di ricchezza lessicale. Strumenti statistici Distribuzione dei termini di maggiore importanza per l analisi all interno del corpus. Matrice termini per documenti. 6

7 Tasso di copertura del testo Tasso di copertura del testo: rapporto tra il numero di parole rimaste in seguito alle operazioni di refining ed il numero totale di parole presenti nel testo originale. Fornisce una prima indicazione sulla quantità di informazioni davvero utili contenute nel testo. Alcuni valori sono più legati di altri a determinate tipologie di testo: - Il testo tecnico è solitamente più stringato. - Il testo letterario è più articolato. Confronti fra generi e all interno dello stesso genere.

8 L analisi descrittiva preliminare: Indici di ricchezza lessicale Il vocabolariodi un testo è determinato dai termini usati in un testo, indipendentemente dalla loro frequenza. Un primo indicatore sintetico è #vocabolario, ovvero il numero di termini (non di parole) usati nel testo. Type/tokenratio= #vocabolario/n di parole presenti. Maggiore è il numero di termini diversi in rapporto al totale delle parole presenti, più è ricco il testo. (N.B. stemming) Guiraudindex= n harpax/#vocabolario. Harpax= numero di termini con frequenza assoluta pari a 1 Molti termini singolari indicano maggiore ricchezza di linguaggio. 8

9 L analisi descrittiva preliminare: Indici di ricchezza lessicale (esempio) Un singolo documento, descrittivo dell azienda, ricavato dalla comunicazione ufficiale del sito internet: Fondata nel 1876, Henkeldetiene posizioni di leadership sul mercato mondiale sia nel segmento dedicato ai consumatori sia in quello rivolto alle industrie, con marchi di fama internazionale come Persil, Schwarzkopf e Loctite. Henkel, la cui sede centrale si trova a Düsseldorf, in Germania, impiega circa persone nel mondo ed è una delle multinazionali tedesche più presenti sui mercati mondiali. Nel mondo ogni giorno le persone ripongono fiducia nei marchi e nelle tecnologie Henkel. 9

10 L analisi descrittiva preliminare: Indici di ricchezza lessicale (esempio) Testo dopo il refining(normalizzazione): Fondare Henkel detenere posizione leadership mercato mondo segmento dedicare consumatore rivolgere industria marchio fama internazionale Persil Schwarzkopf LoctiteHenkel sede centrale trovarsi Düsseldorf Germania impiegare persona mondo multinazionale tedesco presente mercato mondo mondogiorno persona riporre fiducia marchio tecnologia Henkel 10

11 L analisi descrittiva preliminare: Indici di ricchezza lessicale (esempio) Numero parole nel documento originale= 75 Numero di parole nel documento normalizzato = 40 Tasso di copertura del testo: 40/75= 0.53 #vocabolario: numero di termini nel testo = 32 Type/token ratio:#vocab/n parole = 32/40=0.8 #Harpax: numero di termini singoli = 27 Guiraud index: #harpax/#vocabolario=27/32=0.84 Termini più frequenti:. mondo Henkel marchio mercato persona

12 Distribuzione di frequenza dei termini a confronto con i lessici di frequenza Comparazione della distribuzione dei termini caratteristici della ricerca e confronto con i lessici di frequenza, che forniscono la distribuzione degli stessi termini all interno del linguaggio comune. Lessico parlato diverso da quello scritto. Particolarità del linguaggio scritto sul web. Linguaggio gergale. 12

13 L analisi descrittiva preliminare: matrice termini x documenti La matrice termini x documenti (come la sua trasposta documenti x termini) fornisce la distribuzione di frequenza di ciascun termine all interno dei vari documenti e vice versa. Questa matrice non ha solo caratteristiche descrittive ma funge da base per la maggior parte delle analisi statistiche più complesse. Fornisce informazioni sulle parole più frequenti e su quelle meno frequenti, che sono caratteri del testo specifico. 13

14 L analisi descrittiva preliminare: matrice termini x documenti mondo marchio mercato persona centrale ecc Azienda A Azienda B Azienda C ecc 14

15 L associazione tra concetti Come nel caso di variabili categoriali, anche per i termini presenti in un testo è possibile calcolare le associazioni fra coppie, verificando quali concetti si presentano più spesso in contemporanea. Dall analisi dell associazione è possibile trarre indicazioni riguardanti eventuali dimensioni latenti, presenti quando lo stesso concetto si manifesta con forme lessicali differenti. 15

16 La riduzione spaziale dei dati Previa la rilevazione di consistenti livelli di associazione fra coppie di concetti, è possibile costruire spazi fattoriali ridotti (proprio come l analisi fattoriale classica) che consentano di raggruppare insiemi di parole, le quali, accostate presentino un pensiero di senso compiuto. Tramite l analisi delle corrispondenze è possibile generare uno spazio in cui i gruppi di termini più prossimi sono portatori di informazioni rilevanti, non autoevidenti nella vasta mole di dati iniziali. 16

17 La riduzione spaziale dei dati La riduzione spaziale dei dati, chiamata anche SVD (SingularValue Decomposition), serve per quantificare l informazione contenuta nella matrice termini X documenti, la quale determina uno spazio multidimensionale enorme. La scomposizione in valori singolari aiuta a ridurre la dimensionalitàdei dati individuando le componenti semantiche latenti ( temi principali nei documenti originali). Ciascun documento ha una determinata posizione rispetto a questi nuovi assi che ne misura l attinenza al concetto ad essi sotteso. 17

18 La classificazione Ai dati testuali è possibile applicare le più diffuse tecniche statistiche di classificazione automatica allo scopo di : Individuare gruppi omogenei di termini all interno del corpus. Evidenziare caratteristiche che si discostano dal comportamento generale e che richiedono un trattamento diverso. 18

19 La classificazione Diversi metodi di classificazione: Metodi di apprendimento supervisionato Alberi decisionali Reti Neurali Metodi di apprendimento non supervisionato Clustering gerarchico Clustering non gerarchico 19

20 La classificazione I metodi di apprendimento supervisionatosono fortemente legati al concetto di text categorization: assegnazione automatica di testi scritti ad una o più categorie note in partenza: Single-label: Ogni testo viene assegnato ad una sola categoria Multi-label: Ogni documento può essere assegnato a zero o più categorie, che possono sovrapporsi parzialmente. Obiettivo di un classificatore automatico è quello di generalizzare le osservazioni fatte su un insieme di campioni di training, allo scopo di assegnare alla giusta categoria nuovi testi. 20

21 La classificazione I metodi di apprendimento non supervisionato, in generale consentono di conseguire i seguenti risultati: Ricerca tipologica e di classi omogenee Ricerca di gruppi di testi tra loro omogenei ma aventi caratteristiche distintive rispetto al resto del corpus. Generazione di ipotesi di ricerca Non necessitano di modelli a priori. Costruzione di sistemi di classificazione automatica Classificatore per le nuove unità. 21

22 Analisi testuale Prospettive: Sfruttare l enorme quantità di informazioni nascoste nei messaggi codificati in linguaggio naturale altrimenti trascurate. Limiti: L AI non è ancora sufficientemente sviluppata per consentire una ricodificaautomatica in linguaggio macchina che non necessiti della supervisione umana. 22

23 Principali software a disposizione per Software free Weka/KEA R/tm Software proprietario TalTac2 T-LAB Spad/data mining SPSS /Clementine SAS text miner l analisi testuale 23

24 Principali software a disposizione per l analisi testuale: WEKA/KEA Weka: Leader nell ambito del software open source per il data mining e per il text mining in particolare. Sviluppato in Java nell ambito dell università di Waikato in Nuova Zelanda. Nato in ambito di ricerca, si sta diffondendo nel mondo economico. Include tooldi pre-processing, metodi di valutazione, algoritmi di apprendimento ed un ambiente per confrontarne i risultati, nonché un interfaccia grafica. 24

25 Principali software a disposizione per l analisi testuale: WEKA/KEA Weka/KEA: Il modulo KEA è specifico dell analisi testuale. KEA fornisce un algoritmo per l estrazione di parole chiave e frasi cardine da documenti testuali utile per indicizzazioni (libere o controllate) tramite dizionario. Integra tutti i più comuni strumenti di analisi statistica testuale.!!!importante: dispone di una vasta raccolta di vocabolari utili per lo stemming(tra cui l italiano). 25

26 Principali software a disposizione per l analisi testuale: R/tm R: È un ambiente di sviluppo specifico per l analisi statistica. Rappresenta lo standard del software statistico open source per il mondo accademico perché è sempre all avanguardia. Lo sviluppo di interfacce grafiche userfriendlyne amplia l utilizzo fuori dall università. Non fornisce garanzie dal punto di vista legale sulla qualità del risultato, peraltro supervisionato costantemente dagli sviluppatori (per lo più accademici di professione). 26

27 Principali software a disposizione per R: l analisi testuale: R/tm Dispone di una ampia serie di moduli specifici che si adattano alle maggiori esigenze statistiche. Il pacchetto per l analisi testuale tmfornisce gli strumenti per la normalizzazionedei testi, che in seguito possono essere trattati con i classici strumenti statistici compresi nei moduli specifici. Per l analisi semantica e lo stemmingutilizza gli stessi strumenti implementati in WEKA. 27

28 Principali software a disposizione per l analisi testuale TalTac2: Software proprietario per l'analisi automatica del testo nella duplice logica di Text Analysis (TA) e di Text Mining(TM). Ha origine dai risultati di ricerche svolte presso le Università degli Studi di Salerno e di Roma "La Sapienza" nel corso degli anni novanta, coordinate da Sergio Bolascoed è frutto della collaborazione di ricercatori e colleghi di varie università italiane e francesi. Utilizza risorse sia di tipo statistico, sia di tipo linguistico, altamente integrate fra loro e personalizzabili dall'utente, e consente a due livelli, lessicale e testuale, da un lato l'analisi del testo (text analysis), dall'altro il recupero e l'estrazione d'informazione, secondo i principi del data mininge del text mining. N.B.: Specifico per ambienti Windows. 28

29 Principali software a disposizione per l analisi testuale T-LAB: Software statistico, utilizzato anche nell ambito, ma indirizzato soprattutto al settore privato. Nato nell ambito in territorio italiano, dispone di una discreta varietà di dizionari e, come TalTac2, è indirizzato specificatamente all analisi testuale. Il software utilizza processi automatici semiautomatici che consentono di evidenziare rapidamente pattern di parole, temi e variabili. N.B.: Specifico per ambienti Windows. 29

30 Principali software a disposizione per l analisi testuale SPAD/data mining: SPAD è un software della società francese Coherisdestinato all analisi dei statistica dati con indirizzo prevalentemente predittivo. Si è sviluppato in ambito accademico ma, grazie allo sviluppo di un interfaccia grafica fortemente intuitiva, ha assunto un indirizzo preminentemente aziendale. Oggi la fase di sviluppo è principalmente a livello proprietario. Il modulo di data mining offre di tecniche di analisi testuale N.B.: Specifico per ambienti Windows. 30

31 Principali software a disposizione per l analisi testuale SPSS/ Clementine SPSS è un software statistico oggi di proprietà dell IBM, diffusissimo soprattutto in ambito sociologico, dispone di un set di toolstatistici abbastanza completo e di un interfaccia grafica molto semplice che ne hanno consentito un grandissima diffusione. Offre un modulo di data mining, Clementine, che integra l analisi testuale. N.B.: Oltre che da Windows è supportato anche da Mac OS. 31

32 Principali software a disposizione per l analisi testuale SAS/ text miner Complesso di prodotti software integrati (sviluppati dal SAS Institute) ad indirizzo prevalenti di supporto alle decisioni. Permette un ampio utilizzo di strumenti di programmazione: meno user friendly ma più flessibile. Rappresenta il leader di mercato nel data mininge, oltre ad avere toolspecifici per l analisi testuale nel pacchetto text minir, oggi offre un pacchetto supplementare completo di texmining, completo degli strumenti più aggiornati e di un ampia gamma di dizionari. N.B.: non è supportato da Mac Os. 32

33 Bibliografia Data Mining Techniques, III ed.; LinoffG.S., Berry M.J.A.; (2011) Wiley Capitolo 21: Text mining