Progetto ASTREA WP2: Sistema informativo per il monitoraggio del sistema giudiziario

Transcript

1 Progetto ASTREA WP2: Sistema informativo per il monitoraggio del sistema giudiziario Nell ambito di questa attività è in fase di realizzazione un applicativo che metterà a disposizione dei policy makers, degli operatori del sistema giudiziario, degli studiosi e, più in generale, dei cittadini, una serie di informazioni relative al funzionamento del sistema giudiziario. Al momento sono stati realizzati due prototipi (GiuriClass e GiuriMole), entrambi disponibili online 1, e sono stati prodotti i primi risultati di giurimetrica. Per ottenere questi risultati, sono state utilizzate alcune tecniche di text mining su due collezioni di documenti: sentenze e massime della Corte di Cassazione e sentenze del Tribunale di Bologna (in materia civile). In particolare le tecniche utilizzate sono: Classificazione automatica, per l individuazione della materia di riferimento; Clustering (raggruppamento dinamico), per far emergere correlazioni "nascoste", individuare temi principali e sottotemi, creare associazioni fra documenti e fra citazioni normative, scoprire trend temporali, Information Extraction, per estrarre da testi non strutturati, quali le sentenze di merito, le informazioni utili per condurre analisi di giurimetrica e le informazioni base da fornire ai ricercatori per il calcolo di indici e indicatori. Classificazione automatica L uso di tecniche di machine learning ha consentito di realizzare alcuni modelli di classificazione basati sullo schema di classificazione in Grandi Voci della Corte di Cassazione. I modelli sono stati addestrati e testati su un corpus di sentenze civili della Corte di Cassazione. Il modello che ha dato i risultati migliori è stato ottenuto con il metodo SVM (Support Vector Machine), utilizzando come termini di indicizzazione tutti i sostantivi, i verbi e gli aggettivi ( termini). Questo modello ha un accuracy (percentuale di corrette classificazioni) dell 81,5%. Sulla base di questi risultati, è stato realizzato un prototipo, GiuriClass, che consente di classificare un documento testuale nelle principali grandi voci di classificazione della materia civile. Il prototipo attualmente consente di classificare un documento alla volta, anche utilizzando più di un modello, ed è disponibile sul sito GiuriClass è già stato utilizzato per classificare le sentenze di merito del Tribunale di Bologna. 1 Ad accesso controllato

2 Clustering L uso di tecniche di clustering, o raggruppamento automatico, è particolarmente utile quando i documenti da analizzare non hanno una classificazione ufficiale o quando si ritiene che possano emergere nuovi argomenti non ancora considerati nella classificazione ufficiale. Un primo prototipo, GiuriMole, è stato realizzato su 7400 sentenze della Corte di Cassazione ed è disponibile sul sito Il prototipo sfrutta la tecnologia MOLE (Mining On- Line Expert) che consente di selezionare i documenti da analizzare mediante un interrogazione sul data base, di fare il clustering dei documenti selezionati (raggrupparli in categorie tematiche), variando opportunamente i parametri, e di esplorare i risultati tramite mappe e rappresentazioni grafiche. Per ogni argomento individuato (cluster) è possibile vedere la distribuzione delle sentenze per anno, per voce di classificazione, cioè per materia (eventualmente aggregata in grande voce), per PM, presidente, ricorrente, resistente, estensore e per riferimenti normativi (meta-informazione estratta dalle massime che sono associate alla sentenza). Ad esempio la query licenziamento consente di estrarre 1707 sentenze. GiuriMole analizza tutti i termini (sostantivi, verbi e aggettivi) che compaiono in questi documenti e li raggruppa (due documenti sono tanto più simili quanto più numerosi sono i termini che condividono). È possibile così individuare dei sotto-argomenti: un gruppo di sentenze tratta di licenziamento per fallimento e cassa integrazione, un gruppo di raggiungimento dell età pensionabile, uno di durata della malattia, uno di ristrutturazione/ridimensionamento, uno di scadenza contratto (tempo determinato o periodo di prova), uno di licenziamento disciplinare e uno di licenziamento per giusta causa. La mappa dei cluster consente di avere una panoramica della materia e mette in evidenza quali temi sono tra loro collegati. L esame della meta-informazione consente di vedere come le sentenze analizzate appartengono tutte alla voce LAVORO e, in minima percentuale, alla voce FALLIMENTO e come ciascun cluster sia caratterizzato dalla presenza di una particolare sotto- voce della Corte di Cassazione (c è quindi una sovrapposizione tra gli argomenti individuati automaticamente da GiuriMole e quelli ufficiali ).

3 Dalla distribuzione delle sentenze per anno si può notare come tendono ad aumentare nel tempo i ricorsi in Cassazione in materia di licenziamento per giusta causa e, in secondo luogo, in materia di licenziamento per ridimensionamento. Tra i ricorrenti spiccano I. ed E. 2, tra i resistenti emergono anche alcune grosse aziende quali F., A., B. e S., quest ultima, in particolare, coinvolta in ricorsi per giusta causa. Oltre a conoscere i nomi dei PM che seguono questo tipo di ricorsi, si può notare che la loro attività non è specializzata in argomenti specifici, ma si distribuisce equamente nei diversi gruppi tematici (clusters). È inoltre possibile vedere quali riferimenti normativi caratterizzano ciascun argomento. Questo prototipo è stato particolarmente utile per individuare, testare e settare i parametri per il clustering (il tipo di algoritmo, il metodo di ottimizzazione, il sistema di ponderazione, ). La presenza di una classificazione ufficiale ha infatti consentito la valutazione del processo di clustering in termini di purezza ed entropia dei cluster. Information Extraction Sono stati realizzati strumenti di Information Extraction specifici per estrarre dalle sentenze di merito del Tribunale di Bologna informazioni specifiche (oggetto, anno di iscrizione al Ruolo, data di presa in decisione, data di emissione della sentenza, data di deposito, tipo di organo giudicante, sezione, giudice, esito e compensazione delle spese). Il metodo utilizzato è quello del knowledge engineering, o codifica manuale della conoscenza. Le regole implementate per l estrazione di ciascuna informazione hanno un accuracy (percentuale di informazioni correttamente individuate) minima del 75% (valutata su un campione di 100 sentenze). Questi strumenti hanno consentito di analizzare le sentenze di merito e di rispondere a domande del tipo: Le cause in materia di LAVORO sono aumentate o diminuite nel tempo? In che percentuale le domande in materia di FAMIGLIA vengono accolte? Qual è il grado di specializzazione dei giudici? Quante volte vi è compensazione delle spese in materia di PREVIDENZA? 2 I nomi delle aziende sono stati abbreviati per motivi di privacy.

4 Quanto tempo passa tra l Iscrizione al Ruolo e l udienza in cui la causa viene presa in decisione? E quanto tra la presa in decisione e l emissione della sentenza? E quanto tra l emissione e il deposito della sentenza? Questi tempi variano da materia a materia? Da giudice a giudice? L ammontare del risarcimento varia a parità di percentuale di danno biologico? A titolo di esempio, la rappresentazione grafica che segue mostra l andamento percentuale delle iscrizioni a Ruolo per materia dal 1982 al 2000 (l ultimo anno potrebbe non essere completo) e mette in evidenza l aumento delle cause in materia di FAMIGLIA. Le analisi hanno inoltre messo in evidenza la dipendenza, statisticamente significativa, tra i tempi intercorsi tra le varie fasi e la materia. La rappresentazione che segue mostra come variano mediamente i tempi tra la presa in decisione e l emissione della sentenza (da 4 giorni per la materia PREVIDENZA a 76 giorni per la materia TRIBUTI ERARIALI INDIRETTI RIFORMA) e tra emissione e deposito della sentenza.

5 Le analisi di giurimetrica sono finora state condotte sull intero corpus di sentenze, ma potrebbero essere implementate in GiuriMole e quindi codotte su sottoinsiemi di sentenze specifici, di interesse per ciascun utente. GiuriMole potrebbe quindi fornire, oltre al raggruppamento tematico (clustering), anche tabelle di incrocio per esempio dell esito (domanda accettata / respinta) per materia trattata e per anno, all interno di ciascun cluster, o in generale nelle sentenze selezionate dall utente. Indipendentemente dall integrazione di queste funzionalità in GiuriMole, gli strumenti di Information Extraction realizzati possono essere utilizzati per strutturare database puramente testuali fornendo ulteriori modalità di ricerca (e di analisi) dell informazione.