Realizzazione di un sistema predittivo dei risultati del campionato di calcio italiano di serie A 2006/2007

Transcript

1 Realizzazione di un sistema predittivo dei risultati del campionato di calcio italiano di serie A 2006/2007 Docente Prof. Giuseppe Manco Studenti Matr Francesco Aiello Matr Vittorio Leo

2 Introduzione E Possibile predire il futuro? Poteri paranormali Data Mining Data Mining Amplia la conoscenza su cui basare le proprie decisioni Modellazione predittiva

3 Modellazione predittiva Input: Esempi Attributo di classificazione (classifica gli esempi) <x, f(x)> Output: Funzione di predizione h(x) h(x) f(x)

4 Modellazione predittiva

5 Casi di studio Sistema predittivo dei risultati del campionato Mondiale Germania 2006 (American University in Sharjah) Approccio: Predizione risultati di ogni singola partita Validità: : Breve periodo di svolgimento del mondiale Svantaggi: Inadatto a periodi di riferimento molto lunghi Si richiedono dati aggiornati prossimi al periodo di svolgimento della partita

6 Casi di studio Sistema predittivo dei risultati del campionato di calcio italiano di serie A 2006/2007 Lungo periodo di svolgimento: Richiede approccio differente Perché? Si desidera effettuare una previsione con i soli dati a disposizione ad inizio campionato

7 Raccolta dati Quanti dati? 10 anni di storia del calcio Dal 1996/1997 al 2006/2007 Sufficienti? Limite imposto dall impossibilit impossibilità di reperire informazioni affidabili e complete riferite ad anni precedenti al 1996

8 Raccolta dati Fonti: fifaworldcup.yahoo.com Altri siti Problemi di reperimento dati: Dati a pagamento Fonti inattendibili Difficoltà di accesso ad informazioni globali Smaltimento dati

9 Consolidamento dati Modellazione: Realtà di interesse: Tuple = Istanze (squadre) Colonne = Attributi (caratteristiche degli oggetti che vogliamo studiare) Strumenti: Excel: raccolta e manipolazione dati Java: manipolazione dati (limitazioni Excel) ActiveXLS: : interazione Java - Excel

10 Excel File per ogni stagione Fogli: Giocatori (squadra, ruolo, età à ) Goal Presenze stagionali Presenze totali Minuti giocati Ammoniti Espulsi Assist Partite Rigori Squadre Raggruppati in Statistiche generali 1

11 Attributi Anno Precedente: Giocatori (goal, età,, presenze, minuti giocati ) Allenatore (età,, campionati vinti ) Squadra (trofei, dati generali giocatori ) Risultati stagionali Dati campionato Anno Corrente: Giocatori (goal, età,, presenze, minuti giocati ) Allenatore (età,, campionati vinti ) Squadra (dati generali giocatori ) Differenze rispetto a stagione precedente Storico risultati

12 Attributi non inseriti Altezza media giocatori Durata squalifiche Nazionalità giocatori Giocatori controllati da famiglia Moggi Giocatori infortunati Gol fatti e subiti primo tempo Gol fatti e subiti secondo tempo Media di presenze in nazionale Numero medio compagne giocatori Numero medio di anni giocati nella squadra dai giocatori Numero medio figli giocatori Numero medio lutti in famiglia giocatori Numero medio per partita di sostituzioni Pareggi a fine primo tempo Possibili moduli (un attributo per ogni modulo) Peso medio giocatori Possesso palla medio Spettatori pareggi Spettatori sconfitte Spettatori vittorie Squalifiche Stipendio medio giocatori anno corrente Valore crediti fantacalcio Vittoria trofei estivi Vittorie Totali Vittorie a fine primo tempo

13 Java Costruzione foglio Statistiche Generali 2: Storia dei risultati per ogni squadra Aggiorna il risultato storico in base al risultato della stagione corrente Costruzione dataset: File unico contenente le tuple di ogni stagione Fogli: Anno precedente 1 (dati ad inizio stagione) Anno precedente 2 (risultati stagionali) Anno corrente 1 (dati ad inizio stagione) Anno corrente 2 (storico risultati) Conversione del dataset da XLS ad ARFF

14 Java Le classi CacolatoreRisultatiScontriAnnoCorrente.java Per ogni coppia di squadre calcola i risultati nella stagione corrente CompilatoreDataset.java Raggruppa i dati sparsi nei 10 file Excel in un unico file che rappresenta r l intero l Dataset CostruttoreFile.java Per l impossibilitl impossibilità di caricare in memoria file excel troppo grandi (limitazione delle d librerie ActiveXLS), tale classe estrae solo le informazioni utili da ognuno dei dieci d file Excel e le trasferisce in altri 10 file di dimensioni più piccole. Formattatore.java Nelle tabelle contenenti gli incontri erano presenti delle disomogeneit ogeneità nei nomi delle squadre. Tale classe rende omogenei tali nomi. Renamer.java Modifica i nomi degli attributi in modo da poter distinguere quelli relativi alle squadre, ai giocatori, allenatori ExcelToArff.java A partire dal file Excel costruito tramite CompilatoreDataset genera un equivalente file Arff da utilizzare in Weka.

15 Analisi dei dati Weka Filtraggio dati Apprendimento Analisi Analisi in Weka Analizzati numerosi algoritmi. Algoritmi scelti: J48 Bagging (combinato con J48) Ada Boost (combinato con J48) AttibuteSelectedClassifier con J48 FilteredClassifier con filtro supervisionato e J48 LogitBoost con DecisionStump Vote

16 J48 J48 = C4.5 Costruisce un albero di decisione Split: Migliore attributo Entropia, un concetto basato sulla teoria dell informazione Misura l impurità di uno split Seleziona l attributo che massimizza la riduzione di entropia

17 Metaclassificatori Problema: Dato: Training set D di dati in X Un insieme di algoritmi di learning Una trasformazione s: X X (sampling, transformazione, partizionamento) Restituire: Un nuovo algoritmo per x X che combina gli outputs degli algoritmi ottenuti Proprietà: Limitare l errorel

18 AdaBoost Idea: Apprende un insieme di classificatori da D Ri-pesa le istanze per enfatizzare la misclassificazione Classificatore finale combinazione pesata di classificatori

19 Bagging Campionamento mirato Dato: D contenente d istanze Creiamo S[i] ] pescando a caso (con rimpiazzamento) m istanze da D S[i] ] di dimensione m: : il rimpiazzamento può far replicare le scelte Tipicamente, si lascia fuori lo 0.37 di D

20 Evoluzione del dataset Attributo di classe Scelta iniziale: 1, 0 (vittoria campionato) Sbilanciamento nei dati Modifica attributo di classe Soluzione: {da1a3,da4a6,da7a9,da10a1 2,da13a15,da16a20} posizione in classifica Sbilanciamento eliminato

21 Risultati Cross Validation J48 Correctly Classified Instances % Incorrectly Classified Instances % TP Rate FP Rate Precision Recall F-Measure F ROC Area Class da1a3 a da4a6d da7a9d da10a12d da13a da16a20d

22 Risultati Cross Validation AdaBoost con J48 Correctly Classified Instances % Incorrectly Classified Instances % TP Rate FP Rate Precision Recall F-Measure F ROC Area Class da1a da4a da7a da10a da13a da16a20

23 Risultati Cross Validation Bagging con J48 Correctly Classified Instances % Incorrectly Classified Instances % TP Rate FP Rate Precision Recall F-Measure F ROC Area Class da1a3 a da4a6d da7a9d da10a12d da13a15d da16a20d Quanto osservato ci induce a pensare che i meta classificatori ci c possono tornare utili

24 Risultati Cross Validation AttibuteSelectedClassifier con J48 Riduce la dimensionalità dei dati di training in base alla selezione di alcuni attributi più rilvanti di altri, la scelta degli attributi è fatta attraverso un opportuno valutatore che nel nostri caso è il CfsSubseEval che valuta la validità degli attributi considerando la loro individuale capacità predittiva e la loro correlazione con l attributo di classe Correctly Classified Instances % Incorrectly Classified Instances % TP Rate FP Rate Precision Recall F-Measure ROC Area Class da1a da4a da7a da10a da13a da16a20

25 Risultati Cross Validation FilteredClassifier con filtro supervisionato e J48 Classifica i dati dopo averli discretizzati in modo supervisionato Correctly Classified Instances % Incorrectly Classified Instances % TP Rate FP Rate Precision Recall F-Measure ROC Area Class da1a da4a da7a da10a da13a da16a20

26 Risultati Cross Validation LogitBoost con DecisionStump Effettua classificazione utilizzando uno schema di classificazione Correctly Classified Instances % Incorrectly Classified Instances % TP Rate FP Rate Precision Recall F-Measure ROC Area Class da1a da4a da7a da10a da13a da16a20

27 Risultati Cross Validation Vote con: AttibuteSelectedClassifier con J48 FilteredClissifier con filtro supervisionato e J48 LogitBoost con DecisionStump Mai così alto Correctly Classified Instances % Incorrectly Classified Instances % TP Rate FP Rate Precision Recall F-Measure ROC Area Class da1a da4a da7a da10a da13a da16a20

28 Considerazioni Accuratezza dei modelli non risulta in generale elevata TP rate in corrispondenza dei valori di classe da1a3 e da16a20 sono molto elevati Con Vote - TP rate in aumento

29 Evoluzione del dataset Discretizzazione non supervisionata Natural Binning. Numero di classi: 9 Risultati peggiori dei precedenti TP rate sempre elevati per i valori di classe da1a3 e da16a20 e pessimi per le classi intermedie

30 Evoluzione del dataset Discretizzazione non supervisionata Equal Frequency Binning. Numero di classi: 9 K intervalli di identica frequenza di elementi Nessun guadagno TP rate sempre elevati per i valori di classe da1a3 e da16a20 e pessimi per le classi intermedie

31 Evoluzione del dataset Normalizzazione. Conversione dei valori degli attributi nella scala da 0 a 1 L analisi produce valori identici a quelli ottenuti dai dati originali Tutti gli altri classificatori forniscono dati peggiori Algoritmo scelto per la fase di test: Vote con: AttibuteSelectedClassifier con J48 FilteredClissifier con filtro supervisionato e J48 LogitBoost con DecisionStump

32 Test Divisione dataset in: Training Set = 156 tuple Test Set = 10 tuple random Correctly Classified Instances 7 70 % Incorrectly Classified Instances 3 30 % TP Rate FP Rate Precision Recall F-Measure F ROC Area Class da1a da4a da7a ? da10a ? da13a da16a20

33 Considerazioni Comportamento classificatore: buono sulle prime ed ultime posizioni Perde in posizioni di metà classifica conferma di ciò che era emerso con l analisi l dei risultati prodotti dalla Cross-Validation

34 Predizioni 1.Ascoli 2.Atalanta 3.Cagliari 4.Catania 5.Chievo Verona 6.Empoli 7.Fiorentina 8.Inter 9.Lazio 10.Livorno 11.Messina 12.Milan 13.Palermo 14.Parma 15.Reggina 16.Roma 17.Sampdoria 18.Siena 19.Torino 20.Udinese Squadra Da10a12 Da10a12 Da7a9 da13a15 Da4a6 Da7a9 da4a6 da1a3 da4a6 da4a6 da13a15 da1a3 da4a6 da10a12 Da13a15 Da4a6 Da7a9 da4a6 Da4a6 da4a6 Posizione predetta

35 Conclusioni Risultati verosimili per le prime 3 posizioni: Squadre che lottano per lo scudetto Inter Milan conferma i buoni valori ottenuti nella fase di validazione

36 Problematiche Scarsa accuratezza delle posizioni di centro classifica caratteristica intrinseca dei dati che per queste posizioni non permettono un adeguata discriminazione delle posizioni intermedie di classifica Soluzioni: Maggior numero di tuple del dataset Nessuna tecnica trovata per l aggiramento l di tale problema

37 FINE