MODELLI STATISTICI PER LA PREVISIONE DEL RISCHIO DI INSOLVENZA (O VALUTAZIONE DEL MERITO DI CREDITO)

Transcript

1 MODELLI STATISTICI PER LA PREVISIONE DEL RISCHIO DI INSOLVENZA (O VALUTAZIONE DEL MERITO DI CREDITO) I vari operatori del credito ricevono richieste di finanziamento da potenziali clienti (individui o imprese) ed hanno la necessità di prendere una decisione circa la concessione o il rifiuto del credito. Obiettivo: l istituto di credito ha l esigenza di costruire una regola di classificazione che suddivida il collettivo dei richiedenti il credito in due classi - soggetti che potenzialmente rimborseranno il prestito ( sani ) e soggetti potenzialmente insolventi (insolvenza: incapacità di fronteggiare gli impegni assunti). L impiego di strumenti statistici a supporto del processo decisionale di concessione del credito si sostanzia nell attribuzione di un punteggio (score) ai soggetti che richiedono il credito punteggio che rappresenta le probabilità di rimborso. Sulla base di tale punteggio il soggetto sarà assegnato al gruppo dei potenzialmente sani o al gruppo dei potenzialmente insolventi La valutazione del rischio di insolvenza viene effettuata sulla base di informazioni individuali (le variabili predittive), osservate sia con riferimento ai soggetti sani sia a quelli insolventi, che riguardano caratteristiche socio-demografiche ed economiche con riferimento agli individui o caratteristiche legate allo stato di salute dell azienda (ad es. indici di bilancio). Unità 12 - Corso di Statistica aziendale (prof. M.R. Ferrante) Laurea Specialistica in Economia e Gestione Aziendale - Facoltà di Economia, Polo di Forlì, Università di Bologna

2 Vantaggi dell impiego di una procedura statistica: semplificazione ed automatizzazione oggettività ed omogeneità (o soggettività condivisa) riduzione del rischio di inadempienza e quindi dei contenziosi Concentriamoci sulla previsione del rischio di insolvenza aziendale. Tipologie di insolvenza: finanziaria problemi di liquidità, squilibri fra debiti a breve e a lungo termine, fra mezzi propri e mezzi di terzi. giuridica: il fallimento è la constatazione giuridica dell insolvenza finanziaria e rappresenta lo strumento col quale il legislatore dichiara la crisi aziendale e garantisce i diritti dei terzi. Cause principali interne ed esterne della crisi aziendale: squilibri ed inefficienze strutturali incapacità del management ciclo economico La valutazione della condizione economica, finanziaria e patrimoniale dell impresa può essere importante al fine di diagnosticare precocemente lo stato di crisi 2

3 I vari aspetti che definiscono lo stato di salute dell impresa possono essere valutati attraverso gli indici di bilancio (redditività, liquidità, solvibilità, leverage, dimensione, ecc.) L analisi basata sugli indici di bilancio costituisce l elemento fondamentale dell approccio più recente alla modellazione del rischio di insolvenza. Il contributo dell analisi statistica in questo senso può avere: 1) scopi descrittivi ed esplicativi di come si manifesta e si sviluppa una crisi aziendale; si tenta di risalire alle variabili che maggiormente sono responsabili dell insolvenza e quindi di identificare gli indici di bilancio che meglio possono diagnosticare precocemente stati di crisi 2) scopi predittivi: costruzione di una regola che consenta di assegnare unità nuove ad uno dei gruppi Perchè non si analizzano gli indici singolarmente? Gli indici sono espressione dei vari aspetti dello stato di salute di un azienda, aspetti che sono, ovviamente, interconnessi. Lo studio separato dei vari indici può condurre a difficoltà interpretative laddove indici diversi conducano a conclusioni diverse sullo stato di salute dell azienda. Perchè non si ricorre per costruire un indice sintetico - una media ponderata dei vari indici? Determinazione soggettiva dei pesi Mancata considerazione della correlazione tra indici 3

4 Mediante le tecniche di analisi statistica multivariata è possibile valutare la situazione economicofinanziaria complessiva dell impresa (vari indici) e di sintetizzare tale valutazione in modo da rendere possibile il confronto tra soggetti diversi Allo scopo di diagnosticare precocemente il rischio di insolvenza aziendale o di valutare, in generale, il merito di credito si possono usare le tecniche statistiche di tipo classificatorio. Tra le più frequentemente impiegate: l Analisi Discriminante (Centrale dei bilanci) gli Alberi di Classificazione Per costruire una regola classificatoria, occorre dunque: 1) stabilire la definizione dello stato di crisi, in riferimento: a) allo stato di crisi terminale (fallimento) b) ad uno degli stati di disequilibrio economico, finanziario o patrimoniale che precede il fallimento vero e proprio 2) disporre di dati retrospettivi, relativi ad indici di bilancio, per un gruppo di imprese sane e un gruppo di imprese in stato di crisi (o fallite al tempo corrente) 4

5 GLI ALBERI DI CLASSIFICAZIONE Considerato un campione di n unità statistiche su cui sono state osservate: La variabile dipendente Y (la base) che identifica a priori le classi Le variabili esplicative X=(X 1,X 2,, X s,,x p ) o predittori, impiegate per descrivere le caratteristiche delle classi identificate dalla base Le tecniche di partizione ricorsiva permettono di individuare l appartenenza di ogni unità statistica alle classi definite da Y, mediante suddivisione progressiva del collettivo in gruppi via via più omogenei al loro interno rispetto alla variabile dipendente Y, suddivisione effettuata sulla base di ciascuna X j Ttecniche di partizione ricorsiva (anche denominate di "Segmentazione gerarchica"): AID, CHAID, CART Segmentazione gerarchica (SG): Al primo passo del procedimento l insieme di n unità è suddiviso in due o più sottoinsiemi, definiti dalle modalità di una fra le variabili esplicative X. I passi successivi si realizzano suddividendo ulteriormente i sottoinsiemi ottenuti al passo precedente. 5

6 Ogni gruppo formato ad uno stadio del processo può essere cioè ulteriormente suddiviso negli stadi seguenti, fino a quando tale processo viene portato a termine con riferimento ad una prefissata regola di arresto (Criterio scissorio o top down) La segmentazione migliore, a questo e ad ogni passo successivo: viene individuata sulla base di una regola di ottimalità, che si realizza massimizzando l omogeneità entro/massimizzando l eterogeneità tra i sottoinsiemi, valutate secondo la variabile criterio (base). viene ricercata valutando tutte le segmentazioni possibili per ciascuna variabile esplicativa, e scegliendo la variabile che dà origine alla segmentazione migliore Schema che richiede notevoli potenzialità di calcolo : molti degli algoritmi di SG proposti di recente non erano realizzabili prima dello sviluppo dei calcolatori. 6

7 Un esempio di impiego degli alberi (credit scoring) (Zani, 2000) Informazioni relative a 323 clienti di un istituto di credito americano1, classificati in base alla loro affidabilità nel pagamento delle quote di un prestito elargito (variabile credit ranking, CR): la modalità affidabile è stata attribuita a coloro che hanno rispettato tutte le scadenze del prestito nella categoria non affidabile sono stati inseriti i clienti che non hanno rispettato le scadenze e sono quindi caduti in mora PAGA CREDIT RANKING Affidabile Non affidabile Totale <= sett. ETA > <= mens ETA > Totale Variabili esplicative: periodicità (mensile o settimanale) con la quale viene percepita la retribuzione (PAGA) età del cliente (ETA ). 1 I dati sono tratti dal file credit.sav collocato nella directory di lavoro del modulo AnswerTree del package SPSS. 7

8 I risultati delle tecniche di segmentazione vengono visualizzati attraverso strutture grafiche gerarchiche dette alberi : 8

9 L albero è costituito da un insieme finito di elementi, i nodi. Ogni nodo è un gruppo di unità, si riferisce a diversi stadi del processo di classificazione. Il rettangolo superiore rappresenta la radice (R) in cui è riportata la distribuzione delle freq. relative secondo la variabile CR (affidabile e non affidabile). Il nodo radice è un nodo disomogeneo al suo interno rispetto alla variabile obiettivo CREDIT RANKING perché racchiude tutti gli individui considerati, non classificati attraverso le variabili esplicative. I valori di soglia di una variabile che dividono le unità di un determinato nodo sono chiamati split (o suddivisioni). -- I rami sono le condizioni che hanno determinato la suddivisione. L insieme di tutti i nodi terminali di un albero viene indicato con il simbolo T ~. Le foglie sono i nodi terminali per i quali non si ritiene utile una ulteriore suddivisione. Nell esempio in esame i due sottoalberi sottostanti la radice sono formati distinguendo le due modalità del la variabile PAGA (mensile e settimanale): a sx clienti che percepiscono una retribuzione con cadenza settimanale a dx clienti che vengono retribuiti mensilmente; 9

10 Nell esperienza statunitense (alla quale si riferisce l esempio) una retribuzione settimanale è sintomo di un lavoro instabile, che può ripercuotersi negativamente sulla regolarità dei pagamenti alla banca nel nodo di sx compare una % elevata di clienti non affidabili nel nodo di dx la maggioranza dei clienti risulta affidabile Il valore % nella riga dei totali (riportato fra parentesi) fornisce il peso di un nodo nel livello in cui si trova Nelle foglie, punto di arrivo della rappresentazione: ulteriore classificazione delle unità in base alla variabile ETA utilizzando come split il valore 35 a sinistra ed il valore 25 a destra. La distinzione fra clienti affidabili e non affidabili ottenuta a livello finale è più netta rispetto alla classificazione di primo livello. In sintesi: Fra tutti i clienti che percepiscono una retribuzione settimanale, coloro con età superiore ai 35 anni sono, nella sostanza, affidabili, mentre il 90.51% dei clienti con età inferiore o pari a 35 anni è inaffidabile. 10

11 L ulteriore ripartizione dei clienti con retribuzione mensile individua i clienti con età superiore ai 25 anni che sono quasi totalmente affidabili (99,08%) Per età inferiore ai 25 anni, sempre per i clienti con paga mensile, si verifica una situazione incerta che potrebbe fare pensare alla necessità di una ulteriore variabile esplicativa per ottenere una distinzione più netta (51% vs 49%) Importante: tali considerazioni hanno conseguenze rilevanti in ambito previsivo la regola individuata può essere impiegata per classificare (nei gruppi definiti dalla var. obiettivo) nuove unità statistiche di cui si ignora la categoria di appartenenza (sulla base dei predittori). In base all esperienza, in futuro l istituto di credito sarà: disposto nella concessione di un credito ad un potenziale cliente con retribuzione mensile e con età superiore ai 25 anni più restio verso clienti giovani con retribuzione settimanale, a cui potrebbe chedere maggiori garanzie o non concedere il credito. 11

12 Ambiti economico-aziendali di impiego degli alberi credit scoring per valutare il rischio potenziale di una linea di credito; profiling per costruire i profili dei consumatori, degli utenti, dei clienti; direct marketing e comunicazione per scoprire quali gruppi risponderanno favorevolmente a determinate iniziative promozionali; previsione dello stato di crisi di un azienda qualità per scoprire le cause di difettosità di prodotti e servizi; database marketing per utilizzare appieno le informazioni sulla clientela effettiva e potenziale; Punto in comune con la cluster analysis gerarchica: nello stadio finale entrambe le procedure producono una partizione dell'insieme delle unità statistiche ( similarità con il dendrogramma ) Tuttavia, le differenze sono sostanziali: la SG richiede la conoscenza a priori della classe di appartenenza delle unità; scopo della cluster analysis è invece quello di costruire gruppi di unità statistiche partendo da un insieme indistinto 12

13 la SG viene operata utilizzando una sola variabile (selezionata fra tutte la variabili a disposizione) alla volta (si individua così una gerarchia di variabili), mentre la formazione dei gruppi nella cluster analysis viene fatta usando contemporaneamente tutte le variabili a disposizione la regola di classificazione individuata attraverso gli algoritmi di segmentazione viene usata per prevedere la collocazione di unità statistiche di cui non si conosce la classe di appartenenza Le tecniche di SG sono applicabili qualunque sia la natura della variabile dipendente: - qualitativa alberi di classificazione - quantitativa alberi di regressione (di cui non ci occuperemo) Le variabili esplicative possono essere su qualsiasi scala (se CART) In base al numero di sottoinsiemi che si possono formare ad ogni passo della procedura: Partizioni a due vie: segmentazione binaria Partizioni a un numero >2 vie: segmentazione multipla, o a K vie Negli ultimi tempi sono state proposti molti algoritmi di segmentazione, che si caratterizzano soprattutto per il diverso problema che affrontano, per la scelta dei criteri di analisi, per il modo in cui viene fatta la ricerca della migliore segmentazione (accenneremo a CART) 13

14 Obiettivi di un albero di classificazione 1) Individuazione delle determinanti della variabile dipendente L analisi individua le variabili esplicative che meglio spiegano la variabile dipendente. La segmentazione permette, cioè, di individuare le variabili esplicative rilevanti all interno di sottoinsiemi di unità via via più chiaramente definiti. 2) "Eliminazione" dell'informazione ridondante In subordine, l analisi di segmentazione è in grado di eliminare anche le variabili che ripetono l informazione contenuta in altre e le variabili che non sono rilevanti per spiegare la Y 3) Ricerca di interazioni fra variabili predittive. L interazione è l effetto che una combinazione di modalità ha sulla variabile dipendente e si può scoprire solo analizzando le distribuzioni condizionate (gerarchia delle variabili) 4) Produzione di regole di previsione o di classificazione. Sulla base del campione osservato si crea una regola di previsione del valore della var. dipendente di un nuovo soggetto per il quale si siano osservate le variabili esplicative. 5) Ricerca di relazioni non lineari o non monotone. Poiché alla base degli alberi di classificazione non c'è un modello che lega la var. dipendente alle esplicative, tale relazione può essere di forma qualsiasi. 14

15 LE FASI DI UNA PROCEDURA DI SEGMENTAZIONE 1. Scelta del tipo di segmentazione: binaria o multipla? 2. Dicotomizzazione delle variabili esplicative (suddivisione dello spazio delle variabili esplicative) 3. Scelta del criterio di suddivisione di ogni nodo t nei nodi figli equivale a scegliere una funzione criterio (misura della diversità tra gruppi) 4. Definizione di un criterio d arresto 5. Interpretazione dei risultati 6. Stima del costo di errata classificazione 7. Individuazione di una regola per l assegnazione di una delle J modalità della variabile dipendente ad ogni foglia e costruzione della regola d(x) per la classificazione dei nuovi casi 15

16 1. SEGMENTAZIONE BINARIA O MULTIPLA? La suddivisione multipla consente di suddividere un nodo in s sottoinsiemi, in un unico passo Può rivelarsi più efficiente nella costruzione dell albero poiché potenzialmente consente: un migliore adattamento alle relazioni fra variabili rispetto a quelle binarie (ad es. offre la possibilità di evidenziare relazioni non monotòne, fra la variabile dipendente e i predittori) di costruire alberi meno profondi e più sintetici, quindi più facilmente leggibili ed interpretabili. Tuttavia: Il problema principale della segmentazione multipla è costituito dai tempi di calcolo (il numero delle segmentazioni da esaminare aumenta molto velocemente) Inoltre, si dimostra che una segmentazione a tre modalità corrisponde a due segm. binarie. 2. SUDDIVISIONE DELLO SPAZIO DELLE VARIABILI ESPLICATIVE I criteri di partizione hanno come obiettivo quello di individuare la migliore suddivisione dello spazio X delle variabili esplicative ai fini della previsione della classe j della variabile dipendente è necessario identificare tutte le possibili partizioni fra cui scegliere quella ottimale. 16

17 Le possibili suddivisioni dipendono dalla natura qualitativa o quantitativa dei predittori. Ad es. per suddivisioni binarie: var. quantitativa: la divisione binaria delle unità statistiche avviene individuando un valore che rappresenta la soglia di ripartizione con riferimento a tale soglia si considerano due sottoinsiemi, da un lato quello comprendente tutti i valori inferiori o uguali al valore considerato e dall altro tutti i valori superiori a quello considerato In generale, se nel campione la variabile X s assume n valori distinti, i possibili split connessi a quella variabile saranno pari a n - 1. var. ordinale con m modalità: il numero di suddivisioni possibili sarà pari a m 1. Se, ad esempio, distinguiamo i giudizi riportati da n individui in una prova d esame secondo le modalità insufficiente, sufficiente, buono e ottimo, il numero di possibili split sarà pari a 3: (insufficiente), (sufficiente, buono, ottimo) (insufficiente, sufficiente), (buono, ottimo) (insufficiente, sufficiente, buono), (ottimo). var. nominale con m modalità: m 1 Poiché le modalità sono sconnesse, il numero delle possibili suddivisioni è pari a

18 Ad es., considerando la variabile forma giuridica di n aziende con modalità azienda individuale, società di persone, società di capitale, altro, il numero di possibili partizioni con due classi sarà pari a =7, cioè: (az. individuale, soc. di persone), (soc. di capitale, altro) (az. individuale, soc. di capitale), (soc. di persone, altro) (soc. di persone, soc. di capitale), (az. individuale, altro) (az. individuale, soc. di persone, soc. di capitale), (altro) (az. individuale, soc. di persone, altro), (soc. di capitale) (az. individuale, soc. di capitale, altro), (soc. di persone) (soc. di persone, soc. di capitale, altro), (az. individuale). Si noti che, per un numero elevato di variabili, il numero di possibili partizioni da considerare è molto ampio. 3. FUNZIONE CRITERIO PER LA SEGMENTAZIONE Si considerino n unità statistiche su cui sono state osservate p variabili che denoteremo come esplicative, X = (X 1, X 2, X 3,,X p ), ed una variabile Y, dipendente Obiettivo: ottenere nodi figli più puri dei nodi genitori, rispetto alla Y 18

19 Si ha riduzione dell impurità (disomogeneità) di un nodo se lo stesso viene suddiviso in sottoinsiemi che sono più omogenei al loro interno rispetto al gruppo di partenza. Valutazione della bontà della modalità di segmentazione s di un gruppo genitore, o nodo genitore, t si definisce una misura di IMPURITA Φ(s,t), detta funzione criterio della segmentazione, che misura la omogeneità (rispetto alla Y) all interno di ognuno dei gruppi figli generati dalla suddivisione s del gruppo genitore t. La massimizzazione della riduzione di Φ(s,t), Φ(s,t), sull insieme di tutte le segmentazioni considerate, porta a individuare la suddivisione che genera sottoinsiemi massimamente diversi fra loro, e quindi massimamente omogenei al loro interno. Varie sono le possibili definizioni di Φ(s,t). Un esempio ne è la devianza ENTRO. Data la Dev entro (Y) calcolata in t, tra le possibili suddivisioni di t si sceglie quella che determina la più piccola Dev entro (Y) associata alla suddivisione (equivale a massimizzare la Dev tra (Y) associata alla suddivisione)): Dev entro, t (Y) = Dev entro,s (Y) + Dev tra (Y) Φ(s,t) = Dev entro, t (Y) - Dev entro,s (Y) = Dev tra (Y) =max Ovviamente tale misura è adatta solo se Y è una var. quantitativa. 19

20 4. CRITERI PER L ARRESTO DEL PROCESSO DI SEGMENTAZIONE Se non si definisce una regola di stop, la segmentazione si blocca quando i nodi terminali contengono solo casi appartenenti alla stessa classe della variabile dipendente (eccessiva complessità nell interpretazione dell albero) Fra due regole di arresto si sceglie, ceteris paribus: quella che determina l albero di taglia minore, e quindi più facilmente leggibile quella che permette di distinguere nel modo più efficace possibile unità statistiche appartenenti a classi diverse. le due proprietà sono fra loro difficilmente conciliabili. A fronte di un numero elevato di variabili: l albero risulta, ovviamente, più complesso e quindi meno interpretabile può presentare nodi terminali costruiti sulla base di poche informazioni e ciò rende il risultato poco affidabile Nessuna regola di arresto riesce a garantire la giusta dimensione dell albero per il semplice motivo che non esiste una giusta dimensione 20

21 Tuttavia se le regole di arresto sono allentate, l albero risulta troppo ramificato, se, invece, sono restrittive si preclude la possibilità di individuare segmentazioni, magari rilevanti dal punto di vista esplicativo, che si sarebbero potute verificare ad un passo successivo. Nessun criterio è in grado di fornire da solo la migliore partizione conviene impiegare questi metodi congiuntamente, per cercare di ottenere una soluzione stabile e interpretabile. 1. DIMENSIONE MINIMA DEI GRUPPI per prevenire la formazione di gruppi di numerosità ridotta si impone una soglia sotto la quale la numerosità dei gruppi può non essere sufficiente per garantire l attendibilità delle stime 2. MINIMO DELLA CAPACITA ESPLICATIVA DELLA MIGLIORE SUDDIVISIONE AD OGNI PASSO Tale criterio richiede che la suddivisione contribuisca in modo significativo a spiegare la disomogeneità entro i gruppi riferita alla var. Y -- in caso contrario la procedura si arresta (equivale ad esempio a decremento significativo di impurità ) Ovviamente bisogna tenere conto del fatto che il contributo è direttamente proporzionale al numero di categorie e inversamente proporzionale alla numerosità campionaria 21

22 3. MINIMA DISOMOGENEITA DEL GRUPPO GENITORE muove dal presupposto che un gruppo genitore la cui misura di disomogeneità è inferiore a un certo valore si considera sufficientemente compatto, o puro, e non più divisibile 4. MASSIMO NUMERO DI PASSI DEL PROCESSO equivale a determinare il massimo numero di gruppi finali 5. PRUNING In alternativa alle regole di arresto della segmentazione, Breiman et al. (1984) propongono la procedura di sfoltimento o potatura (in inglese: pruning) di un albero: espansione dell albero fino alla sua dimensione massima, T max, e, con una procedura stepwise a ritroso, nell eliminazione dei rami meno utili: estrazione del sottoalbero ottimale da quello massimo (l argomento sarà approfondito nel seguito) 22

23 5. INTERPRETAZIONE DEI RISULTATI Output dell analisi di segmentazione è un diagramma ad albero su cui è buona norma riportare: - per ogni nodo, corrispondente ad un gruppo formato: il numero di unità e la distribuzione della variabile dipendente - per ogni ramo: le modalità e i predittori che determinano la suddivisione, e il guadagno portato dalla stessa Dall albero si possono, dunque, dedurre: o la numerosità dei nodi o le categorie del predittore in base al quale è stata effettuata la suddivisione o alcuni valori caratteristici della distribuzione di Y nel nodo genitore e nei nodi figli o il valore della funzione adottata per la segmentazione Inoltre si possono ottenere statistiche sintetiche sia dei gruppi creati che di quelli esaminati per scegliere la suddivisione migliore 23

24 Per verificare la Stabilità della soluzione ottenuta è possibile: 1. alterare casualmente un certo numero di dati, ripetere l analisi e verificare se e in quale misura il nuovo albero di segmentazione differisce da quello ottenuto nella prima fase 2. suddividere il campione osservato in due o più parti casualmente determinate e confrontare le configurazioni risultanti dall analisi con le stesse opzioni ( se n elevato ). Denominazione dei gruppi formati: in base alle categorie dei predittori che li hanno determinati. E necessario, tuttavia, tener conto del fatto che l ordine di selezione dei predittori non riflette necessariamente la loro importanza nella spiegazione della variabile dipendente Un predittore che non compare nell albero finale può, infatti: a) essere ininfluente nella spiegazione della variabile dipendente, b) potrebbe essere stato respinto dalla selezione di una variabile predittiva ad esso correlata (per ranghi), magari risultata migliore solo di poco al momento della segmentazione. Due predittori fortemente correlati, difficilmente saranno selezionati entrambi nella costruzione dell albero: la scelta dell uno o dell altro determinerà un albero completamente diverso. 24

25 6. IL COSTO DI ERRATA CLASSIFICAZIONE Data una certa regola d(x) di classificazione, costruita sulla base di del campione S di apprendimento (e definita su x), la misura utilizzata per valutare la capacità predittiva dell albero è il costo di errata classificazione La probabilità di classificare erroneamente un caso di classe i nella classe j mediante d è data da: Q( j i) = P d( X ) = j Y = i il costo atteso di errata classificazione dei casi di classe i sarà R (i) = C( j i) Q( j i) j in cui C( j i ) è il costo che si sostiene classificando erroneamente un caso di classe i nelle classe j 25

26 il costo di errata classificazione connesso al generico albero (e quindi al classificatore d ) sarà: R(T) = R( i) π ( i) con π ( i) prob. a priori che un caso venga classificato nella classe i R(T) varierà al variare della complessità dell albero: i a parità di semplicità della rappresentazione ad albero (in termini di numero di foglie) verrà selezionata la regola che consente di allocare correttamente la percentuale più elevata di unità statistiche Si consideri Ω un insieme artificiale (di dimensione non necessariamente finita) di unità statistiche avente le stesse caratteristiche di S il tasso di errata classificazione dovrebbe essere calcolato confrontando la reale classificazione delle osservazioni in Ω con quella prevista da d. Tale procedura non può essere applicata concretamente per cui si deve ricorrere ad una stima di R(T) che chiameremo Rˆ (T) e vi sono vari modi per ottenere tale stima 26

27 a. Stima di risostituzione R ˆr (T) Questa stima viene definita stima interna, cioè basata sulle n unità statistiche usate per costruire l albero Stimiamo Q( j i ) sulla base della frequenza delle osservazioni classificate erroneamente e quindi: Qˆ j i n n ( ) = r j i i in cui n j i è il numero di osservazioni di S appartenenti alla classe i e classificati in j ed n i è il numero di osservazioni di S appartenenti alla classe i La stima del costo atteso di errata classificazione dei casi di classe i sarà Rˆ i = C j i Qˆ j i r ( ) ( ) ( ) E la stima del costo di errata classificazione connesso al generico albero: j R ˆr (T) = i r ˆ R ( i ) π ( i ) r 27

28 Fornisce stime ottimistiche del costo di errata classificazione (lo sottostima) e l impiego di questo criterio per la selezione dell albero porta a scegliere sempre l albero T max Esempio ( i=classe effettiva, j=classe prevista): j=a j=b j=c tot i=a i=b i=c tot ˆ ( ) 10 /100 Q( c a ) = Q b a = ˆ 25 /100. Considerando costi di errata classificazione C( j i ) costanti, il costo atteso di errata classificazione dei casi di classe a sarà: Rˆ ( a ) = 10/ /100 = 35/100 =

29 analogamente: ˆ ( ) 5/87 2/ ( ) R b = + = Rˆ c = 4/32 + 8/32 = e la stima del costo di errata classificazione connesso al generico albero, per : π ( i) costanti: R ˆr (T) = 35/ / /32 = per π (1) = 100/ 219, π (2) = 87 / 219 e π (3) = 32/ Rˆ r ( T ) = + + = b. Stima mediante un campione test ( test sample ) Il campione S viene partizionato in maniera casuale in due sottocampioni S 1 e S 2 di numerosità, rispettivamente, n 1 e n 2, tali che S 1 S 2 = S e S 1 S 2 = (dove indica l insieme vuoto). 29

30 S 1 viene definito campione di apprendimento (learning sample) S 2 viene denominato campione test (testing sample) I due campioni possono considerarsi indipendenti. La regola d viene costruita utilizzando il campione d apprendimento e poi viene testata stimando R(T) sul campione test, per cui la stima del campione test, Rˆ (T), è data da: Stima della prob. di errata classificazione: ( ) 2 2 ts Qˆ j i = n n ts j i i in cui 2 n j i ed 2 n i assumono lo stesso significato precedente ma sono valutate sul campione test Stima del costo atteso di errata classificazione dei casi di classe i sarà Rˆ i = C j i Qˆ j i ts ( ) ( ) ( ) j ts ˆ = ˆ Stima del costo di errata classificazione connesso al generico albero: R ( T ) R ( i) π ( i) ts i ts 30

31 Le stime del tasso di errata classificazione così ottenute sono più affidabili rispetto alle R ˆ r ( T ), visto che usano dati esterni rispetto a quelli impiegati per la costruzione della regola di classificazione. Tuttavia: riduzione della numerosità del campione su cui viene costruito il classificatore d, per cui è auspicabile la sua applicazione solo se il campione S è di numerosità elevata. Generalmente la numerosità di S 2 è pari ad 1/3 della numerosità complessiva del campione. c. Stima mediante cross-validation (V-fold cross-validation) Metodo preferibile alla stima basata sul campione test, qualora la numerosità di S sia bassa. Innanzitutto, si costruisce l albero sulla base degli n elementi di S e quindi la stima del costo atteso di errata classificazione dell albero precedentemente costruito avviene nel seguente modo: il campione iniziale S viene ripartito casualmente in V > 2 sottocampioni S 1, S2,..., S v,..., SV di dimensione il più possibile prossima fra loro ( v) la regola di classificazione d ( x) viene costruita sul campione di apprendimento S - S (v), v = 1,2,,V.; lasciando ogni volta fuori un solo sottoinsieme S (v) da usare per il test di validità. 31

32 Se V è sufficientemente elevato, ogni regola 1/V), che è prossima alla dimensione di S. d (v) (x) viene costruita su un campione di dimensione n(1- Poiché, v, nessun elemento di S v è compreso in S - S v, è possibile stimare il costo di errata classificazione sulla base del campione test: Rˆ T = Rˆ i i v = 1,2,,V. ( v ) ( ) ts i ( v ) ( ) π ( ) ts Ogni classificatore d a R(T) (v) (x), v = 1,2,,V avrà un costo di errata classificazione ˆ v ts R ( ) ( ) T molto prossimo la stima del costo di errata classificazione dell albero T la ottengo facendo la media di tutti i tassi precedentemente ottenuti: 1 V ˆ ˆ ( v) R ( T ) = R ( T ) cv V v= 1 ts 32