DESCRIZIONE DEL DATA SET

Transcript

1 DESCRIZIONE DEL DATA SET Fonte: UC Irvine Machine Learning Repository Autore: Michael Redmond Nome data set: Communities and Crime CONTENUTI DEL DATA SET DI PARTENZA 125 POTENZIALI PREDITTORI Dati socio-economici derivanti dal censimento U.S.A. del POTENZIALI VARIABILI RISPOSTA Dati relativi ai crimini U.S.A. derivanti dal programma UCR dell FBI. Alcuni predittori sono stati eliminati a priori in quanto presentavano un ingente numero di NA Per il nostro lavoro abbiamo scelto di considerare solamente le due variabili risposta principali DATA SET FINALE IMPIEGATO PER IL LAVORO 94 predittori socio-economici. Crimini violenti e crimini non violenti per abitanti come variabili risposta. Il tutto con un numero di osservazioni pari a 1901 municipalità degli Stati Uniti. Tali municipalità, rapportate con il totale registrato nel 1990, rappresentano il: o 40% della popolazione U.S.A.; o 61% del totale dei Crimini Violenti; o 41% del totale dei Crimini non violenti.

2 REGRESSIONE LINEARE SEMPLICE CON PREDITTORE CON PIÙ ALTA CORRELAZIONE Regressione lineare Regressione quadratica R 2 = 54,68% R 2 = 55,19% MSE LOOCV = MSE LOOCV = Regressione lineare Regressione quadratica R 2 = 44,30% R 2 = 44,41% MSE LOOCV = MSE LOOCV =

3 SELEZIONE FORWARD Numero variabili secondo R^2 aggiustato Numero variabili secondo R^2 aggiustato Numero variabili secondo Cp Numero variabili secondo BIC Numero variabili secondo Cp Numero variabili secondo BIC NUMERO DI VARIABILI E TEST MSE (LOOCV) NUMERO DI VARIABILI E TEST MSE (LOOCV) MSE = MSE =

4 R 2 aggiustato ANALISI PREDITTORI SELEZIONATI DA FORWARD R 2 aggiustato 20 PREDITTORI 22 PREDITTORI FAMIGLIA LAVORO ABITAZIONI CONTESTO IMPATTO DEI GRUPPI DI PREDITTORI SUL TASSO DI FAMIGLIA: in generale sembra che la famiglia conduca ad un aumento del tasso di criminalità tanto più questa si discosta dalla famiglia tipo ; un aumento della percentuale di madri lavoratrici determina invece un calo del numero di crimini. LAVORO: tutti e tre i predittori portano ad una riduzione dei crimini violenti. ABITAZIONI: una maggior percentuale di case occupate fa calare il tasso di criminalità. All aumentare delle case sfitte e delle case di dimensioni ridotte il numero di crimini violenti sembra invece registrare un aumento. CONTESTO: una maggior concentrazione nelle aree urbane, una elevata popolazione ed un alto numero di stranieri e persone afro-americane determinano una crescita del tasso di criminalità. FAMIGLIA LAVORO ABITAZIONI CONTESTO IMPATTO DEI GRUPPI DI PREDITTORI SUL TASSO DI FAMIGLIA sembra che anche per i crimini non violenti la famiglia porti ad un aumento del tasso di criminalità tanto più questa si discosta dalla famiglia tipo. LAVORO: all aumento dei pensionati, dei liberi professionisti e degli operai manifatturieri i crimini non violenti si riducono. L aumento dell occupazione invece sembra portare ad una crescita del tasso di criminalità. ABITAZIONI: tutti i predittori del gruppo portano ad un calo del tasso di criminalità, anche se le percentuali di case occupate e di case sfitte dovrebbero avere effetti opposti. Forse uno dei due predittori presenta una relazione con variabili omesse. CONTESTO: maggiore concentrazione di popolazione nelle aree urbane, maggiore povertà ed elevato numero di stranieri fanno crescere il tasso di criminalità.

5 REGRESSIONE LASSO MSE = MSE = MSE = MSE = Il modello ottenuto utilizzando la λ che minimizza il test MSE contiene 20 predittori; tale modello è praticamente identico a quello ottenuto con la Forward. Analizziamo dunque il modello ottenuto con il massimo valore di λ entro uno standard error, il quale fa uso solamente di 6 predittori e presenta un test MSE relativamente simile. ANALISI MODELLO A 6 PREDITTORI 3 -> FAMIGLIA: maggiore è il numero di divorzi, di genitori non sposati e di bambini cresciuti da un solo genitore e maggiore sarà il tasso di criminalità. 2 -> ABITAZIONI: un aumento delle case non occupate e degli appartamenti sfitti porta ad una crescita dei crimini violenti previsti. 1 -> CONTESTO: al crescere della percentuale di popolazione bianca corrisponde una riduzione dei crimini violenti. Il modello ottenuto utilizzando la λ che minimizza il test MSE contiene 55 predittori, tale modello non risulta quindi in grado di operare una selezione ottimale. Anche in questo caso analizziamo dunque il modello che impiega il massimo valore λ entro uno standard error, il quale comprende 13 predittori. ANALISI MODELLO CON 13 PREDITTORI 2 -> FAMIGLIA: all aumentare dei divorzi e dei bambini con un solo genitore il tasso di criminalità previsto aumenta. 4 -> ABITAZIONI: maggiore è il numero di case non occupate o sfitte e maggiore sarà il numero di crimini non violenti. Anche un maggior numero medio di camere da letto sembra determinare un incremento del tasso di criminalità. 7 -> CONTESTO: al crescere della percentuale di stranieri, delle persone di colore e dei poveri anche il numero di crimini non violenti aumenta.

6 RLS (1 predittore) FORWARD (20 predittori) TEST MSE CONCLUSIONI Ai fini predittivi la migliore tecnica risulta essere la RLM comprendente i primi 20 predittori individuati mediante l analisi Forward. L MSE minimo è ed essendo questo un fenomeno sociale riteniamo che la previsione sia nel complesso buona. RLS FORWARD LASSO LASSO (6 predittori) MSE PREDITTORI PER CATEGORIA Famiglia Lavoro Abitazioni Contesto Ai fini della comprensione di quali predittori incidano maggiormente sul tasso di crimini violenti l analisi Forward permette di ottenere ottimi risultati. Essa consente inoltre di determinare una specie di gerarchia dei predittori in base all ordine con cui entrano a far parte del modello. Per una migliore comprensione del fenomeno, anche la regressione LASSO risulta importante in quanto identifica un modello con 6 predittori facilmente analizzabile. I predittori che maggiormente influiscono sul tasso di crimini violenti appartengono alle categorie Famiglia, Contesto e Abitazioni. La categoria Lavoro sembra invece rivestire un ruolo secondario e viene infatti ritrovata nella Forward ma non nella LASSO. In particolare la Famiglia risulta essere la categoria che più incide sul fenomeno ed è anche quella su cui si hanno maggiori possibilità di intervento. Per ridurre il tasso di crimini violenti sembrerebbe dunque necessario garantire un clima familiare ideale. RLS FORWARD LASSO RLS (1 predittore) FORWARD (22 predittori) LASSO (13 predittori) TEST MSE MSE (X 1.000) PREDITTORI PER CATEGORIA Famiglia Lavoro Abitazioni Contesto Ai fini predittivi anche in questo caso la tecnica migliore risulta essere la RLM comprendente i primi 22 indicatori individuati dalla Forward. Anche la LASSO raggiunge buoni risultati nonostante identifichi un modello più semplice (13 variabili). L MSE minimo in questo caso risulta pari a 3.472; riteniamo che la previsione per il tasso di crimini non violenti sia nel complesso buona vista la natura sociale del fenomeno. Ai fini della comprensione del fenomeno, anche per il tasso di crimini non violenti la Forward risulta essere la tecnica che permette di ottenere i migliori risultati. La regressione LASSO consente invece di migliorare l analisi del fenomeno, in quanto identifica un modello con un minor numero di predittori. I predittori che maggiormente influiscono sul tasso di crimini non violenti appartengono alle categorie Famiglia, Contesto e Abitazioni. Come per i crimini violenti la categoria Lavoro sembra invece rivestire un ruolo secondario. In particolare il Contesto risulta essere la categoria che più incide sul fenomeno; per ridurre il tasso di crimini non violenti sembrerebbe quindi necessario migliorare la coesione sociale. Rimane comunque rilevante il ruolo della Famiglia.