Ingegneria di Manutenzione II. Intelligence diagnostica

Transcript

1 1 Ingegneria di Manutenzione II Intelligence diagnostica Stefano Ierace, Luigi Troiano - Università degli Studi di Bergamo Università del Sannio

2 Obiettivi del modulo 2 Accrescere la sensibilità sulle tematiche inerenti la manutenzione predittiva e le tecniche di analisi dei dati; Fornire delle nozioni di base sulle reti neurali e sulle loro applicazioni industriali; Mostrare casi reali di applicazione di queste tecniche sottolineandone limiti e applicazioni

3 Calendario dei moduli Giorno Orario Argomento Docente Introduzione alle Tecniche di Intelligenza Artificiale (overview delle Stefano Ierace Giovedì 20/ tecniche) Introduzione all analisi dei modelli Luigi Troiano (black box, white box, ) Reti Bayesiane (teoria e casi di studio) Reti neurali: introduzione e campi di Giovedì 20/ applicazione Casi di studio di applicazione diretta Logiche fuzzy Stefano Ierace Luigi Troiano Algoritmi genetici

4 4

5 Modelli non lineari: Cos è il Soft Computing? 5 Insieme di tecniche per modellizzare un sistema (relazione Input Output a black box) mediante approssimazione. Il punto principale è quello che il processo di modellazione considera un numero relativamente piccolo di campioni del sistema reale per costruire il modello approssimato => si parla di generalizzazione. Le differenti tecniche che verranno discusse catturano differenti metodi di modellazione, in accordo con le informazioni disponibili l entità oggetto dello studio. Fuzzy logic Il modello reale è costituito da un numero finito di punti e da relazioni sfocate tra di essi. Algoritmi genetici Ricerca di una soluzione ottima, ottenuta valutando l insieme delle possibili soluzioni e combinandole tra di loro. Reti Neurali Campioni di input-output, algoritmi di apprendimento per definire il valore di output in caso di ingressi di input sconosciuti

6 6

7 Modelli non lineari: Reti Neurali Artificiali La cellula neuronale Unità fondamentale del cervello umano. Ogni neurone riceve come input i segnali elettrici da tutti i dendriti, e se la somma pesata supera il valore di attivazione emette un impulso elettrico in uscita verso l assone. input elabor azione output

8 Nota bene: è solo un analogia La membrana La membrana, che separa l interno di un neurone dallo spazio esterno, gioca un ruolo fondamentale nel comportamento del neurone. I neuroni biologici possono essere stimolati direttamente da segnali elettrici esterni forniti tramite opportuni elettrodi comunicanti con specifiche parti della membrana neuronale. Queste stimolazioni possono produrre particolari tipi di andamenti temporali del potenziale di membrana. Gli studi compiuti hanno mostrato, per quanto riguarda la relazione tra andamento del segnale elettrico esterno e andamento del potenziale di membrana, una grande varietà di comportamenti differenti.

9 Comportamento impulsivo Spike Lo SPIKE, o POTENZIALE D AZIONE, rappresenta la modalità fondamentale di risposta di un neurone. Esso consiste nel rapido aumento della differenza di potenziale elettrico tra l interno e l esterno della membrana cellulare, seguito da un altrettanto rapido ritorno della differenza di potenziale al valore di riposo. mv _ 30 _ 0 V 10 msec - 70

10 Generazioni di modelli La prima generazione è costituita dai modelli basati su neuroni del tipo di quelli di McCulloch-Pitts, cioé dispositivi a soglia con uscite binarie. Questi modelli non sono molto realistici biologicamente, ma sono molto efficienti nel riprodurre il funzionamento di qualsiasi operazione di calcolo di tipo DIGITALE. Esempi celebri di modelli del genere sono il modello di Hopfield e i Perceptroni con uscite binarie. La seconda generazione comprende le reti basate su unità con ingressi e uscite di tipo ANALOGICO, come le celebri unità sigmoidali. Esistono vari teoremi (ad esempio quello di Hornik, Stinchcombe e White) che garantiscono per specifici tipi di queste reti la capacità di riprodurre qualunque tipo di calcolo analogico. Esempi tipici di questi modelli sono i Perceptroni con unità sigmoidali o le reti RBF. Se si interpreta il valore dell uscita di ogni unità come equivalente alla frequenza di scarica di un neurone biologico, questi modelli sono molto più realistici di quelli della prima generazione. Tuttavia le osservazioni sperimentali dell attività dei singoli neuroni nella corteccia cerebrale mostrano che, se essa fosse legata alla frequenza di scarica, il funzionamento della corteccia stessa sarebbe TROPPO LENTO rispetto a quello effettivamente osservato. La terza generazione di modelli rimedia ai difetti evidenziati da quelli delle generazioni precedenti, in quanto si serve di unità gli SPIKING NEURONS che codificano l informazione tramite le differenze temporali tra i singoli spikes. In questo modo anche un neurone che emette un singolo spike fornisce in tempi brevissimi un segnale significativo agli altri neuroni della rete. Esistono a questo proposito molti differenti tipi di spiking neurons, dato che esiste una varietà di comportamenti differenti osservati nei neuroni biologici per quanto riguarda l influenza dei segnali di ingresso sull andamento temporale degli spikes.

11 ... Modelli non lineari: Reti Neurali Artificiali (II generazione) Le reti neurali sono learning machine generali, adattative, non lineari, distribuite, costituite da molti processori elementari (PE) I segnali che fluiscono attraverso le connessioni sono scalati con opportuni parametri modificabili detti pesi (w i ) Il singolo PE somma tutti questi contributi e produce un uscita che è una funzione non lineare di tale somma PE (PROCESSORE ELEMENTARE) x 1 x 2 x D w 1 w 2 w D S f(. ) y y f D i1 w i x i 1 st input... n th input Input layer Hidden layer S Output layer f(sum) output

12 La rete neurale 12 Sistema dinamico avente la topologia di un grafo orientato con nodi, i neuroni artificiali, ed archi, i pesi sinaptici. Il termine rete è riferito alla topologia dei collegamenti tra i neuroni. Altre definizioni: scatola nera, di cui si può ignorare il funzionamento, che associa un input a un output e le associazioni possono essere create con l apprendimento modello matematico che calcola la funzione output=f(input,pesi) al variare dei pesi e senza specificare la forma della funzione f

13 Utillizzi «tipici» di una rete neurale 13 Classificatore Dato un oggetto descritto da un insieme di caratteristiche, vogliamo associarlo ad una classe di oggetti sulla base di un criterio di similitudine tra le caratteristiche Approssimatore Data una corrispondenza empirica tra punti, vogliamo trovare la legge (funzione) approssimata che lega ingressi e uscite Stimatore di probabilità Dato un insieme di punti vogliamo determinare la pdf/cdf che regola la distribuzione dei valori Predittore Data una serie temporale, vogliamo determinarne il prossimi valori più verosimili Memoria associativa Dato un oggetto descritto da un insieme di caratteristiche, vogliamo recuperare l oggetto tra quelli noti che più gli assomiglia.

14 Modelli non lineari:il Neurone 14 Bias input Pesi Input θ n Funzione sigmodale Modello matematico molto semplificato del neurone biologico. Ad ogni input x i è associato un peso θ i con valore positivo o negativo per eccitare o inibire il neurone. Il bias varia secondo la propensione del neurone ad attivarsi, per variare la soglia di attivazione del neurone.

15 Modelli non lineari:la rete neurale a livelli 15 Neuroni Pesi uscite W n Rete neurale standard

16 Modelli non lineari: Reti Neurali Artificiali 16 Metodo 0 Suddivisione del set dei dati disponibili per la creazione della rete in 3 sottoinsiemi: training set, validation set, test set Creazione della rete: scelta numero di strati e numero di neuroni per lo stato nascosto della rete Addestramento della rete utilizzo di algoritmi iterativi al fine di ottimizzare i parametri (pesi e bias) di ciascun neurone; la procedura utilizza il training set per l ottimizzazione dei parametri, Validazione della rete: l insieme dei dati di validazione viene utilizzato per valutare e correggere i pesi della rete, se la validazione non dà un buon esito si procede ad un ulteriore addestramento della rete fino a che non si hanno buone performace Test della rete: una volta addestrata la rete viene testata con un insieme di dati mai usato prima (test set )al fine di valutare l effettiva efficacia anche con dati completamente nuovi

17 Modelli non lineari: Reti Neurali Artificiali 17 Ricorrenti Utilizzate generalmente per la predizione dell uscita in base ai dati x(t), x(t-1), x(t-2), ecc Feed Forward Base sigmoidale Base radiale (apprendimento più veloce, overfitting) Consentono di ottenere una classe molto ampia di funzioni di trasferimento permettendo di approssimare, al grado desiderato, una Auto qualsiasi funzione non lineare utilizzando uno (purché il numero di neuroni sia sufficientemente associativa grande) o più strati nascosti. 17 Apprendono in base alle esperienze precedenti (memoria autoassociativa)

18 Potere di rappresentazione 18

19 Il Perceptron x 1 x 2 w 1 w 2 x 0 = 1 w 0 S n i 0 o x w 1, x2, xn i x i n 1 sewi xi 0 i 0-1 altrimenti x n w n o x sgnx, w 1 se w x 0-1 altrimenti Perceptron: modello neuronale singolo Input definito come una combinazione lineare net Output: funzione di attivazione basata su una soglia sull input (threshold = w 0 ) n i 0 w i x i

20 Problemi linearmente separabili + + x x x x 1 Esempio A Esempio B Non sempre il perceptron è in grado di risolvere il problema della classificazione

21 Modelli non lineari: Reti Neurali Artificiali 21 Una volta decisa la topologia della rete occorre decidere il numero di strati e nodi nella rete. Non esiste una regola matematica per il corretto dimensionamento della rete neurale ma si procede per via empirica, trovando per tentativi la migliore configurazione. Generalmente si può utilizzare anche un solo strato nascosto a meno che questa scelta non porti ad un grosso aumento del numero di nodi nello strato Tenere la rete più piccola possibile, usare il minor numero di nodi e di strati compatibilmente con i risultati attesi In questo modo si ottiene una rete più veloce da computare,necessita di meno dati per il training e meno soggetta a deviazioni

22 Modelli non lineari: Reti Neurali Artificiali 22 Funzione obiettivo 2 Neuroni 3 Neuroni 7 Neuroni 20 Neuroni 30 Neuroni Fonte: Identificazione dei modelli e analisi dei dati. S. Bittanti

23 Modelli non lineari: Reti Neurali Artificiali 23 Maggior Parte dei dati al training

24 Modelli non lineari: Reti Neurali Artificiali 24 Effettuata per approssimazioni successive utilizzando più volte gli stessi dati ingresso-uscita (training set) al fine di ottimizzare i parametri (apprendimento supervisionato) Algoritmo di Back Propagation MIN PASSO: J 1 e 2 2 J e y m Può essere scomposta analizzando il gradiente solo per gruppo dei parametri dello strato di uscita e poi propagare all indietro analizzando gli strati interni y

25 Perceptron Learning Regola di learning del Perceptron (Rosenblatt, 1959) Idea: un target può aggiornare I pesi in modo tale da produrre l output desiderato w i Δw w i dove t = c(x) è il valore di output atteso, o è il valore di output calcolato è il tasso di learning i Δw (t o)x i i

26 Algoritmo Perceptron learning Algorithm Train-Perceptron (D {<x, t(x) c(x)>}) inizializza tutti I pesi w i a valori random WHILE non tutti i valori sono predetti correttamente DO FOR EACH istanza x D Calcola l output o(x) FOR i = 1 to n w i w i + (t - o)x i

27 Convergenza dell algoritmo Teorema di convergenza Se esiste un insieme di pesi consistente con i dati (cioè: I dati sono linearmente separabili), l algoritmo converge Complessità computazionale Regioni non linearmente separabili Se le regioni non sono linearmente separabili, l algorimo entra in un loop infinito Cicla sugli stessi pesi

28 Gradiente Discendente: Idea Unità lineari Consideriamo l unità più semplice: Obiettivo: trovare il migliore adattamento a D Algoritmo di approssimazione Minimizzare l errore sul training set D Funzione dell errore: Somma dei quadrati (SSE) Come si minimizza? E o x net x Ottimizzazione semplice Ci muoviamo in direzione del più ripido gradiente nello spazio pesi-errore n i 0 w i x i w error w tx ox D 1 2 xd 2

29 Idea di fondo Vogliamo trovare una sequenza di pesi w(1), w(2),, w(t) tali che E w(t 1) Ew(t) Metodo: w(t 1) w(t) -E Giustificazione: Sviluppo in serie di Taylor al primo ordine T E w E w(t) E w(t) Sostituendo, E w(t Quando è positivo, il secondo addendo è sempre negativo w -w(t) T 1) Ew(t) Ew(t) w(t 1)- w(t) T Ew(t) Ew(t) 2

30 Gradiente discendente: delta rule Il gradiente Regola di learning n 1 0 w E,, w E, w E w E D x i i D x i D x i D x 2 i D x 2 i i i i x x o x t w E x w x t w x o x t x o x t w x o x t x o x t w 2 1 x o x t 2 1 w w E w E Δw E w Δw

31 Algoritmo del Gradiente Discendente Algorithm Gradient-Descent (D, r) Ogni istanza ha la forma <x, t(x)>, dove x è il vettore di input e t(x) è il valore di output. r è il tasso di learning (ad esempio, 0.05) Inizializza i pesi w i a valori random WHILE la condizione di terminazione non è soddisfatta, DO Inizializza ogni w i a 0 FOR each <x, t(x)> in D, DO Calcola o(x) FOR each w i, DO FOR each w i, DO RETURN w w i w i + r(t - o)x i w i w i + w i

32 Delta e Perceptron Rules + + x x x x x x 1 Esempio A Esempio B Esempio C Concetti Linearmente Separabili: classificazione ottimale esempio A: Convergenza Concetti Non-LS: approssimazione esempio B: non LS; la delta rule converge, ma non è ottimale esempio C: non LS; buona generalizzazione Vettore w = somma dei x D misclassificati Perceptron: minimizza w Delta Rule: minimizza errore distanca dal separatore

33 Funzioni di attivazione nonlineari x 0 = 1 x 1 x 2 x n w 1 w 2 w n w 0 S n net wi xi i 0 w x o xσx wσnet Funzione sigmoidale Funzione di attivazione a threshold: sgn (w x) Funzione nonlineare: generalizzazione di sgn è la funzione sigmoidale utile per ottenere l update dal gradiente per Una unità Reti Multi-layer Funzione iperbolica σ net sinh cosh σ net net 1 1 e net net net e e net net net e e

34 Reti Feed-Forward n i k i i m k k k a k k w x w b b g z v z v a e a g a g y ) ( 1 1 ) ( ) ( x W z V y

35 Addestramento di FFNNs: Backpropagation Obiettivo: minimizzazione dell errore Utilizzando Dobbiamo calcolare c k k c k k k e y t E ) ( 2 1 n m m c u w E w E w E E u,...,, ] [ 2 1 w w h E

36 Backpropagation (2) Per un peso di output, otteniamo: i i v a a y y e e E v E i i z v a a g a g a g a y )) ( )(1 ( ) ( 1 y e e e E

37 Backpropagation (3) riassumendo: Regola di aggiustamento: E v i z e g i ( a ) v i z i

38 Backpropagation (4) Su un peso interno, otteniamo: k k k c k k k c k k i i z a a e e z e e z E w b b z z E w E 1 1 i i x w b b g b g b g b z )) ( )(1 ( ) ( k k k k k v z a a g a e ) (

39 Backpropagation (5) riassumendo: Regola di aggiustamento: E w i x c g( b ) v i k 1 k k w i x i

40 Algoritmo Backpropagation Idea: Riportiamo l effetto dell errore ai layers successivi Algorithm Train-by-Backprop (D, r) Ogni istanza ha la forma <x, t(x)>, dove x è il vettore di input e t(x) è il valore di output. r è il tasso di learning (ad esempio, 0.05) Inizializza tutti i w i a valori random UNTIL la condizione di terminazione non è ottenuta, DO FOR EACH <x, t(x)> in D, DO RETURN w, v calcola o(x) = (net(x)) FOR EACH unità k di output, DO FOR EACH unità interna, DO e g k1 Aggiorna ogni w = w i, (a = x ) o w = v,k (a = z k ) Output Layer Hidden Layer Input Layer w start-layer, end-layer w start-layer, end-layer + w start-layer, end-layer w start-layer, end-layer end-layer a end-layer g( b ) v c ( a k k ) w 11 o 1 o 2 h 1 h 2 h 3 h 4 x 1 x 2 x 3 v 42

41 Proprietà Gradiente Discendente Trova un ottimo locale Backprop in pratica Tipicamente, si tende ad includere il momento Δw start -layer,end -layer n δ a αδw n 1 end -layer end -layer start-layer,end -layer Quanto generalizza su altri esempi? La fase di training è molto lenta: migliaia di iterazioni (epoche) Inferenza (applicazione della rete) estremamente veloce

42 Altre strategie di a Algoritmi evolutivi Il training viene affrontato come un problema di ricerca dei pesi che minimizzano l errore. Esempi di tecniche utilizzate: Algoritmi genetici, Programmazione Evolutiva Approccio Bayesiano Il training viene affrontato come un problema di apprendimento statistico basato sul criterio di massima verosimiglianza.

43 Overfitting Overfitting La rete modella con eccessiva accuratezza i dati di training, comportandosi peggio con i dati di test, perdendo di generalizzazione Overtraining Overfitting dovuto a troppe iterazioni

44 Overfitting Altre possibili cause Il numero di nodi interni è fissato Troppo pochi ( underfitting ) Troppi Approcci La rete non riesce a riassumere Analogia: sistemi di equazioni non determinati (troppe variabili rispetto alle equazioni) La rete non generalizza analogia: approssimare una parabola con un polinomio di grado >> 2 Prevenzione: selezione degli attributi aggiramento Hold out o k-fold cross-validation Weight decay: decrementiamo ogni peso di un certo fattore ad ogni epoca recovery: aggiunta o cancellazione di unità interne

45 Modelli non lineari: Reti Neurali Artificiali 45 Serve per valutare la bontà dell addestramento fatto, si esegue la rete addestrata ( e quindi con pesi fissati) su un set di dati (validation set) se l errore tra i risultati reali e il modello dato dalla rete neurale è alto si procede ad un nuovo addestramento La fase finale. Simile alla validazione ma su un ulteriore set di dati in modo da valutare la bontà della soluzione trovata su un insieme di dati mai trattati prima

46 Modelli non lineari: Reti Neurali Artificiali 46 Stima Densità di probabilità (affidabilità) Regressione Identificazione di modelli Predizione Sensori virtuali Classificazione Pattern recognition, classification, forecasting Problemi di rilevamento (es. guasti) Miglioramento della qualità Apprendimento (es. AI) Monitoraggio

47 Vantaggi 47 adatte per problemi che non chiedono risposte accurate, ma risposte approssimate con un grado di errore o di variazione generalizzazione: producono buone risposte anche con input non considerati durante la creazione e l addestramento facili da implementare, basta definire il neurone e poi crearne delle copie e creare i collegamenti tra i neuroni funzionamento veloce perché parallelo; ogni neurone usa solo il suo input stabilità dell output rispetto a valori di input: incompleti, con rumore, non ben noti, che accettano un grado di errore o di variazione determinano il risultato tenendo conto contemporaneamente di tutti gli input

48 Svantaggi 48 incapacità di rendere conto dell elaborazione: non si può capire perché ha dato quel risultato specifico non si può descrivere e localizzare la conoscenza memorizzata nella rete carenza di hardware con cui implementare, si usano su computer seriali tecniche di addestramento sofisticate che richiedono molto tempo di calcolo non sempre esiste una rete che risolve il problema, perché non sempre esiste un algoritmo di apprendimento che converge dando un output della rete con basso errore i valori di output non sono precisi, ma hanno un margine in cui possono variare serve una casistica di esempi molto ampia per ottenere un buon apprendimento e un basso errore di output

49 Caso Applicativo 49 Azioni di miglioramento Oggetto dell analisi Isola formatura anime PROBLEMA: Presenza di una elevata percentuale di scarti di prodotto finito dovuta ad un errore nel processo di formature anime. Garantire standard di qualità e di sicurezza di esercizio degli impianti Garantire la continuità di esercizio del bene (industriale o professionale) con ridotto aggravio economico Passare da una logica di manutenzione preventiva ad una logica predittiva

50 Caso Applicativo: sensorizzazione macchina 50 INPUT OUTPUT P1 P2 T1 T2 H1 H2 W D PRESSIONE H T T TEMPERATU RA UMIDITA P PESO ANIMA P H DIMENSIONE ANIMA 50

51 Fasi del lavoro 51 0 Suddivisione del set dei dati disponibili per la creazione della rete in 3 sottoinsiemi: training set, validation set, test set Creazione della rete: scelta numero di strati e numero di neuroni per lo stato nascosto della rete Addestramento della rete utilizzo di algoritmi iterativi al fine di ottimizzare i parametri (pesi e bias) di ciascun neurone; la procedura utilizza il training set per l ottimizzazione dei parametri, Validazione della rete: l insieme dei dati di validazione viene utilizzato per valutare e correggere i pesi della rete, se la validazione non dà un buon esito si procede ad un ulteriore addestramento della rete fino a che non si hanno buone performace Test della rete: una volta addestrata la rete viene testata con un insieme di dati mai usato prima (test set )al fine di valutare l effettiva efficacia anche con dati completamente nuovi

52 Caso Applicativo: scala dei dati Suddivisione del set dei dati disponibili per la creazione della rete in 3 sottoinsiemi: training set, validation set, test set Creazione della rete: scelta numero di strati e numero di neuroni per lo stato nascosto della rete Addestramento della rete utilizzo di algoritmi iterativi al fine di ottimizzare i parametri (pesi e bias) di ciascun neurone; la procedura utilizza il training set per l ottimizzazione dei parametri, Validazione della rete: l insieme dei dati di validazione viene utilizzato per valutare e correggere i pesi della rete, se la validazione non dà un buon esito si procede ad un ulteriore addestramento della rete fino a che non si hanno buone performace Test della rete: una volta addestrata la rete viene testata con un insieme di dati mai usato prima (test set )al fine di valutare l effettiva efficacia anche con dati completamente nuovi Il range dei dati di input viene riscalato tra -1 e 1 al fine di uniformare gli input (per evitare la predominanza di un ingresso rispetto ad un altro) e per aumentare la velocità computazionale della rete

53 Caso Applicativo: suddivisione del campione 53 Suddivisione dei dati disponibili nei tre sottoinsiemi per l addestramento, la validazione e il controllo della rete 0 Suddivisione del set dei dati disponibili per la creazione della rete in 3 sottoinsiemi: training set, validation set, test set 1 Creazione della rete: scelta numero di strati e numero di neuroni per lo stato nascosto della rete 2 Addestramento della rete utilizzo di algoritmi iterativi al fine di ottimizzare i parametri (pesi e bias) di ciascun neurone; la procedura utilizza il training set per l ottimizzazione dei parametri, Validazione della rete: l insieme dei dati di validazione viene utilizzato per valutare e correggere i pesi della rete, se la validazione non dà un buon esito si procede ad un ulteriore addestramento della rete fino a che non si hanno buone performace Test della rete: una volta addestrata la rete viene testata con un insieme di dati mai usato prima (test set )al fine di valutare l effettiva efficacia anche con dati completamente nuovi Campione > 300 misure

54 Caso Applicativo: Creazione Rete Uso di algoritmi iterativi per trovare la miglior combinazione di nodi e strati, Suddivisione del set dei dati disponibili per la creazione della rete in 3 sottoinsiemi: training set, validation set, test set 54 Creazione della rete: scelta numero di strati e numero di neuroni per lo stato nascosto della rete Addestramento della rete utilizzo di algoritmi iterativi al fine di ottimizzare i parametri (pesi e bias) di ciascun neurone; la procedura utilizza il training set per l ottimizzazione dei parametri, Validazione della rete: l insieme dei dati di validazione viene utilizzato per valutare e correggere i pesi della rete, se la validazione non dà un buon esito si procede ad un ulteriore addestramento della rete fino a che non si hanno buone performace Test della rete: una volta addestrata la rete viene testata con un insieme di dati mai usato prima (test set )al fine di valutare l effettiva efficacia anche con dati completamente nuovi Prima scrematura: addestramento di 1 rete per ogni combinazione tra 1-5 strati e neuroni OTTIMO MAPE MINORE Rifinitura: Addestramento di 100 reti per ogni combinazione nell intorno della soluzione trovata: (uno strato nascosto 0-30 neuroni) OTTIMO Maggior numero di ottimi 1 STRATO NASCOSTO 15 NEURONI

55 Caso Applicativo: Addestramento Rete Utilizzo di specifici tool al fine di addestrare la rete Suddivisione del set dei dati disponibili per la creazione della rete in 3 sottoinsiemi: training set, validation set, test set Creazione della rete: scelta numero di strati e numero di neuroni per lo stato nascosto della rete Addestramento della rete utilizzo di algoritmi iterativi al fine di ottimizzare i parametri (pesi e bias) di ciascun neurone; la procedura utilizza il training set per l ottimizzazione dei parametri, Validazione della rete: l insieme dei dati di validazione viene utilizzato per valutare e correggere i pesi della rete, se la validazione non dà un buon esito si procede ad un ulteriore addestramento della rete fino a che non si hanno buone performace Test della rete: una volta addestrata la rete viene testata con un insieme di dati mai usato prima (test set )al fine di valutare l effettiva efficacia anche con dati completamente nuovi

56 Caso Applicativo: Validazione e Test 56 1 STRATO MAPE = 1,5 % 6 input 15 neuroni 1 output

57 Caso Applicativo: Conclusioni 57 Accuratezza nei risultati Generalizzabile a diversi modelli non lineari ma Elevata variabilità del risultato, risultati non sempre ripetibili Necessità di una grossa mole di dati per il training

58 Modelli non lineari: Logica Fuzzy 58 La fuzzy logic o logica sfumata o logica sfocata è una logica polivalente e pertanto un'estensione della logica booleana in cui si può attribuire a ciascuna proposizione un grado di verità compreso tra 0 e 1 Vero [1] Vero [1] Falso [0] fuzzyficazione quasi vero [0.80] poco vero[0.65] Incerto [0.5] Utile per simulare l esperienza umana e come metodo a supporto delle decisioni poco falso [0.32] quasi falso[0.16] Falso [0]

59 Modelli non lineari: Logica Fuzzy 59 La creazione di un modello di un sistema mediante logica fuzzy passa dalla definizione di un insieme di regole semantiche esplicative della fisica alla base del modello Una volta creato l insieme di regole si usa una parte dei dati per ottimizzare i pesi su ciascuna regola

60 Modelli non lineari: Logica Fuzzy 60 X X* Y* Fuzzification Fuzzy inference engine Defuzzification Y Fuzzy rule base R1: if A is PL and B is PS then y* is PM R2: if A is PM and B is PS then y* is PS

61 Logica Fuzzy: applicazioni 61 Controllo Interfacce: Modellistica degli utenti Recupero di informazioni Ricerca su database Sistemi di intelligenza artificiale: Sistemi Esperti Schedulazione Sistemi di supporto alle decisioni (DSS)

62 Modelli non lineari: Algoritmi genetici 62 Metodo per l analisi dei problemi che prende spunto dalla teoria dell evoluzione di Charles Darwin; partendo da un insieme di soluzioni al problema si selezionano le più promettenti che poi vengono combinate tra di loro al fine di creare una nuova generazione di soluzioni migliori.

63 Modelli non lineari: Algoritmi genetici 63 Metodo 0 Codifica della soluzione del problema in una stringa detta cromosoma e creazione di una funzione di fitness che restituisce la bontà del cromosoma (aderenza alla soluzione desiderata) 1 Generazione casuale di un campione iniziale di soluzioni 2 Valutazione bontà della popolazione 3 Ordinamento dei cromosomi sulla base della funzione di fitness 4 5 Si selezionano i cromosomi più promettenti (genitori) Si costruisce una nuova popolazione combinando caratteristiche di coppie di genitori (incrocio) e/o modificando casualmente alcuni parametri dei geni (mutazione) La procedura viene iterata fino a che non sono soddisfatti dei criteri di arresto ES: funzione di fitness sopra una certa soglia

64 Modelli non lineari: Algoritmi genetici 64 Fonte: Tecniche innovative per l affidabilità e la disponibilità di impianti. Prof. E. Zio

65 Codifica 65 Codifica binaria o con numeri reali. Codifica binaria standard, codifica di Gray. N s : numero di bit; risoluzione discretizzazione variabile continua Cromosoma: unione delle stringhe binarie che rappresentano le variabili. Ogni bit è detto gene. Il valore che può assumere il bit (0,1) è detto allele. La lunghezza L c del cromosoma: L c =N s1 + N s2 + +N sn Dimensione dello spazio di ricerca: 2 L c Gli algoritmi genetici (GA) 65

66 Popolazione iniziale 66 La popolazione iniziale viene creata generando gli individui in maniera casuale. Il numero N p di cromosomi generati è la dimensione della popolazione N p è scelto in maniera euristica ed è dipendente dalla natura della funzione obiettivo e dalle dimensioni dello spazio di ricerca Negli AG standard N p rimane fisso durante l evoluzione 66

67 Fitness e funzione obiettivo 67 La funzione obiettivo gioca il ruolo dell ambiente nel corso dell evoluzione. funzione obiettivo = fitness dell individuo? Gli algoritmi genetici (GA) 67

68 Selezione 68 roulette wheel: la popolazione è rappresentata mediante una ruota di roulette con i settori proporzionali alla fitness degli elementi; la pallina viene lanciata N p volte e gli elementi che hanno fitness migliore hanno probabilità maggiore di essere scelti. tournament selection: vengono scelti 2 individui a caso e quello tra i due che ha la fitness migliore viene copiato nella nuova popolazione; l operazione viene ripetuta N p volte;

69 Modelli non lineari: Algoritmi genetici 69 Mutazione? Epoca n

70 Criterio d arresto 70 Il meccanismo di selezione, ricombinazione e calcolo della fitness viene iterato. L evoluzione termina quando viene raggiunto l ottimo, se questo è noto. Altrimenti l evoluzione termina quando: viene raggiunto il numero massimo N g di generazioni; il numero totale N t di valutazioni della funzione obiettivo N t = N p * N g un indicatore di convergenza (uniformità della popolazione, mancanza di progressi nell evoluzione) raggiunge un determinato valore

71 Algoritmi genetici: applicazioni 71 Ottimizzazione (es. layout circuitali, schedulazione delle lavorazioni). Predizione (es. previsioni meteo) Classificazione (es. rilevamento delle frodi, valutazione di qualità) Economia (es. strategie e valutazioni di mercato) Ecologia (es. evoluzioni ospite-parassita, preda-predatore) Programmazione automatica In generale sono particolarmente indicate per: Grandi spazi di ricerca, non unimodali, non analitici. Funzioni di fitness non analitiche, e incerte. Siamo interessati alla ricerca di ottimi locali in breve tempo.