Modelli probabilistici per la percezione

Transcript

1 Modelli probabilistici per la percezione Corso di Principi e Modelli della Percezione Prof. Giuseppe Boccignone Dipartimento di Scienze dell Informazione Università di Milano boccignone@dsi.unimi.it Problemi mal posti Un piccolo test: x + 3 = 8 quanto vale x?

2 Problemi mal posti Un piccolo test: 2x + 2 =10 quanto vale x? Problemi mal posti Un piccolo test: x + y = 9 quanto valgono x e y?

3 Problemi mal posti Un piccolo test: x + y = 9 quanto valgono x e y? Questo è un esempio di problema mal posto Problemi mal posti Un piccolo test: x + y = 9 quanto valgono x e y? Questo è un esempio di problema mal posto: - non ha soluzione unica

4 La riflettanza spettrale // inferenza: un problema mal posto E R L E x R = L N fotoni emessi % fotoni riflessi N fotoni riflessi Spettro di irradiamento x x Spettro di riflettanza = = Spettro di radianza La riflettanza spettrale // inferenza: un problema mal posto E R L E x R = 100 x N fotoni emessi % fotoni riflessi N fotoni riflessi E=? R=? =

5 Problemi mal posti //soluzione probabilistica Posso provare a utilizzare osservazioni precedenti : x + y = 9 Problemi mal posti //soluzione probabilistica Posso provare a utilizzare osservazioni precedenti : x + y = 9 x = 2, y = 7

6 Problemi mal posti //soluzione probabilistica Posso provare a utilizzare osservazioni precedenti : x + y = 9 x = 2, y = 7 Quanto ci fidiamo del risultato ottenuto? Probabilità e scienze cognitive //tre problemi per i modelli cognitivi Percezione e azione hanno a che fare con eventi incerti: rumore, incertezza ignoranza sulle condizioni al contorno stesso oggetto immagini diverse

7 Probabilità e scienze cognitive //tre problemi per i modelli cognitivi Percezione e azione hanno a che fare con eventi incerti: rumore, incertezza ignoranza sulle condizioni al contorno oggetti diversi immagini identiche Probabilità e scienze cognitive //tre problemi per i modelli cognitivi Percezione e azione hanno a che fare con eventi incerti: rumore, incertezza ignoranza sulle condizioni al contorno! incertezze! conoscenza }?! modularità Module design Module integration

8 La logica dell incerto Come già osservava Locke ( ), anche gli agenti più razionali prendono le loro decisioni non nella chiara luce della certezza nel crepuscolo delle probabilità. Merita forse anche il titolo di conoscenza l'opinione fondata sulla plausibilità; [ ] Per questo credo che la ricerca sui gradi di probabilità sia estremamente importante; [ ] Così, quando non si potesse decidere con assoluta certezza una questione, si potrebbe almeno determinare il grado di probabilità alla luce dell'evidenza. (G.W. Leibniz, Nuovi Saggi sull Intelletto Umano). Probabilità e scienze cognitive //percezione come inferenza inconscia Come già osservava Locke ( ), anche gli agenti più razionali prendono le loro decisioni non nella chiara luce della certezza nel crepuscolo delle probabilità.! incertezze T e o r i a d e l l a probabilità! conoscenza! modularità Module design }? Module integration

9 Quale probabilità //Tre concetti di probabilità: la definizione classica La probabilità di un evento è il rapporto tra il numero dei casi favorevoli e il numero dei casi possibili, purché questi ultimi siano ugualmente possibili. Quindi se i casi possibili sono n e i casi favorevoli sono na, per la teoria classica la probabilità che accada l'evento A sarà: Tre concetti di probabilità: la definizione frequentista La probabilità di un evento è il limite della frequenza (relativa) dei successi, cioè del verificarsi dell'evento, quando il numero delle prove tende all'infinito.

10 Tre concetti di probabilità: la definizione soggettivista La probabilità di un evento è il prezzo che un individuo razionale ritiene equo pagare per ricevere 1 se l'evento si verifica (e 0 altrimenti). Alessio è disposto a scommettere 1 contro 20 sul fatto che nel pomeriggio arrivi finalmente l'idraulico a riparare il rubinetto che perde da una settimana: attribuisce cioè a tale evento una probabilità! 1/21 (meno del 5%). È come se ci trovassimo ad effettuare un sorteggio da un'urna con 1 pallina rossa (evento positivo = arrivo dell'idraulico) e 20 palline nere (eventi negativi = assenza dell'idraulico). Come si valuta la probabilità? Immaginiamo che ci sia una partita di calcio. Lo spazio degli eventi comprende (1) la vittoria della squadra di casa, (2) la vittoria della squadra ospite e (3) il pareggio. Secondo la teoria classica esiste 1 probabilità su 3 che abbia luogo il primo evento secondo la teoria frequentista ci si può dotare di un almanacco e controllare tutte le partite precedenti e calcolare la frequenza dell evento vittoria della squadra di casa. Secondo la teoria soggettivista, ci si può documentare sullo stato di forma dei calciatori, sul terreno di gioco e così via fino ad emettere una probabilità soggettiva.

11 Probabilità e scienze cognitive //percezione come inferenza inconscia Probabilità soggettiva: mette in relazione le asserzioni fatte sul mondo con lo stato di conoscenza dell agente! incertezze T e o r i a d e l l a probabilità! conoscenza! modularità Module design }? Module integration Probabilità e scienze cognitive //percezione come inferenza inconscia...(helmholtz, 1925) I called the connections of ideas which take place in these processes unconscious inferences. These inferences are unconscious insofar as their major premise is not necessarily expressed in the form of a proposition; it is formed from a series of experiences whose individual members have entered consciousness only in the form of sense impressions which have long since disappeared from memory. Some fresh sense impression forms the minor premise, to which the rule impressed upon us by previous observations is applied

12 Probabilità e scienze cognitive //percezione come inferenza inconscia...(helmholtz, 1925) (T. Bayes, ) unconscious inferences fresh sense impression forms the minor premise rule impressed upon us by previous observations P( osservazioni P (observation knowledge)p conoscenza) x P( (knowledge) conoscenza) P (knowledge observation) = = P (observation) P( conoscenza osservazioni) P( osservazioni ) Probabilità e scienze cognitive //percezione come inferenza inconscia Probabilità soggettiva: mette in relazione le asserzioni fatte sul mondo con lo stato di conoscenza dell agente = grado di credenza! incertezze! conoscenza! modularità Module design Teoria Bayesiana della probabilità Module integration

13 Problemi mal posti //soluzione probabilistica Supponiamo di voler ricostruire il mondo 3D a partire dall ombreggiatura Questo è il mondo che osserviamo, le ombre proiettate nella caverna di Platone... Problemi mal posti //soluzione probabilistica Supponiamo di voler ricostruire il mondo 3D a partire dall ombreggiatura Questa è l immagine di un oggetto concavo o convesso? Questo è il mondo che osserviamo, le ombre proiettate nella caverna di Platone...

14 Probabilità //sintassi Proposizioni elementari C = IN, la curvatura è di tipo IN Proposizioni complesse L=sopra! C = IN C Curvatura C={IN, OUT} C, L, I le possiamo considerare variabili aleatorie che assumono un valore (discreto/continuo) rispetto agli eventi che accadono nel mondo. Il risultato numerico di un esperimento L I Posizione sorgente di luce L={sopra, sotto} Immagine I ={, } Probabilità //assiomi P(A)! 0 P (A! A) = 0 P ( A) = 1 - P(A) P(A " B) = P(A) + P(B) - P(A! B)

15 Probabilità //modellare la percezione del mondo Probabilità //modellare la percezione del mondo C L La scelta delle variabili aleatorie di interesse discrete continue I C={IN, OUT} L={sopra, sotto} Immagine I ={, }

16 Probabilità //la probabilità del tutto: congiunta P(I! C! L)=P(I, C, L) P(I, C, L) I C L C L IN IN sopra sopra OUT sopra I OUT IN sopra sotto C={IN, OUT} IN sotto L={sopra, sotto} Immagine I ={, } OUT OUT sotto sotto Probabilità //la probabilità condizionata Probabilità condizionata di A dato B (posto che conosco il valore di B) P(A B) = P(A! B) / P(B) = P(A, B) / P(B) Ci consente di strutturare la conoscenza sul mondo B Regola del prodotto A P(A, B) = P(A B) P(B) = P(B A) P(A) poichè P(A! B) = P(B! A) P(A, B, C) = P(A B, C) P(B C) P(C) (chain rule) semplifica una query difficile in query più semplici

17 Probabilità //la probabilità condizionata Da un punto di vista strettamente Bayesiano esistono solo probabilità condizionate P(A ) -> P(A H ) H è l insieme di ipotesi che ci consentono di esplicitare la conoscenza sul mondo L Posizionamento luci possibile Alcune delle ipotesi in H Posizionamento luci inammissibile P(L H) L 0,9 sopra 0,1 sotto P(L H) L 0,9 sopra 0,1 sotto

18 P(L H) L 0,9 sopra 0,1 sotto Probabilità //la probabilità condizionata Da un punto di vista strettamente Bayesiano esistono solo probabilità condizionate P(A ) -> P(A H ) H è l insieme di ipotesi che ci consentono di esplicitare la conoscenza sul mondo C Oggetti che esistono nel mondo osservato Alcune delle ipotesi in H Oggetti che non esistono nel mondo osservato P(C H) C 0,5 IN 0,5 OUT

19

20

21 Probabilità //specificare un modello del mondo: struttura P(I! C! L)=P(I, C, L) = P(I C, L) P(C L) P(L) C L Indipendenza di C da L P(C L) = P(C) P(I, C, L) = P(I C, L) P(C ) P(L) I questo è il mio modello del mondo C={IN, OUT} L={sopra, sotto} Immagine I ={, } Probabilità //specificare un modello del mondo Il modello del mondo mi semplifica la probabilità del tutto (2 3-1 stati) P(I, C, L) I C L IN sopra IN sopra OUT sopra OUT sopra IN sotto IN sotto OUT sotto OUT sotto

22 Probabilità //specificare un modello del mondo P(I, C, L) = P(I C, L) P(C ) P(L) P(C ) C P(L ) L 0,5 IN 0,5 OUT C L 0,9 sopra 0,1 sotto I P(I C, L) I C L 0 IN sopra 1 IN sopra 1 OUT sopra 0 OUT sopra 1 IN sotto 0 IN sotto 0 OUT sotto 1 OUT sotto Probabilità //specificare un modello del mondo P(I, C, L) = P(I C, L) P(C ) P(L) P(C ) C P(L ) L 0,5 IN 0,5 OUT C L 0,9 sopra 0,1 sotto I Probabilità a priori= la mia conoscenza del mondo

23 Probabilità //specificare un modello del mondo P(I, C, L) = P(I C, L) P(C ) P(L) C L Verosimiglianza= la mia osservazione del mondo I P(I C, L) I C L 0 IN sopra 1 IN sopra 1 OUT sopra 0 OUT sopra 1 IN sotto 0 IN sotto 0 OUT sotto 1 OUT sotto Probabilità //fare inferenze: la regola di Bayes Dalla Regola del prodotto: P(A, B) = P(A B) P(B) = P(B A) P(A) poichè P(A! B) = P(B! A) B B A A Probabilità inversa

24 Probabilità //fare inferenze: la regola di Bayes probabilità a posteriori verosimiglianza probabilità a priori { P( dati P (observation knowledge)p sensoriali cosa c è nel mondo) x P( cosa (knowledge) c è nel mondo) P (knowledge observation) = = P (observation) P( cosa c è nel mondo dati sensoriali) { P( dati sensoriali ) { Probabilità //Indipendenza (marginale) C L Indipendenza di C da L P(C L) = P(C) P(C, L) = P(C L) P(L) = P(C) P(L) C={IN, OUT} L={sopra, sotto} Immagine I ={, }

25 Probabilità //Indipendenza (marginale) Eventi mutualmente esclusivi P(A, B) =P(A! B) =0 P (, ) = 0 Si semplifica la regola della somma: P(A " B) = P(A) + P(B) - P(A! B) = P(A) + P(B) P ( " ) = P ( ) + P ( ) Generalizzata: P(A1 " A2 "... " AN ) = " i=1;..;n P(Ai ) Probabilità //Marginalizzazione Dalla probabilità congiunta possiamo ottenere la probabilità (marginale) di una variabile sommando su tutti i possibili valori delle altre variabili P(X) =! Y P(X, Y) P(X) =! Y P(X, Y) =! Y P(X Y) P(Y)

26 Probabilità //Marginalizzazione La marginalizzazione ci consente inferenze: Se osservo I=, qual è la probabilità di P( C = OUT I = ) P( C = OUT I = ) = P( I =, C = OUT ) P( I = ) C L #! L={sopra, sotto} P( I =, C = OUT, L ) =! L={sopra, sotto} P( I = C = OUT, L ) P(C ) P(L) 0,5{ 0,9{ = P(C = 0UT ) [ P( I = C = OUT, L = sopra ) P(L =sopra) + P( I = C = OUT, L = sotto ) P(L = sotto) ] { 0 Probabilità //Problema per l inferenza Bayesiana La marginalizzazione ci consente inferenze: Se osservo I=, qual è la probabilità di P( C = OUT I = ) P( I = ) P( I =, C = OUT ) P( C = OUT I = ) = P( I = ) =! C={IN, OUT}! L={sopra, sotto} P( I =, C, L ) Hic sunt leones! = [ P( I = C = OUT, L = sopra ) P(L =sopra) P( C = OUT) + P( I = C = OUT, L = sotto ) P(L = sotto) P( C = OUT) + P( I = C = IN, L = sopra ) P(L =sopra) P( C = IN) + P( I = C = IN, L = sotto ) P(L = sotto) P( C = IN)]

27 Probabilità e scienze cognitive //percezione come inferenza Bayesiana Modello generativo X oggetti (hidden) Y immagine insieme di parametri (visible) Probabilità e scienze cognitive //percezione come inferenza Bayesiana X P (X Y,Θ, M) = Inferire variabili nascoste Likelihood Prior P (Y X, Θ, M)P (X Θ, M) P (Y Θ, M) Occorrono i parametri! Y Θ

28 Probabilità e scienze cognitive //percezione come inferenza Bayesiana P (X Y,Θ, M) = P (Y X, Θ, M)P (X Θ, M) P (Y Θ, M) X Y Θ P (Θ Y,M) = Inferire parametri = Parameter Learning P (Y Θ, M)P (Θ M) P (Y M) Occorrono i modelli! Probabilità e scienze cognitive //percezione come inferenza Bayesiana X P (X Y,Θ, M) = P (Θ Y,M) = P (Y X, Θ, M)P (X Θ, M) P (Y Θ, M) P (Y Θ, M)P (Θ M) P (Y M) Y Θ P (M Y )= P (Y M)P (M) P (Y ) Inferire modelli = Model selection

29 Probabilità e scienze cognitive //percezione come inferenza Bayesiana P (X Y,Θ, M) = P (Y X, Θ, M)P (X Θ, M) P (Y Θ, M) X Hic sunt leones! P (Θ Y,M) = P (Y Θ, M)P (Θ M) P (Y M) Y Θ P (M Y )= P (Y M)P (M) P (Y ) Probabilità e scienze cognitive //percezione come inferenza Bayesiana Dove non è possibile inferenza esatta 1.Metodi Monte Carlo 2.Tecniche variazionali: Variational Bayes Loopy Belief propagation Expectation propagation P (X Y,Θ, M) = P (Θ Y,M) = P (M Y )= P (Y X, Θ, M)P (X Θ, M) P (Y Θ, M) P (Y Θ, M)P (Θ M) P (Y M) P (Y M)P (M) P (Y )

30 Modelli nelle scienze cognitive e nella percezione //da Marr a Bayes Teoria computazionale Livelli di spiegazione secondo Marr Rappresentazione e algoritmo Implementazione hardware Modelli nelle scienze cognitive e nella percezione //da Marr a Bayes Qual è il goal della computazione? Livelli di spiegazione secondo Marr Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente?

31 Modelli nelle scienze cognitive e nella percezione //da Marr a Bayes Teoria Bayesiana Livelli di spiegazione (Kersten e Yuille) Vincoli e ipotesi Implementazione Modelli nelle scienze cognitive e nella percezione //da Marr a Bayes Modelli teorici Bayesiani: Modello Grafico + PDF C L I P(I, C, L) = P(I C, L) P(C ) P(L) Livelli di spiegazione (Boccignone e Cordeschi) Inferenza su MG SIMULAZIONE Modello implementativo