Percezione uditiva (2): dal nervo acustico al cervello

Percezione uditiva (2): dal nervo acustico al cervello Corso di Principi e Modelli della Percezione Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano boccignone@di.unimi.it http://boccignone.di.unimi.it/pmp_2016.html Il sistema uditivo //orecchio interno:coclea

Il sistema uditivo //orecchio interno: organo di Corti L organo di Corti I movimenti degli strati della coclea sono tradotti in segnali neurali dalle strutture nell organo di Corti che si estende sulla parete superiore della membrana basilare Questa è fatta da neuroni specializzati chiamati cellule ciliari, da dentriti delle fibre del nervo uditivo che terminano alla base delle cellule ciliari e da una impalcatura di cellule di supporto disposte in 4 righe che corrono lungo la membrana basilare Il sistema uditivo //nervo acustico Il nervo acustico Le risposte delle fibre del nervo acustico sono correlate al loro posizionamento lungo la coclea (place code) Selettività alle frequenze: E più chiara quando i suoni sono molto deboli Funzioni di isointensità per una fibra che risponde a una frequenza caratteristica di 2000 Hz

Il sistema uditivo //nervo acustico Base High frequencies Hair cells Low frequencies Apex Auditory nerve fibers Auditory nerve Il sistema uditivo //nervo acustico Il nervo acustico Le risposte delle fibre del nervo acustico sono correlate al loro posizionamento lungo la coclea (place code) Selettività alle frequenze: più chiara quando i suoni sono molto deboli Mappa della selettività alle frequenze (TTC, threshold tuning curve): Mappa riportante le soglie di un neurone o una fibra in risposta a una onda sinusoidale che varia in frequenza alla più bassa intensità da essi percepibile (come sensitività al contrasto visivo) Soglia (threshold) = la minima intensità che dà origine a una risposta

Il sistema uditivo //threshold tuning curve Soglia (threshold) = la minima intensità che dà origine a una risposta Threshold tuning curves for six auditory nerve fiber Il sistema uditivo //threshold tuning curve Soglia (threshold) = la minima intensità che dà origine a una risposta Apex Base 100 Threshold (db SPL) 80 60 40 20 0 0.1 0.2 0.5 1 2 5 10 20 50 Frequency (khz) Figure 11.26 Frequency tuning curves of cat auditory nerve fibers. The characteristic frequency of each fiber is indicated by the arrows along the frequency axis. The frequency scale is in kilohertz (khz), where 1 khz 1,000 Hz. (From Palmer, A. R., Physiology of the cochlear nerve and cochlear nucleus, British Medical Bulletin on Hearing, 43, 1987, 838 855, by permission of Oxford University Press.) Threshold tuning curves for six auditory nerve fiber

Il sistema uditivo //saturazione di scarica (rate saturation) Le fibre del nervo acustico sono selettive per ben determinate frequenze (come accade per suoni molto deboli) anche quando i suoni sono molto sopra soglia? Curve di isointensità: indicano il profilo del tasso di scarica delle fibre del nervo acustico per un ampia gamma di frequenze tutte presentate ad una certa intensità Saturazione di scarica: Punto in cui una fibra del nervo acustico scarica al massimo della sua possibilità ed un ulteriore aumento della intensità di stimolazione non comporta alcun incremento nel tasso di scarica intensità costante frequenza crescente Il sistema uditivo //Funzione di intensità di scarica Funzione di intensità di scarica: mappa del tasso di scarica di una fibra del nervo acustico in risposta ad un suono di frequenza costante ma di intensità crescente High Spontaneous Firing rate plotted against sound intensity for six auditory nerve fibers Low Spontaneous intensità crescente frequenza costante Come coni e bastoncelli

Il sistema uditivo //Codifica temporale Il sistema acustico utilizza un secondo sistema per codificare le varie frequenze oltre alla codifica tonotopica della coclea Aggancio di fase (Phase locking) : la scarica di un singolo neurone ad un determinato punto del periodo di un onda sonora ad una certa frequenza Esistenza dell aggancio di fase: i pattern di scarica di fibre del nervo acustico creano un codice temporale Phase locking Histogram showing neural spikes for an auditory nerve fiber in response to the same low-frequency sine wave being played many times Il sistema uditivo //Codifica temporale Codice temporale: l informazione circa la frequenza di un suono in entrata è codificata dal profilo temporale di scarica dei neuroni poiché questo è dipendente dal periodo del suono Il principio di scarica (volley principle): una popolazione di neuroni può creare un codice temporale se ogni neurone scarica in un determinato punto del periodo del suono ma non scarica per tutti i periodi.

Il sistema uditivo //Codifica temporale Visione inferiore del cervello umano con evidenziati i nervi cranici Il sistema uditivo //Codifica temporale Primary auditory cortex (A1) Left ear Auditory nerve Medial geniculate nucleus Inferior colliculus Superior olivary nuclei Cochlear nucleus

Il sistema uditivo //Dal nervo acustico al cervello Temporal lobes Primary auditory cortex (A1): The first area within the temporal lobes of the brain responsible for processing acoustic organization Medial geniculate nucleus: The part of the thalamus that relays auditory signals to the temporal cortex and receives input from the auditory cortex Inferior colliculus: A midbrain nucleus in the auditory pathway Brain stem nuclei Nervo acustico (VIII nervo cranico) Superior olive: An early brain stem region in the auditory pathway where inputs from both ears converge Cochlear nucleus: The first brain stem nucleus at which afferent auditory nerve fibers synapse Il sistema uditivo //Dal nervo acustico al cervello Organizzazione tonotopica: Un dispiegamento per cui neuroni che rispondono a frequenze diverse sono organizzati anatomicamente ordinati per frequenza Questa organizzazione è mantenuta nella corteccia Acustica primaria (A1) I neuroni di A1 sono connessi e passano l informazione all area belt e questa poi all area parabelt Belt area: neuroni rispondono a caratteristiche complesse del suono Parabelt area: neuroni rispondono a caratteristiche complesse del suono + integrazione multimodale

Il sistema uditivo //Dal nervo acustico al cervello Base High frequencies Hair cells Low frequencies Apex Auditory nerve fibers Auditory nerve 0.3 0.5 0.25 0.3 0.125 0.5 1 4 1 22 8 8 1418 20 Figure 11.41 The outline of the core area of the monkey auditory cortex, showing the tonotopic map on the primary auditory receiving area, A1, which is located within the core. The numbers represent the characteristic frequencies (CF) of neurons in thousands of Hz. Low CFs are on the left, and high CFs are on the right. (Adapted from Kosaki et al., 1997.) frequenza caratteristica del neurone Il sistema uditivo //Dal nervo acustico al cervello Where Frontal lobe What Temporal lobe Auditory Auditory and visual

Il sistema uditivo //Dal nervo acustico al cervello (a) Localization Recognition 0.5 1.25 Performance 3.2 17.9 (b) J.G.: Poor recognition E.S.: Poor localization Il sistema uditivo //Dal nervo acustico al cervello Un confronto fra il sistema visivo e quello acustico Sistema acustico : gran parte delle elaborazioni è fatta prima di A1 (tranne linguaggio) Sistema visivo: gran parte delle elaborazioni è fatta dopo V1 Queste differenze potrebbero essere dovute a ragioni evoluzionistiche

Percezione acustica ambientale //Psico-acustica Lo studio dei correlati psicologici alla dimensione fisica degli stimoli acustici un ramo della psicofisica Livello psicologico dipende da un insieme di proprietà spettrali (armoniche, ecc) Pitch dipende da frequenza, rumore, ambiente acustico Loudness Livello fisico Frequenza Ampiezza / Intensità Percezione acustica ambientale //Psico-acustica Percezione della loudness: dipende da frequenza, rumore, ambiente acustico Soglie acustiche: Una mappa dei suoni appena percepibili per varie frequenze Equal-loudness curve: sound pressure level (db SPL) vs. frequenza a cui un ascoltatore percepisce uguale loudness

Percezione acustica ambientale //Localizzazione dei suoni Figure 12.2 In this sound localization tester at Wright- Patterson AFB in Dayton, Ohio, the listener is surrounded by 227 loudspeakers. (Courtesy of Marc Ericson, Wright- Patterson Air Force Base, Dayton, OH.) Percezione acustica ambientale //Localizzazione dei suoni Come localizziamo i suoni? Un esempio: la localizzazione di un grillo Un dilemma simile si ha anche quando si deve valutare la distanza di una fonte sonora Due orecchi: Fattore critico per la localizzazione dei suoni Differenze temporali Differenze di volume (loudness)

Percezione acustica ambientale //Localizzazione dei suoni: ITD Come localizziamo i suoni? Interaural time difference (ITD): La differenza in ordine di tempo (ritardo/ anticipo) con cui un suono arriva ad un orecchio rispetto a quando arriva all altro orecchio Percezione acustica ambientale //Localizzazione dei suoni: ITD Come localizziamo i suoni? Interaural time difference (ITD): La differenza in ordine di tempo (ritardo/anticipo) con cui un suono arriva ad un orecchio rispetto a quando arriva all altro orecchio

Percezione acustica ambientale //Localizzazione dei suoni: ITD A B Percezione acustica ambientale //Localizzazione dei suoni: ITD azimuth = angle in the horizontal plane (relative to head)

Percezione acustica ambientale //Localizzazione dei suoni: ITD Sound from straight ahead: Axon Left ear 1 2 3 4 5 6 7 8 9 Neural coincidence detector Right ear Modello del detettore di Jeffress (a) Left ear (b) 5 Right ear Sound from the right: Left ear (c) Right ear Left ear (d) 3 Right ear Percezione acustica ambientale //Localizzazione dei suoni: fisiologia dell ITD Come rilevare l ITD? L oliva mediale superiore (MSOs): E il primo luogo dove gli inputs dei due orecchi convergono Detettori dell ITD formano connessioni con gli inputs provenienti dai due orecchi già nei primi mesi di vita Oliva superiore: convergenza degli input dai due orecchi

Percezione acustica ambientale //Localizzazione dei suoni: fisiologia dell ITD Firing rate Niall Benvie/CORBIS Left ear first 0 Right ear first Interaural time difference Figure 12.10 ITD tuning curves for six neurons that each respond to a narrow range of ITDs. The neurons on the left respond when sound reaches the left ear first. The ones on the right respond when sound reaches the right ear first. Neurons such as these have been recorded from the barn owl and other animals. Adapted from McAlpine, 2005. Percezione acustica ambientale //Localizzazione dei suoni: fisiologia dell ITD Right-hemisphere Left-hemisphere neurons neurons 1 2 3 Left ear first (a) 0 Right ear first Interaural time difference DK Limited/CORBIS

Percezione acustica ambientale //Localizzazione dei suoni: fisiologia dell ITD Percezione acustica ambientale //Localizzazione dei suoni Come localizziamo i suoni? Un esempio: la localizzazione di un grillo Un dilemma simile si ha anche quando si deve valutare la distanza di una fonte sonora Due orecchi: Fattore critico per la localizzazione dei suoni Differenze temporali Differenze di volume (loudness)

Percezione acustica ambientale //Localizzazione dei suoni: ILD Come localizziamo i suoni? Interaural level difference (ILD): Differenza in intensità percepita da un orecchio rispetto a quella percepita dall altro orecchio in relazione alla stessa stimolazione acustica Percezione acustica ambientale //Localizzazione dei suoni: ILD Interaural level difference(ild): Differenza in intensità percepita da un orecchio rispetto a quella percepita dall altro orecchio in relazione alla stessa stimolazione acustica I suoni sono più intensi per l orecchio più vicino alla fonte sonora ILD è massimo per 90 gradi, mentre è nullo per 0 gradi e 180 gradi ILD correla generalmente con l angolo della fonte sonora, ma la correlazione non è così robusta come per l ITDs E piu importante per le frequenze alte.

Percezione acustica ambientale //Localizzazione dei suoni: ILD 10 Interaural level difference (db) 10 8 q 45 6 90 4 2 0 20 100 1,000 2,000 5,000 Frequency (Hz) Figure 12.6 The three curves indicate interaural level difference (ILD) as a function of frequency for three different sound source locations. Note that the ILD is greater for locations farther to the side and is greater for all three locations at higher frequencies. (Adapted from Hartmann, 1999.) Percezione acustica ambientale //Localizzazione dei suoni: ILD Interaural level difference(ild): Differenza in intensità percepita da un orecchio rispetto a quella percepita dall altro orecchio in relazione alla stessa stimolazione acustica Interaural level differences for tones of different frequencies presented at different positions I suoni sono più intensi per l orecchio più vicino alla fonte sonora ILD è massimo per 90 gradi, mentre è nullo per 0 gradi e 180 gradi ILD correla generalmente con l angolo della fonte sonora, ma la correlazione non è così robusta come per l ITDs E piu importante per le frequenze alte.

Percezione acustica ambientale //Localizzazione dei suoni: ILD Come localizziamo i suoni? 6,000 Hz Acoustic shadow Interaural level difference (ILD): funziona bene alle alte frequenze (a) (c) Spacing small compared to object 200 Hz Spacing large compared to object (b) (d) Figure 12.5 Why interaural level difference (ILD) occurs for high frequencies but not for low frequencies. (a) When water ripples are small compared to an object, such as this boat, they are stopped by the object. (b) The same ripples are large compared to the cattails, so they are unaffected by the cattails. (c) The spacing between high-frequency sound waves is small compared to the head. The head interferes with the sound waves, creating an acoustic shadow on the other side of the head. (d) The spacing between low-frequency sound waves is large compared to the person s head, so the sound is unaffected by the head. Percezione acustica ambientale //Localizzazione dei suoni: fisiologia dell ILD Oliva superiore laterale (LSOs): Qui ci sono neuroni che sono sensibili alla differenza di intensità fra i due orecchi Connessioni eccitatorie con LSO provengono dall orecchio ipsilaterale Connessioni inibitorie con LSO provengono dall orecchio contralaterale

Percezione acustica ambientale //Localizzazione dei suoni: ITD vs. ILD ILD piu importante per le frequenze alte ITD piu importante per le frequenze basse Percezione acustica ambientale //Localizzazione dei suoni: Percezione attiva Potenziali problemi legati all utilizzo degli indizi di ITDs e ILDs per la localizzazione dei suoni Si possono superare utilizzando la percezione attiva: girare il capo

Percezione acustica ambientale //Percezione della distanza del suono Come si stima la distanza di una fonte sonora? L intensità relativa del suono (volume, loudness) Legge dell inverso del quadrato: al crescere della distanza della sorgente sonora l intensità sonora descresce con il quadrato della distanza Componenti spettrali dei suoni: Le frequenze più alte dei suoni perdono energia più rapidamente rispetto alle basse frequenze via via che i suoni si propagano nello spazio (d > 1000m) Esempio il tuono Energia riverberante Quantità relativa di energia diretta (fonti vicine) vs quella di ritorno (fonti lontane) Percezione acustica ambientale //Percezione della distanza del suono

Percezione acustica ambientale //Suoni complessi e armoniche La più bassa frequenza nello spettro delle armoniche = Frequenza fondamentale Esempio: 220 (F1), 440 (F2), 660 (F3), 880 (F4), 1100 (F5)... Il sistema acustico è molto sensibile ai rapporti naturali fra le armoniche Oggetti naturali tendono a vibrare a frequenze di risonanza molte vibrazioni si attenuano altre persistono perchè la loro lunghezza d onda è rinforzata dalle proprietà fisiche dell oggetto Percezione acustica ambientale //Suoni complessi e armoniche

Percezione acustica ambientale //Suoni complessi e armoniche Anche la voce ha una decomposizione armonica Percezione acustica ambientale //Suoni complessi e armoniche Cosa accade quando la prima armonica viene a mancare? Effetto della assenza della fondamentale L altezza del suono (pitch) è percepito identico

Percezione acustica ambientale //Suoni complessi e armoniche Cosa accade quando la prima armonica viene a mancare? Effetto della assenza della fondamentale L altezza del suono (pitch) è percepito identico: sufficienti 3 armoniche Percezione acustica ambientale //Suoni complessi e armoniche Cosa accade quando la prima armonica viene a mancare? Effetto della assenza della fondamentale L altezza del suono (pitch) è percepito identico: sufficienti 3 armoniche Poichè sono allineate sulla fondamentale, il phase locking potrebbe mantenere la percezione della fondamentale 2 3 4 2+3+4

Percezione acustica ambientale //Suoni complessi e armoniche Cosa accade quando la prima armonica viene a mancare? Effetto della assenza della fondamentale L altezza del suono (pitch) è percepito identico: sufficienti 3 armoniche ma potrebbe anche essere un meccanismo di pattern matching sul place code della coclea 2 3 4 2+3+4 Percezione acustica ambientale //Suoni complessi e timbro Timbro: sensazione psicologica tramite la quale un osservatore riesce a distinguere come diversi due suoni che hanno la stessa altezza (pitch) e lo stesso volume (loudness). Il timbro è estrapolato dalle armoniche e da altre alte frequenze La percezione del timbro dipende dal contesto in cui il suono viene udito Esperimenti di Summerfield et al. (1984) Il contrasto del timbro o Post illusione del timbro Tre strumenti diversi suonano mi

Percezione acustica ambientale //Attacco e caduta di un suono Attacco: La parte di un suono durante la quale l ampiezza cresce (onset) Caduta: Parte di un suono durante il quale l ampiezza descresce (offset) Importanti per distinguere suoni e fonemi Percezione acustica ambientale //Analisi della scena acustica Che cosa accade in situazioni ecologiche (naturali)?

Percezione acustica ambientale //Analisi della scena acustica Che cosa accade in situazioni ecologiche (naturali)? Un ambiente acustico può essere un luogo molto complesso Fonti acustiche multiple Come fa il sistema acustico a distinguere fra queste diverse fonti? Segregazione della fonte o analisi della scena acustica Percezione acustica ambientale //Analisi della scena acustica L effetto cocktail party : riusciamo a prestare attenzione a una conversazione fra tante (Colin Cherry, 1953) possiamo utilizzare indizi spaziali, temporali, e spettrali per separare gli stream, ma non possiamo prestare attenzione a più stream contemporaneamente

Percezione acustica ambientale //Analisi della scena acustica Segregazione della fonte o analisi della scena acustica Strategie possibili: Separazione spaziale fra i suoni Separazione sulla base dello spettro dei suoni o sulle qualità temporali (temporal qualities) Segregazione del flusso audio: Organizzazione percettiva di un segnale acustico complesso in diversi eventi acustici che vengono percepiti come flussi acustici distinti Percezione acustica ambientale //Analisi della scena acustica Frequency (Hz)

Percezione acustica ambientale //Analisi della scena acustica Segregazione del flusso audio: Organizzazione percettiva di un segnale acustico complesso in diversi eventi acustici che vengono percepiti come flussi acustici distinti Toccata e Fuga di Bach Percezione acustica ambientale //Analisi della scena acustica Figure 12.14 Four measures of a composition by J. S. Bach (Choral Prelude on Jesus Christus unser Heiland, 1739). When played rapidly, the upper notes become perceptually grouped, and the lower notes become perceptually grouped, a phenomenon called auditory stream segregation. High Hi High stream Hi Pitch Hi Lo Lo Lo Low stream Low (a) Tones alternated slowly Perception: Hi-Lo-Hi-Lo-Hi-Lo (b) Tones alternated rapidly Perception: Two separate streams

Percezione acustica ambientale //Analisi della scena acustica Segregazione del flusso audio: Organizzazione percettiva di un segnale acustico complesso in diversi eventi acustici che vengono percepiti come flussi acustici distinti Right ear illusione della scala Left ear (a) How notes are presented Right ear Left ear (b) What the listener hears Percezione acustica ambientale //Analisi della scena acustica Raggruppamento per timbro Toni che hanno frequenze che salgono e decrescono o toni che si differenziano da questo andamento di salita/discesa risaltano immediatamente (pop out) nella scena acustica

Percezione acustica ambientale //Analisi della scena acustica Raggruppamento per timbro Toni che hanno frequenze che salgono e decrescono o toni che si differenziano da questo andamento di salita/discesa risaltano immediatamente (pop out) nella scena acustica Percezione acustica ambientale //Analisi della scena acustica Raggruppamento per inizio (on set) Armoniche dei suoni del linguaggio o della musica Raggruppare armoniche diverse in un singolo tono complesso Rasch (1987) mostrò che è molto più semplice distinguere fra due toni quando l inizio di uno precede quello dell altro di un tempo molto piccolo Legge della Gestalt del destino comune

Percezione acustica ambientale //Continuità e ripristino Come facciamo a sapere che chi ascolta i suoni li sente come patterns continui? Principio della buona continuità: In particolari condizioni, nonostante la presenza di interruzioni, si è sempre in grado di sentire i suoni Esperimenti che usano un compito di detezione del segnale (e.g., Kluender and Jenison) suggeriscono che in un qualche momento i suoni fisicamente mancanti nella sequenze vengono reintegrati da sistema percettivo ed analizzati come se fossero stati presentati davvero Percezione acustica ambientale //Continuità e ripristino Reintegrazione di suoni complessi (e.g., musica, parlato) Fonti di informazione di alto livello Higher-order non solo informazioni acustiche Il rumore al posto di un buco può aiutare a migliorare la percezione di continuità

Percezione acustica ambientale //Continuità e ripristino Reintegrazione di suoni complessi (e.g., musica, parlato) Fonti di informazione di alto livello Higherorder non solo informazioni acustiche Il rumore al posto di un buco può aiutare a migliorare la percezione di continuità vale anche per il parlato