Lezione 10. BCI device

Transcript

1 Lezione 10 BCI device

2 Cos è una BCI BCI = Brain Computer Interface Basato sulla lettura di dati (segnali) provenienti da elettroencefalogramma Presente come Tecnologia invasiva (in neurochirurgia) Tecnologia non invasiva (neurologia e altre applicazioni) Derivato da applicazione di macchine per encefalogramma torneremo sulle BCI più avanti.

3 Elettroencefalogramma Un elettroencefalogramma fornisce la misura delle fluttuazioni di voltaggio del cervello rilevate da elettrodi posti sul cranio Viene rilevata un approssimazione dell attività elettrica cumulativa dei neuroni.

4 Origine dell EEg Neuroni corticali organizzati a formare ammassi colonnari a orientamento perpendicolare alla superficie della corteccia cerebrale, di cui costituiscono unità funzionali elementari. EEG: espressione dei processi sinaptici (potenziali elettrici pre- e post-sinaptici), di potenziali dendritici e probabilmente anche di potenziali della neuroglia (cellule di sostegno). Potenziali rilevabili con EEG sono quelli associati a correnti all'interno dell'encefalo che fluiscono perpendicolarmente rispetto allo scalpo. Tecnica complementare: magnetoencefalografia (MEG) permette di misurare le correnti che fluiscono parallelamente allo scalpo.

5 Elettroencefalogramma - usi per ottenere neurofeedback Per il trattamento della ADHD (Disturbo da Deficit di Attenzione/Iperattività, disturbo evolutivo dell'autocontrollo) Giudare la meditazione per Brain Computer Interface Persone con inadeguato controllo muscolare Persone con ALS (sclerosi laterale amiotrofica), o traumi spinali Alta precisione bassa bandwidth (bit rate)

6 Elettroencefalogramma - strumenti EEG richiede elettrodi posizionati sul cranio Attivi (con gel) Passivi (senza gel) Richiede connessione ad elaboratore Fisica Radio

7 Posizionamento degli elettrodi Sistema standard Regioni contraddistinte da lettere (una o due) per regione corteccia esplorata: F lobo Frontale (Fp Frontopolare) T lobo Temporale P lobo Parietale C - Centrale O lobo Occipitale Si aggiunge numero posizioni per identificare emisfero Numeri dispari - sinistra Numeri pari destra Z - linea mediana.

8 Posizionamento degli elettrodi (2) Vista dettagliata

9 Sistema internazionale (1) elettrodi applicati sullo scalpo secondo posizionamento standard "sistema internazionale 10-20". 10% o 20% con rif a 100% distanza tra due punti cranici "inion" (prominenza alla base dell'osso occipitale) e "nasion" (attaccatura superiore del naso), distanza di solito da 30 a 36 cm. (variabilità interpersonale). 19 elettrodi, lungo cinque linee: 1. P1: longitudinale esterna 2. P2: long. interna destra 3. Centrale 4. P1: longitudinale esterna 5. P2: long. interna di sinistra 6. linea trasversa T4-C4-Cz-C3-T3 denominata montaggio P3, sempre con regola del 10-20%.

10 Sistema internazionale (2) elettrodi fronto-polari sopra le sopracciglia frontali su stessa linea dei fronto-polari ma più su del 20% centrali (+ 20%) parietali (+ 20%) occipitali (+ 20%) Totale del 90% della distanza nasion-inion, a distanza del 10% dall'inion

11 Ritmi cerebrali Differenza di potenziale tra cellule nervose del cervello misurata come differenza in voltaggio onde generate valutate per loro differenza in ampiezza (in microvolt) e in frequenza (in cicli per secondo o Hz). Ritmi maggiori: alfa, beta, theta, delta: onde alfa caratteristiche in condizioni di veglia e di riposo mentale, ma assenti nel sonno. soggetto sottoposto ad attività cerebrale maggiore presenza onde beta. dominanti in soggetto ad occhi aperti, in stati di allerta e in sonno REM. onde theta dominanti nel neonato. Possono rappresentare tensioni emotive. onde delta predominanti nell'infanzia, in anestesia generale e in alcune malattie cerebrali.

12 Ritmo cerebrale alfa Ritmo di base: ritmo alfa ("ritmo di Berger") frequenza di 8-12 Hz (cicli/sec) ampiezza media microvolt registrato a occhi chiusi in soggetto sveglio, soprattutto tra elettrodi occipitali e parietali. Se soggetto apre gli occhi, attività alfa scompare, sostituita da attività di basso voltaggio più rapida (beta) Elettroencefalogramma normale: onde alfa prevalenti a livello parietale e occipitale. In stato di sonno presenti sia onde beta che onde delta e theta (theta in sonno non-rem).

13 Raggruppamenti dei ritmi cerebrali Onde raggruppate per frequenza (l ampiezza è circa 100µV massimo) Type Frequency Location Use Delta <4 Hz everywhere occur during sleep, coma Theta 4-7 Hz temporal and parietal correlated with emotional stress (frustration & disappointment) Alpha 8-12 Hz occipital and parietal reduce amplitude with sensory stimulation or mental imagery Beta Hz parietal and frontal can increase amplitude during intense mental activity Mu 9-11 Hz frontal (motor cortex) diminishes with movement or intention of movement Lambda sharp, jagged occipital correlated with visual attention Vertex higher incidence in patients with epilepsy or encephalopathy

14 L elettroencefalografia

15 Onde alfa e beta Studiate dagli anni 20 Rilevate nella corteccia parietale e frontale Stato di relax -> maggiore ampiezza alfa Stato di eccitazione -> maggiore ampiezza beta Relaxed -> Excited Alpha -> Beta

16 Onde Mu (1) Studiate dagl anni 30 Rilevate nella corteccia motoria L ampiezza è soppressa dai movimenti fisici o dalle intenzioni di movimento (fisico) Wolpaw, et al, 1991: addestramento di soggetti nel controllare il ritmo mu visualizzando un attività di movimento attraverso il moto di un cursore verso l alto e verso il basso (1 dimensione)

17 Onde Mu (2)

18 Onde Mu e beta Wolpaw e McFarland, 2004 usano una combinazione lineare di onde Mu e beta per controllare un cursore 2D I pesi sono appresi dagli utenti in tempo reale Il cursore si muove ogni 50ms (20 Hz) 92% hit rate in media1.9 sec

19 P300 evoked potentials Avvengono in risposta ad eventi significaivi ma con bassa probabilità 300 millisecondi dopo lo stimolo target Trovati nel 1965 da Sutton et al., 1965; Walter, 1965 focus specifico

20 P300 esperimenti Farwell e Donchin, % accuratezza per 1 carattere per 26s Esempio: C è anche VEP (Visual Evoked Potential), simile a P300, rileva cambiamenti in corteccia visiva

21 Generalizzazione modello S of A Modelli EEG non ancora in grado di seguire il cambiamento della natura dell utente. Curran et al, 2004: propongono l uso di algoritmi di Adaptive Filtering Necessari ancora molti adattamenti manuali (es. posizionamento elettrodi) Gli utenti devono adattarsi al sistema e non viceversa Tecniche attuali apprendono modelli separati per ciascun utente Müller, 2004: machine learning per ridurre necessità training Support Vector Machines (SVM) eregularized Linear Discriminant Analysis (RLDA)

22 Caratteristiche da considerare per BCI Un utente deve essere in grado di controllare l output: Utilizzando una caratteristica dell output EEG che si possa modificare (onde) Evocando una risposta EEG con uno stimolo esterno (evoked potential) Un elettroencefalogramma standard misur l ttività elettrica del cervello in modo non invasivo. L EEG consente di misurare: L attività neurale spontanea L attività neurale evocata (potenziali evento-correlati, ERP)

23 Cos è una BCI? Un sistema che legge segnali elettrici cerebrali o altre manifestazioni dell attività cerebrale e li trasforma in forme digitali che un elaboratore può comprendere, processare e convertire in azioni di qualche tipo BCI può aiutare persone con disabilità a controllare computer, sedie a rotelle, televisioni, o altri device, mediante l attività cerebrale

24 Cos è una BCI? Definizione di J.R.Wolpaw: A BCI is a communication system in which messages or commands that an individual sends to the eternal world do not pass through the brain s normal output pathways of peripheral nerves and muscles. Un sistema BCI assegna ai neuroni corticali un ruolo generalmente svolto dai neuroni spinali Interpreta l intenzionalità da parte dell corteccia e delega il controllo del processo ad un Hw o ad un Sw Un sistema che legge segnali elettrici cerebrali o altre manifestazioni dell attività cerebrale e li trasforma in forme digitali che un elaboratore può comprendere, processare e convertire in azioni di qualche tipo BCI può aiutare persone con disabilità a controllare computer, sedie a rotelle, televisioni, o altri device, mediante l attività cerebrale

25 Componenti di un BCI (1) Mezzi per misurare i segnali neurali cerebellari Metodi ed algoritmi per decodificare stati cerebrali/intenzioni dai segnali rilevati Metodologie ed algoritmi per mappare l attività cerebrale decodificata in attitudini o intenzioni di azione

26 Componenti di un BCI (2) Sistema di acquisizione Signal preprocessing Feedback visivo e/o tattile BCI applications Signal analysis Controller attuatore

27 BCI invasivo e non invasivo Tecniche invasive con elettrodi impiantati direttamente nel cervello del paziente Tecniche non invasive, nelle quali i device di scan medici o i sensori montati su cuffie o headband leggono i segnali cerebrali

28 BCI invasivo: vantaggi e svantaggi Vantaggi Alta risoluzione Possibilità di esaminare singoli gruppi di neuroni Svantaggi Intervento chirurgico in anestesia totale Contatto di microelettrodi con corteccia può causare infezioni Immune da errori A lungo termine possibili problemi

29 BCI non invasivo: vantaggi e svantaggi Vantaggi Facilità applicazioni Alta portabilità. Mobile Svantaggi Dipendenza da materiale/tipo elettrodi Bassa risoluzione Tecnica economica Alta sensibilità a rumore ed errori

30 Paradigmi BCI Passivo endogeno: specifica attività mentale legata all immaginazione. Es. immaginazione di moto o calcolo mentale Attivo endogeno: neurofeedback attico e immaginazione mentale senza restrizioni utilizzando il principio operante condizionante cognitivo non specifico, giusto un principio do it Passivo esogeno: risposte stimoli esterni per evocare specifiche risposte cerebrali (event-related potentials, ERP) Attivo esogeno: risposte modificate coscientemente in base a stimoli esterni, spesso combinate con neurofeedback

31 Cosa rileva BCI dipende dai modelli Onde: Alfa Beta Theta Gamma Delta anche: espressioni facciali eye tracking movimenti craniali (gyroscope)

32 Vari modelli BCI Qui consideriamo Emotiv Epoc Mindwave Neurosky nati per applicazioni di entertainment, gioco A disposizione anche tool per sviluppo e ricerca: registrazione dati librerie per creazione applicazioni e interfacce Ancora agli inizi in ricerca e sviluppo

33 Emotiv Epoc: funzionalità Legge onde Delta (1-4 Hz), Theta (4-7 Hz), Alpha (7-13 Hz), e Beta (13-30Hz) anche segnale da ogni sensore separatamente funzioni di giroscopio lettura espressioni facciali eye tracking mappa e consente lettura livelli attentivi, stato mentale e rilassamento Tipo di ritmo Frequenza Hz Ampiezza (mv) Stati mentali, livelli di coscienza delta 0, Condizioni patologiche teta Sonno profondo alfa Rilassamento mentale beta Attenzione, concentrazione, aree corticali attivate

34 Emotiv Epoc: caratteristiche tecniche

35 Emotiv Epoc: tool registrazione e sviluppo Real-time display data stream, including EEG, FFT, gyro, wireless packet acquisition/loss display, marker events. Record and replay files in binary EEGLAB and.csv format. Timed markers, on-screen buttons and serial port events. Markers displayed in real time and playback modes. Marker definitions can be saved and reloaded.

36 Neurosky Mindwave: funzionalità EEG Measurements: - Raw EEG - Neuroscience defined EEG power spectrum (Alpha, Beta, etc.) - esense meter for Attention - esense meter for Meditation - esense Blink Detection - On-head detection

37 Neurosky Mindwave: caratteristiche tecniche EEG signal processing Lightweight Wireless Safe passive biosensors Portable EEG brainwave headset TGAM1 module, with TGAT1 ASIC Automatic wireless computer pairing Static headset ID

38 Neurosky Mindwave: tool registrazione e sviluppo EEG data acquisition tool measures raw, powerband and algorithm output for use with BCI2000, MATLAB and proprietary applications developer kits for capacitive sensors, multi-channel sensors and Steady State Visually Evoked Potentials (SSVEP)

39 XWave per iphone

40 BCI: discipline coinvolte Nanotechnology Biotechnology Information technology Cognitive science Computer science Biomedical engineering Neuroscience Applied mathematics

41 BCI: discipline interessate Neuroscience, Neuromarketing Cognitive science. Psychology Medicine, Rehabilitation Decision theory, game theory Applied mathematics Automatic learning, Machine learning, A.I., Robotics Communication, Cultural heritage, e-learning Biotechnology Information technology, Computer science, Virtual Reality, advanced human computer interfaces (HCIs)

42 BCI: utenti target Ricercatori (neuroscienziati, psicologi, clinici, economisti, esperti di signal processing ) Operatori tecnici (terapisti, operatori sanitari) Utenti finali (persone con disabilità o che hanno subito traumi inabilitanti) Utenti casuali (es. entertainment)

43 Trend attuali e futuri per BCI non invasivo Da unimodale a multimodale, cioé monitoring simultaneo di attività cerebrali mediante utilizzo di più device e combinando BCI con HCI Semplici tool di signal-processing per data maining avanzato multidimensionale e mediante machine learning Contollo con maggiori gradi di libertà Combinazione di neurofeedback con HCI multimodali Test di laboratorio con immersione in (rumore) mondo reale confrontato con mondo virtuale

44 Some references 1. Sixto Ortiz Jr., "Brain-Computer Interfaces: Where Human and Machine Meet," Computer, vol. 40, no. 1, pp , Jan., Andrzej Cichocki, Yoshikazu Washizawa, Tomasz Rutkowski, Hovagim Bakardjian, Anh-Huy Phan, Seungjin Choi, Hyekyoung Lee, Qibin Zhao, Liqing Zhang, Yuanqing Li, "Noninvasive BCIs: Multiway Signal-Processing Array Decompositions," Computer, vol. 41, no. 10, pp , Oct., Anton Nijholt, Desney Tan, Gert Pfurtscheller, Clemens Brunner, Jos del R. Mill, Brendan Allison, Bernhard Graimann, Florin Popescu, Benjamin Blankertz, Klaus-R. M?, "Brain-Computer Interfacing for Intelligent Systems," IEEE Intelligent Systems, vol. 23, no. 3, pp , May/Jun, F. Babiloni, A. Cichocki, and S. Gao, eds., special issue, Brain- Computer Interfaces: Towards Practical Implementations and Potential Applications, ComputationalIntelligence and Neuroscience, 2007; 5. P. Sajda, K-R. Mueller, and K.V. Shenoy, eds., special issue, Brain Computer Interfaces, IEEE Signal Processing Magazine,Jan