Realtà Virtuali Prof. Raffaella Folgieri, aa 2013/2014

Транскрипт

1 Realtà Virtuali Prof. Raffaella Folgieri, aa 2013/2014 BCI - sviluppo Come integrare il BCI La tecnologia BCI può essere integrata in: Applicazioni di gioco Applicazioni di ricerca Oltre a sw semplici per creare setup sperimentali (come OpenVibe che abbiamo visto): BCI2000 Sviluppo di applicazioni specifiche 1

2 SDK Mindwave Neurosky Librerie utilizzabili con C++, Java - possibile utilizzare Processing - Max (programma che consente di creare suoni in tempo reale mediante approccio a oggetti) L SDK di Neurosky Mindwave è reperibile all indirizzo: La community e lo spazio dedicato ai developer fornisce molto supporto in fase di sviluppo Implementazione Java Il MindWave non è accompagnato da un implementazione Java. La libreria disponibile al link (Andreas Borg) colma questa lacuna. La libreria è sviluppata in accordo al protocollo descritto nel documento MindSet Communication Protocol consente la connessione col MindWave e la conseguente ricezione e il parsing dei dati in uscita dal dispositivo. Il MindWave invia pacchetti nel formato dati JSON (JavaScript Object Notation), un formato adatto per lo scambio dei dati in applicazioni client-server. Per reperire i dati è perciò sufficiente dichiarare una socket ThinkGear come segue: ThinkGearSocket socket; In questo modo sarà possibile usare i suoi metodi per reperire i dati necessari. 2

3 Leggere i segnali EEG Per leggere i segnali EEG rilevati da Mindwave è necessario installare i componenti del mindset development tool (MTD), reperibili gratuitamente qui: MTD ha 3 livelli di interfaccia per comunicare con l haedset Mindwave: 1. ThinkGear Connector (TGC), eseguibile Windows e Mac OS 2. ThinkGear Communications Drivers (TGCD), librerie per Windows, Windows Mobile, Mac OS X e J2ME (Symbian) 3. ThinkGear Stream Parser, codice sorgente per ogni piattaforma C I primi due livelli, più alti, forniscono supporto per le più comuni piattaforme, quali Windows e Mac OS X, mentre il livello più basso, Stream Parser interface fornisce codice sorgente e specifiche per la comunicazione a basso livello che permettono l interfaccia al mindwave virtualmente su ogni piattaforma che possa ricervere un stream dati seriale Bluetooth THINKGEAR ThinkGear è la tecnologia che abilita i device NeuroSky ad interfacciare chi indossa un brain headset ThinkGear include i sensori posti sullo scalpo, i punti di contatto e di riferimento posti sull orecchio e sul lobo auricolare ed il chip posto sul BCI che processa i dati Sia le onde cerebrali che gli esense Meters (attenzione e meditazione) vengono lette dal chip La tecnologia ThinkGear abilita i tool di sviluppo, i driver e le api dell MDT 3

4 Altre indicazioni A questo link BCI-interfaccia.pdf Indicazioni (ed esempi) su come integrare il Neurosky Mindwave in un ambiente grafico per la creazione di esperimenti/giochi rispondenti a comandi cerebrali (mediante DarkGDK) ThinkGear in python In Blender è incluso un motore python disponibile un modulo python che fa il parser del protocollo ThinkGear Funziona sia in Linux che in Windows Sempre a questo link: BCI-interfaccia.pdf trovate un esempio di utilizzo 4

5 Emotiv Epoc in Python (1) Come sappiamo, l headset Emotiv Epoc ha 14 sensori EEG Esiste un SDK a disposizione per scopi di ricerca, acquistabile a $750, per ambiente Windows e totalmente proprietario. Cody Brocious ha però avviato l Emokit project, una interfaccia open source per l EPOC. Il codice è disponibile su github nel repository daeken/emokit Contiene una libreria Python per interagire con l EPOC e per mostrare graficamente I dati rilevati dai sensori La libreria consente di accedere ai dati Eeg da Emotiv EPOC su Windows, Linux, e OS X con Python. Emotiv Epoc in Python (2) 5

6 Altri tool utilizzabili per ricerca: BCI2000 E possibile anche utilizzare BCI2000 per analizzare i dati provenienti da un setup sperimentale. BCI2000 è molto più potente di OpenVibe. Qui alcune indicazioni utili: È possibile scaricare BCI2000 gratuitamente, previa iscrizione. Il sito è ricco di documentazione: _Howto:Quickstart_Guide 6