THE Hand Embodied semplice non è facile la robotica tra cultura scienza e tecnologia antonio bicchi e marco santello ISTITUTO ITALIANO DI TECNOLOGIA CENTRO E. PIAGGIO UNIVERSITA DI PISA
Centro di Ricerca E. Piaggio CENTRO E. PIAGGIO UNIVERSITA DI PISA Un ambiente multidisciplinare per la ricerca in robotica e bioingegneria nella Università di Pisa
Pisa Università di Pisa Fondata 1343 50,000 Studenti 10,000 Studenti nella Scuola di Ingegneria Il Sistema Universitario di Pisa Tre Università Università di Pisa Scuola Normale Superiore Scuola Superiore S. Anna Laurea e Laurea Magistrale a comune (@UdP) Extra curriculum per migliori studenti (SNS & SSSA) Scuole di Dottorato e Perfezionamento Indipendenti Ricerca Independente
Robotics in Natural Environments Robots and Smart Cities Disaster Monitoring and Recovery Marine Surveys CENTRO E. PIAGGIO UNIVERSITA DI PISA Marine Archaeology Advanced Education Industrial Logistics
Natural Environments PLAtform for the deployment and operation of heterogeneous NETworked cooperating objects Disaster Monitoring and Recovery RECSY S Smart Cities RUNES Marine Surveys Marine Archaeology Advanced Education Industrial Logistics
The Material World The Material World The Mental World The Mental World The Virtual World CENTRO E. PIAGGIO UNIVERSITA DI PISA The Body World
The Material World The Mental World
F. Carpi, D. De Rossi, et al. Centro E. Piaggio, Pisa Video-capsule a guida magnetica per endoscopia gastrointestinale
Robot Emozionali FACE (Face Automaton for Conveying Emotions) volto automatico realizzato in Frubber - polimero siliconico che replica le proprietà meccaniche e l aspetto della pelle umana bio-compatibile e robusta, può essere toccata direttamente 32 mini servo-muscoli ne muovono I tratti in modo anatomicamente corretto FACE replica espressioni umane ed è usato come mediatore emozionale Picture by Enzo Cei www.enzocei.com www.fondazionearpa.it D. Mazzei, D. De Rossi, Centro Piaggio, Pisa
Soft Robotics & Natural Motion Robot Safety Haptics Hazardous Environments Hands
I futuri robot, fuori dalle fabbriche: forti ma delicati Aiuto nei compiti pesanti Applicazioni Domestiche (domotica) Intrattenimento Assistenza Riabilitazione NASA-JPL SARCOS The Lokomat by Hocoma
sicurezza prima di tutto
altre differenze motori e muscoli
machine intelligence Ieri: Puma (1960s) Motorola 68K 8 MHz 160 Kflops Oggi: smartphones Snapdragon S4 1.5 GHz 6.4 Gflops (x 40.000)
machine motion Ieri: Puma (1960s) Servomotori Oggi Servomotori
da motori a muscoli per robot Servomotori Attuatori con Elasticità in Serie (SEA) Attuatori a Cedevolezza Variabile (VSA)
muscoli per robot (VSA): una tecnologia nata in Italia Soft Arm: 2000 VSA I: 2003 QBots: TODAY VSA II: 2008 VSA HD: 2010
Istituto Italiano di Tecnologia Creato dai Ministeri di Istruzione Università e Ricerca Economia e Finanza ISTITUTO ITALIANO DI TECNOLOGIA Istituto di Ricerca non un Università Obiettivi Creazione e disseminazione di conoscenze scientiifiche Promozione delle eccellenze di ricerca Sviluppo economico Tecnologia Avanzata Robotica Neuroscienze Bionanotecnologie
IIT Istituto Italiano di Tecnologia 24
Virus Insect Horse Antibody Bacteria Dog Human Chemistry Biochemistry New Materials, Nanotech and Sensors New Actuators, Motors, Sensor Networks Pharmacology Life sciences D4, EHS Material Science Nanotechnologies Smart Materials, Energy Energy Cognition, Learning Artificial Intelligence Neuroscience, Robotics, Computation L IIT si propone di creare un ecosistema di tecnologie che siano dentro, fuori e vicino all uomo. Attraverso le sue piattaforme, IIT sviluppa a livello nano micrometrico particelle per la cura, la terapia e la diagnosi delle malattie (dentro l uomo), per l analisi ambientale (fuori dall uomo) mentre con dimensioni crescenti sviluppa strutture artificiali per lo svolgimento di compiti specifici a supporto e sostituzione dell uomo (vicino all uomo) ad esempio esoscheletri e robot umanoidi.
Robotica @ IIT Le attività si concentrano sullo sviluppo di una robotica umanoide e bioispirata. Alcuni esempi sono: i microrobots che imitano il movimento dei protozoi, il robot quadrupede HyQ, i robot umanoidi icub e COMAN Si studiano l interfaccia uomo - macchina, gli algoritmi per teleoperazioni e i sistemi per l apprendimento automatico dei robot.
IIT-ADVR COMAN - COmpliant humanoid
muscoli per robot (VSA): una tecnologia in rapida espansione QBots: TODAY
muscoli per robot (VSA): una tecnologia in rapida espansione No. of patents + papers published 1997 IEE Xplore Search: active compliance OR adjustable compliance OR adjustable damping OR compliance controller OR compliant actuation OR compliant actuator OR compliant control OR compliant controller OR elastic actuation OR elastic transmission OR flexible actuation, flexible actuators OR impedance control OR impedance controller OR joint impedance OR joint stiffness OR soft robotics OR soft robot OR soft robotics OR stiffness control OR stiffness controller OR variable damping OR variable compliance OR variable stiffness actuator.
applicazioni per VSA d
applicazioni per VSA Forse ci sono altre cose più utili che i ricercatori non sanno! Idea: affidiamo l esplorazione all entusiasmo e intelligenza degli appassionati (crowdsource it!)
prendere l iniziativa Problemi Tempo Know-how Diffusione Costo Soluzioni Basso costo Modularità Accesso pubblico Utilizzo semplice Discussione aperta Partecipazione piattaforma Full Open SW Electronics HW Mechanical HW
an open initiative to foster the diffusion of soft actuation in robotics OPEN paradigm BSD & Creative Commons licensing leads to the fast diffusion of the technology best choice for developers create a community to get support and feedback examples Linux I-Cub Arduino
Soft Robots for Makers
Reflex Control of Grasping Follow and Reconstruct Shape Clips da un videotape del 1989 Measure Friction Coefficients Detect Objects by Texture
Motor box Bowden Cables
altre mani
semplice non è facile
Arizona State University è l università pubblica più grande degli Stati Uniti 76,000 studenti 16 Facoltà 4 campus Spese annuali di ricerca: $400,000,000 ASU è 73 rd nel mondo 46 th tra tutte le università negli U.S.A. 25 th tra le università pubbliche negli U.S.A. 5 th negli U.S.A. per laureati piu qualificati (Wall Street J.) Una delle università migliori per rapporto qualità:costo (Forbes magazine, 2012)
biomedical engineering computer engineering computer science computer systems engineering engineering management industrial engineering Informatics School of Arts, Media and Engineering in association with Herberger Institute for Design and the Arts School of Earth and Space Exploration in association with the College of Liberal Arts and Sciences School of SUSTAINABILITY Transdisciplinary Partners The Biodesign Institute Global Institute of Sustainability Security AND Defense Systems Initiative computer engineering electrical engineering IRA A. FULTON SCHOOLS OF ENGINEERING aerospace engineering chemical engineering materials science and engineering mechanical engineering solar energy engineering and commercialization civil, environmental and sustainable engineering construction engineering construction management engineering.asu.edu
Neural Engineering and Neurorehabilitation Molecular, Cellular, and Tissue Bioengineering Biomedical Imaging Synthetic Biology Biosensors T1-wt CSS image Air 30 min O2 30 min air IRA A. FULTON SCHOOLS OF ENGINEERING engineering.asu.edu
Neural Control of Movement Laboratory Marco Santello L'obiettivo della mia ricerca è capire i meccanismi sensomotori responsabili del controllo della mano. Le tecniche sperimentali in uso nell'ncml includono elettromiografia, realtà virtuale e misure relative alla cinematica e cinetica della mano. Possibili applicazioni: Neuroprotesi Robotica Riabilitazione della mano 0-20 -40 0-60 50-80 40 20 0-20 -40 100 IRA A. FULTON SCHOOLS OF ENGINEERING engineering.asu.edu
La mano La mano ha un ruolo fondamentale nello sviluppo sensomotorio Il sistema sensoriale incorporato nella mano consente di estrarre informazioni dettagliate riguardo all'ambiente con cui interagiamo Il sistema motorio della mano ha una versatilità unica, che consente di controllare in maniera precisa un vasto repertorio di movimenti
La mano ha un ruolo fondamentale nelle nostre attività quotidiane Capire meglio come il cervello controlla la mano ha quindi un impatto immediato su applicazioni cliniche, ad esempio: 0 sviluppo di protesi per mano -20-40 -60-80 40 20 0-20 -40 100 50 0 creare e valutare l'efficacia di approcci innovativi per la riabilitazione delle funzioni sensomotorie della mano Mediante la comprensione dei meccanismi alla base del controllo neurale della mano, la nostra ricerca si propone di colmare il varco tra ricerca e applicazioni cliniche.
Reverse engineering del controllo sensomotorio della mano Rappresentazione ad alto livello delle proprietà dell'oggetto e del task Apprendimento del task Coordinamento dell attivita muscolare Ambiente virtuale Psicofisica Coordinamento di forze e posizioni delle punte delle dita
Stimolazione magnetica transcraniale Per capire come il cervello controlla la mano, stimoliamo la porzione responsabile del controllo dei muscoli della mano (corteccia motoria), al fine di verificarne la sensibilità o individuare lesioni virtuali. Setup TMS (single-pulse) TMS single pulse, paired pulse e ripetuta Scatola con informazioni visive Test object Elettrodi EMG Bobina TMS Collaborazione con Marco Davare, Univ. College London, e Jeffrey Kleim, Arizona State University.
Manipolazione in ambiente virtuale Nei task di grasping quotidiani le informazioni fornite da visione e sensazione di contatto coincidono sempre. Usiamo un ambiente di realtà virtuale in cui un attuatore robotico fornisce ai soggetti l'illusione di contatto con oggetti reali, e crea conflitto tra visione e sensazioni generate sulla mano.
Coordinamento dei muscoli della mano Ogni dito ha un numero elevato di muscoli. Anche quando muoviamo un singolo dito, il cervello deve mandare molti segnali a tanti muscoli per assicurare precisione nel movimento. Quando usiamo più dita il controllo è ancora più complesso! Per capire come il cervello controlla molti muscoli della mano, usiamo elettromiografia per registrare l attivita di cellule individuali o gruppi di cellule (unità motorie). muscolo 1 muscolo 2
Cinematica della mano: apprendimento e controllo del grasping Usiamo tecnologie di motion tracking per capire come il cervello controlla il movimento delle dita sia in fase di reach-to-grasp che durante la manipolazione. Lo studio della cinematica consente anche di capire come i soggetti apprendono nuovi task, e quanta informazione relativa ad un task già appreso possa essere trasferita nell'apprendimento di un nuovo task. 0-20 -40 0-60 50-80 40 20 0-20 -40 100
Quali sono le caratteristiche principali della mano? Adattabilità: capacità di un sistema di adattarsi a diverse circostanze Versatilità: capacità di svolgere diversi compiti in modo competente Complessità: la presenza di numerosi elementi coordinati in un sistema
Adattabilità
Versatilità
Complessità - I Il gran numero di ossa e giunti consente alle dita della mano di assumere numerose diverse posture. Inoltre ciascun giunto consente di muovere le dita intorno a più di un asse, incrementando quindi ulteriormente il numero di possibili movimenti delle dita. Struttura scheletrica {27 ossa 15 giunti}
Complessità - II Numerosi muscoli, alcuni dei quali attraversano più di un giunto Connessioni passive tra i tendini dei muscoli flessori ed estensori delle dita intrinsic muscles muscle architecture {35 muscles} extrinsic muscles L'architettura biomeccanica dei muscoli della mano limita l'indipendenza del movimento delle dita e delle forze da esse applicate Nel XIX secolo furono effettuate un numero elevato di operazioni chirurgiche in cui venivano recisi i tendini tra anulare e mignolo, nella speranza di creare migliori pianisti!
Complessità - III È stato dimostrato che le rappresentazioni dei muscoli delle dita si sovrappongono, e sono distribuite in tutta la corteccia motoria non sono organizzate come mostrato in questa figura!!! Inoltre, non c'è una corrispondenza 1:1 tra l'attività di un dato neurone e un movimento o una forza applicata dalle dita La pelle della mano contiene un gran numero di meccanorecettori, che possono essere classificati in base al tipo di stimolo a cui sono particolarmente sensibili. neural {large # of motor units and sensory receptors}
Controllo della mano: un problema complesso? Dato il numero elevato di elementi presenti nella mano (ossa, muscoli, recettori sensoriali), viene spontaneo chiedersi: come riesce il cervello a controllare la mano? L'anatomia della mano e l'organizzazione della corteccia motoria suggeriscono la prevalenza di un approccio sinergistico anziché indipendente nel movimento della mano. Molti studi hanno quantificato l'incapacità dei soggetti di compiere movimenti indipendenti delle dita o applicare forze con un solo dito in task quali digitare su tastiera, suonare il pianoforte e produzione di forze su dita singole. 1 Reviewed in Santello, Baud-Bovy, and Jorntell, Frontiers in Computational Neuroscience (2013)
Sinergie cinematiche nel grasping Abbiamo effettuato studi per capire in che modo gli angoli di giunto cambiano nel grasping immaginario di oggetti comuni con forma e dimensioni diverse. 1Santello, Flanders, and Soechting, Journal of Neuroscience (1998)
Poche sinergie spiegano un numero elevato di posture! Nonostante il numero di diverse posture sia elevato, tre soli pattern cinematici, denominati Componenti Principali (PC), possono essere utilizzati per spiegare il 70-80% della varianza nei dati. PC2 max PC1 min PC1 max PC2 min 1Santello, Flanders, and Soechting, Journal of Neuroscience (1998)
Un Ipotesi Il corpo della mano parla un linguaggio le cui parole sono le sinergie senso-motorie Per costruire sistemi artificiali che possano dialogare con la persona è necessario capire questo linguaggio
La forma delle sinergie Statistica su database di prese Due sinergie spiegano l 84%, le prime tre il 90% delle prese (1-st synergy) (2-nd synergy) (3-rd synergy)
Sinergie Rigide Solo la Prima Sinergia Presa di un oggetto
La Geometria delle Sinergie Forze interne: Non tutte le forze interne son controllabili indipendentemente agendo sulle articolazioni TH: L insieme delle forze interne controllabili è un sottospazio lineare di Principio dei Lavori Vrtuali quindi ovvero
La risposta: Soft Hands! sinergia rigida e mano interiore sinergie soft e mano di equilibrio
Piccolo Oggetto Rosso
Portacenere Grigio Ashtray
Mani per Robot
Sinergie via Software
THE First Hand
Sinergie Fisiche THE Second Hand a of Synergies G. Grioli, M. Catalano, E. Silvestro, S. Tono and A. Bicchi, Adaptive Synergies: an approach to the design of under-actuated robotic hands, in Intelligent Robots and Systems, 2012. IROS 2012. [subm]. Modular design Differential gear stages Compositional Design Toward Minimalism
Buona idea, ma
Un passo avanti
Ricominciamo dal principio ottimizzazione dei particolari
Soft Robotics Articolazioni e legamenti al posto di cuscinetti e ruote dentate
The Pisa-IIT Soft Hand
18 articolazioni antropomorfe Una sinergia soft, un motore
The PISA/IIT Soft Hand
Prove con oggetti diversi
Prove con oggetti diversi
Stesso oggetto, stessa mano, prese diverse
Telefoni
Bottiglie
Bottiglie al volo!
Maniglie
Sicurezza e robustezza
Un test di robustezza
Gentile ma forte
Spray
4000 italiani ogni anno hanno bisogno di una mano
Interfacce Umane per la Pisa-IIT SoftHand
The Pisa-IIT Soft Hand Human Interface
The Pisa-IIT Soft Hand Human Interface
Interfacce Corpo-Robot
Comando Mioelettrico per la Pisa/IIT SoftHand
What kids can do
Pisa-IIT SoftHand with EMG Control: Strong but Delicate
Master students Juan Laitano Nathan Gaw Neural Control of Movement Lab PhD students Daisuke Shibata Keivan Mojtahedi Patrick McGurrin PostDocs Pranav Parikh Alycia Gailey Qiushi Fu U.S.A. Collaboratori Europe ASU: P Artemiadis, J Kleim Univ Pisa/IIT: A Bicchi Columbia Univ: A Gordon, P Allen Univ College London: M Davare Harvard Univ: R Howe ETH, Zurich: O Lambercy, R Gassert Mayo Clinic: M Ross, C Terzic Univ Bielefeld: M Ernst Alliance for Person-Centered Accessible Technologies National Science Foundation IGERT Program Arizona State University http://apact-igert.org
CENTRO E. PIAGGIO UNIVERSITA DI PISA Grazie!