la robotica tra cultura scienza e tecnologia

Transcript

1 THE Hand Embodied semplice non è facile la robotica tra cultura scienza e tecnologia antonio bicchi e marco santello ISTITUTO ITALIANO DI TECNOLOGIA CENTRO E. PIAGGIO UNIVERSITA DI PISA

2 Centro di Ricerca E. Piaggio CENTRO E. PIAGGIO UNIVERSITA DI PISA Un ambiente multidisciplinare per la ricerca in robotica e bioingegneria nella Università di Pisa

3 Pisa Università di Pisa Fondata ,000 Studenti 10,000 Studenti nella Scuola di Ingegneria Il Sistema Universitario di Pisa Tre Università Università di Pisa Scuola Normale Superiore Scuola Superiore S. Anna Laurea e Laurea Magistrale a comune (@UdP) Extra curriculum per migliori studenti (SNS & SSSA) Scuole di Dottorato e Perfezionamento Indipendenti Ricerca Independente

4 Robotics in Natural Environments Robots and Smart Cities Disaster Monitoring and Recovery Marine Surveys CENTRO E. PIAGGIO UNIVERSITA DI PISA Marine Archaeology Advanced Education Industrial Logistics

5 Natural Environments PLAtform for the deployment and operation of heterogeneous NETworked cooperating objects Disaster Monitoring and Recovery RECSY S Smart Cities RUNES Marine Surveys Marine Archaeology Advanced Education Industrial Logistics

6 The Material World The Material World The Mental World The Mental World The Virtual World CENTRO E. PIAGGIO UNIVERSITA DI PISA The Body World

7 The Material World The Mental World

8 F. Carpi, D. De Rossi, et al. Centro E. Piaggio, Pisa Video-capsule a guida magnetica per endoscopia gastrointestinale

9 Robot Emozionali FACE (Face Automaton for Conveying Emotions) volto automatico realizzato in Frubber - polimero siliconico che replica le proprietà meccaniche e l aspetto della pelle umana bio-compatibile e robusta, può essere toccata direttamente 32 mini servo-muscoli ne muovono I tratti in modo anatomicamente corretto FACE replica espressioni umane ed è usato come mediatore emozionale Picture by Enzo Cei D. Mazzei, D. De Rossi, Centro Piaggio, Pisa

10 Soft Robotics & Natural Motion Robot Safety Haptics Hazardous Environments Hands

11 I futuri robot, fuori dalle fabbriche: forti ma delicati Aiuto nei compiti pesanti Applicazioni Domestiche (domotica) Intrattenimento Assistenza Riabilitazione NASA-JPL SARCOS The Lokomat by Hocoma

12

13 sicurezza prima di tutto

14 altre differenze motori e muscoli

15 machine intelligence Ieri: Puma (1960s) Motorola 68K 8 MHz 160 Kflops Oggi: smartphones Snapdragon S4 1.5 GHz 6.4 Gflops (x )

16 machine motion Ieri: Puma (1960s) Servomotori Oggi Servomotori

17 da motori a muscoli per robot Servomotori Attuatori con Elasticità in Serie (SEA) Attuatori a Cedevolezza Variabile (VSA)

18 muscoli per robot (VSA): una tecnologia nata in Italia Soft Arm: 2000 VSA I: 2003 QBots: TODAY VSA II: 2008 VSA HD: 2010

19 Istituto Italiano di Tecnologia Creato dai Ministeri di Istruzione Università e Ricerca Economia e Finanza ISTITUTO ITALIANO DI TECNOLOGIA Istituto di Ricerca non un Università Obiettivi Creazione e disseminazione di conoscenze scientiifiche Promozione delle eccellenze di ricerca Sviluppo economico Tecnologia Avanzata Robotica Neuroscienze Bionanotecnologie

20 IIT Istituto Italiano di Tecnologia 24

21 Virus Insect Horse Antibody Bacteria Dog Human Chemistry Biochemistry New Materials, Nanotech and Sensors New Actuators, Motors, Sensor Networks Pharmacology Life sciences D4, EHS Material Science Nanotechnologies Smart Materials, Energy Energy Cognition, Learning Artificial Intelligence Neuroscience, Robotics, Computation L IIT si propone di creare un ecosistema di tecnologie che siano dentro, fuori e vicino all uomo. Attraverso le sue piattaforme, IIT sviluppa a livello nano micrometrico particelle per la cura, la terapia e la diagnosi delle malattie (dentro l uomo), per l analisi ambientale (fuori dall uomo) mentre con dimensioni crescenti sviluppa strutture artificiali per lo svolgimento di compiti specifici a supporto e sostituzione dell uomo (vicino all uomo) ad esempio esoscheletri e robot umanoidi.

22 IIT Le attività si concentrano sullo sviluppo di una robotica umanoide e bioispirata. Alcuni esempi sono: i microrobots che imitano il movimento dei protozoi, il robot quadrupede HyQ, i robot umanoidi icub e COMAN Si studiano l interfaccia uomo - macchina, gli algoritmi per teleoperazioni e i sistemi per l apprendimento automatico dei robot.

23 IIT-ADVR COMAN - COmpliant humanoid

24 muscoli per robot (VSA): una tecnologia in rapida espansione QBots: TODAY

25 muscoli per robot (VSA): una tecnologia in rapida espansione No. of patents + papers published 1997 IEE Xplore Search: active compliance OR adjustable compliance OR adjustable damping OR compliance controller OR compliant actuation OR compliant actuator OR compliant control OR compliant controller OR elastic actuation OR elastic transmission OR flexible actuation, flexible actuators OR impedance control OR impedance controller OR joint impedance OR joint stiffness OR soft robotics OR soft robot OR soft robotics OR stiffness control OR stiffness controller OR variable damping OR variable compliance OR variable stiffness actuator.

26 applicazioni per VSA d

27 applicazioni per VSA Forse ci sono altre cose più utili che i ricercatori non sanno! Idea: affidiamo l esplorazione all entusiasmo e intelligenza degli appassionati (crowdsource it!)

28 prendere l iniziativa Problemi Tempo Know-how Diffusione Costo Soluzioni Basso costo Modularità Accesso pubblico Utilizzo semplice Discussione aperta Partecipazione piattaforma Full Open SW Electronics HW Mechanical HW

29 an open initiative to foster the diffusion of soft actuation in robotics OPEN paradigm BSD & Creative Commons licensing leads to the fast diffusion of the technology best choice for developers create a community to get support and feedback examples Linux I-Cub Arduino

30 Soft Robots for Makers

31

32

33 Reflex Control of Grasping Follow and Reconstruct Shape Clips da un videotape del 1989 Measure Friction Coefficients Detect Objects by Texture

34 Motor box Bowden Cables

35 altre mani

36 semplice non è facile

37 Arizona State University è l università pubblica più grande degli Stati Uniti 76,000 studenti 16 Facoltà 4 campus Spese annuali di ricerca: $400,000,000 ASU è 73 rd nel mondo 46 th tra tutte le università negli U.S.A. 25 th tra le università pubbliche negli U.S.A. 5 th negli U.S.A. per laureati piu qualificati (Wall Street J.) Una delle università migliori per rapporto qualità:costo (Forbes magazine, 2012)

38 biomedical engineering computer engineering computer science computer systems engineering engineering management industrial engineering Informatics School of Arts, Media and Engineering in association with Herberger Institute for Design and the Arts School of Earth and Space Exploration in association with the College of Liberal Arts and Sciences School of SUSTAINABILITY Transdisciplinary Partners The Biodesign Institute Global Institute of Sustainability Security AND Defense Systems Initiative computer engineering electrical engineering IRA A. FULTON SCHOOLS OF ENGINEERING aerospace engineering chemical engineering materials science and engineering mechanical engineering solar energy engineering and commercialization civil, environmental and sustainable engineering construction engineering construction management engineering.asu.edu

39 Neural Engineering and Neurorehabilitation Molecular, Cellular, and Tissue Bioengineering Biomedical Imaging Synthetic Biology Biosensors T1-wt CSS image Air 30 min O2 30 min air IRA A. FULTON SCHOOLS OF ENGINEERING engineering.asu.edu

40 Neural Control of Movement Laboratory Marco Santello L'obiettivo della mia ricerca è capire i meccanismi sensomotori responsabili del controllo della mano. Le tecniche sperimentali in uso nell'ncml includono elettromiografia, realtà virtuale e misure relative alla cinematica e cinetica della mano. Possibili applicazioni: Neuroprotesi Robotica Riabilitazione della mano IRA A. FULTON SCHOOLS OF ENGINEERING engineering.asu.edu

41 La mano La mano ha un ruolo fondamentale nello sviluppo sensomotorio Il sistema sensoriale incorporato nella mano consente di estrarre informazioni dettagliate riguardo all'ambiente con cui interagiamo Il sistema motorio della mano ha una versatilità unica, che consente di controllare in maniera precisa un vasto repertorio di movimenti

42 La mano ha un ruolo fondamentale nelle nostre attività quotidiane Capire meglio come il cervello controlla la mano ha quindi un impatto immediato su applicazioni cliniche, ad esempio: 0 sviluppo di protesi per mano creare e valutare l'efficacia di approcci innovativi per la riabilitazione delle funzioni sensomotorie della mano Mediante la comprensione dei meccanismi alla base del controllo neurale della mano, la nostra ricerca si propone di colmare il varco tra ricerca e applicazioni cliniche.

43 Reverse engineering del controllo sensomotorio della mano Rappresentazione ad alto livello delle proprietà dell'oggetto e del task Apprendimento del task Coordinamento dell attivita muscolare Ambiente virtuale Psicofisica Coordinamento di forze e posizioni delle punte delle dita

44 Stimolazione magnetica transcraniale Per capire come il cervello controlla la mano, stimoliamo la porzione responsabile del controllo dei muscoli della mano (corteccia motoria), al fine di verificarne la sensibilità o individuare lesioni virtuali. Setup TMS (single-pulse) TMS single pulse, paired pulse e ripetuta Scatola con informazioni visive Test object Elettrodi EMG Bobina TMS Collaborazione con Marco Davare, Univ. College London, e Jeffrey Kleim, Arizona State University.

45 Manipolazione in ambiente virtuale Nei task di grasping quotidiani le informazioni fornite da visione e sensazione di contatto coincidono sempre. Usiamo un ambiente di realtà virtuale in cui un attuatore robotico fornisce ai soggetti l'illusione di contatto con oggetti reali, e crea conflitto tra visione e sensazioni generate sulla mano.

46 Coordinamento dei muscoli della mano Ogni dito ha un numero elevato di muscoli. Anche quando muoviamo un singolo dito, il cervello deve mandare molti segnali a tanti muscoli per assicurare precisione nel movimento. Quando usiamo più dita il controllo è ancora più complesso! Per capire come il cervello controlla molti muscoli della mano, usiamo elettromiografia per registrare l attivita di cellule individuali o gruppi di cellule (unità motorie). muscolo 1 muscolo 2

47 Cinematica della mano: apprendimento e controllo del grasping Usiamo tecnologie di motion tracking per capire come il cervello controlla il movimento delle dita sia in fase di reach-to-grasp che durante la manipolazione. Lo studio della cinematica consente anche di capire come i soggetti apprendono nuovi task, e quanta informazione relativa ad un task già appreso possa essere trasferita nell'apprendimento di un nuovo task

48 Quali sono le caratteristiche principali della mano? Adattabilità: capacità di un sistema di adattarsi a diverse circostanze Versatilità: capacità di svolgere diversi compiti in modo competente Complessità: la presenza di numerosi elementi coordinati in un sistema

49 Adattabilità

50 Versatilità

51 Complessità - I Il gran numero di ossa e giunti consente alle dita della mano di assumere numerose diverse posture. Inoltre ciascun giunto consente di muovere le dita intorno a più di un asse, incrementando quindi ulteriormente il numero di possibili movimenti delle dita. Struttura scheletrica {27 ossa 15 giunti}

52 Complessità - II Numerosi muscoli, alcuni dei quali attraversano più di un giunto Connessioni passive tra i tendini dei muscoli flessori ed estensori delle dita intrinsic muscles muscle architecture {35 muscles} extrinsic muscles L'architettura biomeccanica dei muscoli della mano limita l'indipendenza del movimento delle dita e delle forze da esse applicate Nel XIX secolo furono effettuate un numero elevato di operazioni chirurgiche in cui venivano recisi i tendini tra anulare e mignolo, nella speranza di creare migliori pianisti!

53 Complessità - III È stato dimostrato che le rappresentazioni dei muscoli delle dita si sovrappongono, e sono distribuite in tutta la corteccia motoria non sono organizzate come mostrato in questa figura!!! Inoltre, non c'è una corrispondenza 1:1 tra l'attività di un dato neurone e un movimento o una forza applicata dalle dita La pelle della mano contiene un gran numero di meccanorecettori, che possono essere classificati in base al tipo di stimolo a cui sono particolarmente sensibili. neural {large # of motor units and sensory receptors}

54 Controllo della mano: un problema complesso? Dato il numero elevato di elementi presenti nella mano (ossa, muscoli, recettori sensoriali), viene spontaneo chiedersi: come riesce il cervello a controllare la mano? L'anatomia della mano e l'organizzazione della corteccia motoria suggeriscono la prevalenza di un approccio sinergistico anziché indipendente nel movimento della mano. Molti studi hanno quantificato l'incapacità dei soggetti di compiere movimenti indipendenti delle dita o applicare forze con un solo dito in task quali digitare su tastiera, suonare il pianoforte e produzione di forze su dita singole. 1 Reviewed in Santello, Baud-Bovy, and Jorntell, Frontiers in Computational Neuroscience (2013)

55 Sinergie cinematiche nel grasping Abbiamo effettuato studi per capire in che modo gli angoli di giunto cambiano nel grasping immaginario di oggetti comuni con forma e dimensioni diverse. 1Santello, Flanders, and Soechting, Journal of Neuroscience (1998)

56 Poche sinergie spiegano un numero elevato di posture! Nonostante il numero di diverse posture sia elevato, tre soli pattern cinematici, denominati Componenti Principali (PC), possono essere utilizzati per spiegare il 70-80% della varianza nei dati. PC2 max PC1 min PC1 max PC2 min 1Santello, Flanders, and Soechting, Journal of Neuroscience (1998)

57 Un Ipotesi Il corpo della mano parla un linguaggio le cui parole sono le sinergie senso-motorie Per costruire sistemi artificiali che possano dialogare con la persona è necessario capire questo linguaggio

58

59 La forma delle sinergie Statistica su database di prese Due sinergie spiegano l 84%, le prime tre il 90% delle prese (1-st synergy) (2-nd synergy) (3-rd synergy)

60 Sinergie Rigide Solo la Prima Sinergia Presa di un oggetto

61 La Geometria delle Sinergie Forze interne: Non tutte le forze interne son controllabili indipendentemente agendo sulle articolazioni TH: L insieme delle forze interne controllabili è un sottospazio lineare di Principio dei Lavori Vrtuali quindi ovvero

62 La risposta: Soft Hands! sinergia rigida e mano interiore sinergie soft e mano di equilibrio

63 Piccolo Oggetto Rosso

64 Portacenere Grigio Ashtray

65 Mani per Robot

66 Sinergie via Software

67 THE First Hand

68 Sinergie Fisiche THE Second Hand a of Synergies G. Grioli, M. Catalano, E. Silvestro, S. Tono and A. Bicchi, Adaptive Synergies: an approach to the design of under-actuated robotic hands, in Intelligent Robots and Systems, IROS [subm]. Modular design Differential gear stages Compositional Design Toward Minimalism

69 Buona idea, ma

70 Un passo avanti

71 Ricominciamo dal principio ottimizzazione dei particolari

72 Soft Robotics Articolazioni e legamenti al posto di cuscinetti e ruote dentate

73 The Pisa-IIT Soft Hand

74 18 articolazioni antropomorfe Una sinergia soft, un motore

75 The PISA/IIT Soft Hand

76 Prove con oggetti diversi

77 Prove con oggetti diversi

78 Stesso oggetto, stessa mano, prese diverse

79 Telefoni

80 Bottiglie

81 Bottiglie al volo!

82 Maniglie

83 Sicurezza e robustezza

84 Un test di robustezza

85 Gentile ma forte

86 Spray

87 4000 italiani ogni anno hanno bisogno di una mano

88 Interfacce Umane per la Pisa-IIT SoftHand

89 The Pisa-IIT Soft Hand Human Interface

90 The Pisa-IIT Soft Hand Human Interface

91 Interfacce Corpo-Robot

92

93

94

95

96

97 Comando Mioelettrico per la Pisa/IIT SoftHand

98 What kids can do

99 Pisa-IIT SoftHand with EMG Control: Strong but Delicate

100 Master students Juan Laitano Nathan Gaw Neural Control of Movement Lab PhD students Daisuke Shibata Keivan Mojtahedi Patrick McGurrin PostDocs Pranav Parikh Alycia Gailey Qiushi Fu U.S.A. Collaboratori Europe ASU: P Artemiadis, J Kleim Univ Pisa/IIT: A Bicchi Columbia Univ: A Gordon, P Allen Univ College London: M Davare Harvard Univ: R Howe ETH, Zurich: O Lambercy, R Gassert Mayo Clinic: M Ross, C Terzic Univ Bielefeld: M Ernst Alliance for Person-Centered Accessible Technologies National Science Foundation IGERT Program Arizona State University

101 CENTRO E. PIAGGIO UNIVERSITA DI PISA Grazie!