dalla robotica alla realtà virtuale: le tecnologie per l'interazione avanzata uomo-macchina

7/24/2019 Dalla Robotica alla realt virtuale: le tecnologie per l'interazione avanzata uomo-macchina

1/34

1

Dalla Robotica alla realt virtuale: le tecnologieper l'interazione avanzata uomo-macchina

Prof. Antonio FrisoliPERCRO, TeCIP Institute, Scuola Superiore SantAnna

Levoluzione delle tecnologie robotiche

Ma i robots, sono sempre pi presenti negli ambienti di vita quotidiana ed acontatto con luomo, richiedendo quindi levoluzione verso tecnologierobotiche in grado di percepire e di interagire con luomo in modo sicuro.

Il progresso delle tecnologie di interazione uomo-computer (HCI) ha fatto sche anche i paradigmi di interazione innovativi siano sempre di pi allaportata di un grande numero di persone (Nintendo 3DS, Kinect)

The RUR robot cos come appare in un film tratto dallopera di Karel Capek's

Rossum. Circa 1930's.

La parola ROBOT ha origine da una parola ceca robotache significa lavoro forzato. Per la prima volta fu introdottanel 1921 dallo scrittore ceco lo scrittore ceco Karel Capeckin R.U.R., commedia, nella quale le macchine sono capacidi passioni, e prese da impeto vendicativo, le macchine,liberate, perseguono i loro carcerieri punendoli per leumiliazioni subite.

EMIEW2Hitachi Ja an

JUSTINDLR (Germany)


2/34

2

toria robotica

Alcuni robots famosio PUMA (Programmable Universal Machine for

Assembly) 78

o SCARA (Selective Compliant Articulated RobotAssembly) 79

Anni80: miglioramento della performance:feedback control and design; I bracci roboticidiventano pi flessibili. Robot a cinematica parallela

Anni90: Robot autonomi mobili, robot controllati da

sistemi di visione, walking robots, surgical robotics

Esempio robot industriale COMAU

Smart NH1-2.6


3/34

3

Levoluzione della robotica a partire dalla nascita

1951 Primiesperimentiditeleoperazione

1961

FoundationofUnimationand firstproductionof PUMArobot

80 Robotsusati semprepi nellaproduzione

industriale

90Introduzionedi nuovearchitetturedi robots

2000- Lenuovegenerazionidi robots

Dal Personal Computer al Personal Robot?

Lintroduzione negli anni 70 del concetto dipersonal computer ha radicalmentecambiato il modo di intendere luso del pc edeterminato unevoluzione tecnologicasenza precedenti

Verso robots indossabili e cheinteragiscono con luomo

Il robot interagisce con luomo su duelivellio _cHRI: [Cognitive Human-Robot

Interaction], riguarda la comunicazionetra uomo e robot attraverso I caniali dicomunicazione disponibili (displaysvideo, suoni, movimento, linguaggioparlato, espressione facciale, direzionedello sguardo)

o _pHRI: [Physical Human RobotInteraction], robots si distinguono daicomputers perch realizzanofisicamente un legame tra azione epercezione. Nella Interazione fisica irobots condividono lo stesso spazoidelluomo e sono addirittura in contattofisico.

Dal robot industriale

verso

il personal robot

Il personal robot sempre con te,coopera nei compiti,ti assiste, ti aiuta,ti fa compagnia

Korean museum guide

Technical University of Munich

HRP4 and HAL from Japan

NH1, il robot COMAU per le linee di montaggio


4/34

4

Aumento della prestazione mediante sistemi

robotici: the X-Man Paradigm

E possibili aumentare le proprie prestazioni fisicheattraverso lutilizzo di sistemi robotici?

Tre campi applicativio Applicazioni labor-intensive o di aumentazione delle

capacit umaneo Sporto Disabilit

Fin dagli anni 60, la GeneralElectrics insegu questo sognocercando per prima di realizzare unavera e propria armatura roboticaindossabile, Hardiman.

Ma nellera dellelettronica analogica itempi non erano ancora maturi pergarantire la sicurezza e la capacit difunzionamento ed il progetto fuabbandonato senza successo.

Si pu indossare un robot?

Qual il massimo grado diintegrazione e cooperazioneche un uomo ed un robotpossono realizzare?

o Robot indossabili per

Potenziamento delle capacitcorporee (Body Augmentation)

Recupero delle capacitmotorie

From fiction.

to real word

ROBOTINDUSTRIALE

TRADIZIONALE

Robots

indossabili dinuova

generazione


5/34

5

Una societ che invecchia

Inoltre nei Paesi a sviluppo avanzato linvecchiamento della popolazione conduce ad unincremento della popolazione anziana, e.g. nella sola Italia ci si aspetta che nel 2030 un italianosu tre avr unet superiore ai 65anni, per cui come da un recente rapporto dellOMSinvecchiare un privilegio e una meta della societ che costituisce anche una sfida con unimpatto su tutti gli aspetti della societ del XXI secolo.

In questo caso la tecnologia robotica viene in aiuto. Diverse patologieneuromuscolari sono associate allinvecchiamento, portando nel tempo adun decadimento delle funzioni motorie. I robots riabilitativi possono fornireun valido aiuto, in termini assistenziali e di riabilitazione.

Population under 20

Population over 65

Population over 80

Una storia di successo: il sistema ReWalk

Linventore di questo innovativo sistema era uningegnere meccanico israeliano dr. Amit Gofferche perse luso delle gambe in un incidenteautomobilitistico.

Frustrato dalle limitazione dellessere seduto incarrozzina, decide di mettere a punto dellegambe robotiche indossabili che gliconsentissero di stare in piedi e di potercamminare, per poter finalmente rivedere la vitadallo stesso punto di vista degli altri. Il sistemautilizza sensori di movimento per decodificare imovimento di chi lo indossa e tradurli in

spostamenti per le gambe.

E recente linizio della sperimentazione delsistema ReWalk in Italia presso la clinilca VillaBeretta (Agosto 2012) e presso Centro ProtesiInail (Ottobre 2012)

Ma quali sono i challenges:o Autonomiao Usabilit, versatiito Possibilit di utilizzare strategie semplici di

contrololo


6/34

6

BCI per la riabilitazione motoria-cognitiva

Feedback forsubject training

Machine

learning

Nella riabilitazione dopo eventi di ischemiacerebrale (stroke) stiamo sperimentandolutilizzo di interfacce uomo-cervello percomandare robots (Brain ComputerInterfaces).In questo modo si vuole stimolare lariattivazione di quei circuiti cerebralidanneggiati dalla malattia.

Users learn to performmotor imagery tasks to modulatemu and beta EEG power over the

motor cortex

The activity the subject is expected tomodulate may be homologous to that which

has to be rehabilitated (e.g. handclosing/opening)

EEG BCI based on Motor Imagery


7/34

7

Controllo BCI di un robot @ SSSA

Alla ricerca del potenziamento corporeonegli Stati Uniti

La Sarcos, su commissionedellagenzia di ricercastatunitense DARPA, harealizzato questo eoscheletroidraulico con tecnologia idraulica,per il potenziamento corporeo.

Il sistema fa uso di sensoridelocalizzati nella imbracaturaindossa che consentono al robot

di intuire le intenzionidelloperatore per assecondarlonelle manovre.

Questi sistemi consentono anchedi alleviare la fatica fisica neltrasporto di carichi pesanti erichiedono che loperatore abbia


8/34

8

Verso gli scenari di automazione

Dal Giappone agli Stati Uniti

Mentre in Giappone si sviluppa il T52 perle operazioni in caso di disastriambientali, negli stati uniti la Sarcossviluppa Big Arm: sistema idraulicoteleoperato dalloperatore posto incondizioni di sicurezza.

Power augmentation @ SSSA / Italy

Caratteristiche del sistema BodyExtendero Un sistema esoschetrico per tutto il corpo

che consente lamplificazione della forzao 22 unit di attuazione distribuite con 20 unit

di controllo che presiedono alla loro gestioneo Capacit di sviluppare forza fino a 10 volte le

capacit umane, per consentire ad unoperatore di sollevare un carico fino a 100 Kgcon due mani


9/34

9

Il dietro le quinte dello sviluppo tecnologico:open challenges

Sviluppo di algoritmi chesiano in grado di garantirela stabilit dellinterazione,anche in condizioni diimprevedibilit delcomportamento delluomo

Simbiosi che si realizza tra uomoe macchina: la macchina deveessere in grado di decodificare leintenzioni di movimentodelloperatore ed assecondarle.

Il sistema deve comportarsi inmodo trasparente, nonostante ilpeso (si pensi come esempio aiservosterzi delle autovetture)

pHRI

pHRI robots will be designed tocoexist and cooperate with humans inapplications such aso assisted industrial manipulationo collaborative assemblyo domestic worko entertainment

o rehabilitationo medical applications.

Bicchi, Colgate et al 2007Safety for human robot interaction, Handbook of Robotics


10/34

10

Safety

Injury indicators used in the automobile industry whichfor the head usually focus on its acceleration.

The most prominent measure in the literature is theHead Injury Criterion (HIC) [10], defined as, where Xhis the acceleration of human head to be measured in g

Haddadin,2008 IROS

Understanding safety

Manipulator safety is dependent on a manipulators mechanical, electrical,and software design characteristics. However, the biggest danger presentwhen working in close proximity with robotic manipulators is the potential forlarge impact loads resulting from the large effective inertia (or more generallyeffective impedance) of many robotic manipulators

To evaluate the potential for serious injury due to impact we can make use ofan empirical formula developed by the automotive industry to correlate headacceleration to injury severity known as the head injury criteria (HIC).

A simple two-degrees-of-freedom (2-DOF) massspring model can be used

to predict head accelerations that would occur during an uncontrolled impact.In combination with the HIC index, the predicted accelerations are used toestimate the likelihood of serious injury occurring during an impact betweena robotic manipulator and a human.

For the PUMA 560, an impact velocity of one meter per second produces amaximum HIC greater than 500, more than enough to cause injury

Zinn, Salisbury et al. ICRA and IJJR 2004A new actuator approach for human friendly robot design


11/34

11

[Biomechanics] Variable stiffness actuators

VSA-II implements a simple antagonistic arrangement, being less complex in parametersoptimization.

The aim of the transmission system is to get a non linear torque-displacementcharacteristic between the input torque applied by the motors and the angular deflection ofthe joint shaft.

Biologicallyinspired robots

Human MotionReconstruction

Humanoid robotsNon conventionalactuators

Robot hands

VSA2- Bicchi et al ICRA 2010

Verso attuatori di nuova generazione


12/34

12

Come funziona limpatto

I metodi di calcolo numerici

Lanalisi agli elementi finiti parte dal presupposto didividere un corpo strutturalmente in parti pi semplici,chiamate elementi, di modo che le equazioni diequilibrio possano essere scritte per ciascuno di questielementi in modo semplificato

In casi statici le equazioni di equilibrio sono lineari ed

assumono una forma matriciale


13/34

13

La soluzione di problemi di dinamica

Limpatto un classico esempio diproblema con un transiente dinamico

In questo caso le equazioni da risolveresono equazioni matriciale differenziali delsecondo ordine

Esistono dei metodi di integrazione numerica che consentonodi calcolare per passi la soluzione esatta del problema

In questo punto si prevede che sisvilupper la massima tensione e

quindi la rottura


14/34

14

Altro esempio di analisi agli elementi finiti

Il modello di un edificio a due piani

Supponiamo di effettuare una verifica statica sottogli effetti del peso proprio e di una pressione disuperficie


15/34

15

Simulazione strutturale di un edifico a due piani

Un robot come coach sportivo: lo SPRINTRowing Demonstrator del PERCRO

ConceptIdea

Platform Design

Immersive Solution

Training Solution

MBMB


16/34

16

I sistemi robotici possono essere usati persimulare condizioni ambientali

Dalle acquisizioni inacqua su

imbarcazione

Alla simulazione consistemi integrati di

robotica ed ambientivirtuali

Force Feedback

Visual Feedback

Capturing

AudioFeedback

Vibrotactile

SPRINT Experience


17/34

17

Al centro del sistema di training latleta


18/34

18

Modello biomeccanico della prestazione

In questo modo diviene possibile costruire unmodello biomeccanico in tempo reale di quelle chesono le forze sviluppate ed i movimenti compiutidurante la voga

-600-400

-2000

200400

600800

-500

0

500

1000

1500

0

200

400

600

800

y

x

z

wristL

elbowL

wristR

elbowR

shoulderL

shoulderR

back

backlow

Il training sportivo della giocoliera

Apprendere la giocoliera unabilit sensomotoriaparticolarmente complessa

Le sequenze ed i vincoli temporali sonodescritti dal teroma di Shannon per lagiocoleria:

(F+D)H=(V+D)N

F tempo che la palla trascorre in ariaD tempo che la palla trascorre nella manoH numero di maniV tempo per cui una mano vuotaN Numero di mani


19/34

19

Il training sportivo della giocoliera

Un sistema robotico a due bracci stato addestrato per simulare le condizioni diaddestramento della giocoleria, consentendo di modificare le condizioni ambientali

3 ball cascade il patterns pi semplice da apprendere e richiede in media un tempo diapprendimento di 2.13 ore

Altri sistemi di training sportivo basati surobots

Dei cavi attuati sono in grado di trasmettere con precisionedelle forze in funzione dello scenario sportivo simulato.

Sensory-Motor Systems Laboratory dellETH di Zurigo


20/34

20

13 Novembre 2007

Potenziare lapprendimento in Ambienti Virtuali

Completamenteimmersivi

oCo-locati

Parzialmenteimmersivi

oNon-colocati

Rendering in ambienti virtuali altamente immersivi

ThemesNovel Software Architectures forCluster Rendering

Rendering Network protocols for graphicsrendering (including real-time compression)

Distributed scene-graphs

Load balancing strategies

VRMEdia, spin-off of the PERCRO labotoratory wins the

MindTheBridge competition


21/34

21

Sistemi CAVE


22/34

22

ROBOT AUTONOMI

I robots hanno sviluppato sempre pi capacit diautonomia che consenta loro di adattarsi allambiente edi apprendere in tempo reali comportamenti e strategie

ROBOTICA PERCETTIVA E MOBILE: verso robots con maggioricapacit percettive e di autonomia


23/34

23

SISTEMI DI CONTROLLO DEL MOVIMENTO

INTELLIGENTI

La navigazione autonoma basata su riconoscimento diostacoli mobili

ROBOTICA PROBABILISTICA


24/34

24

Case study #2:Controllo via EMG

Controllo via EMG demo #2


25/34

25

Controllo emg di una mano

The human motor controlparadigm


26/34

26

The Structure of Skeletal Muscle

Anatomykinematics

Mechanicalproperties

Motion controlSynergies

PhysiologyMovementanalysis

velocity

tension

lengthening shortening

muscle length

tension

Force production by a muscle is dependent on its length andvelocity.

Anatomykinematics




Mechanics of the neuromusculoskeletalsystem


27/34

27

The nervous system receives information on muscle length,velocity, and force.

golgi tendon organ

muscle spindle

Anatomykinematics




Mechanics of the neuromusculoskeletalsystem

Schema di funzionamento

EMG raw signalacquisition

Featureextraction

Robotcommand

Driver

Robot


28/34

28

Onda di depolarizzazione

La zona di depolarizzazione (1-3 mm quadrati) viaggia lungo la fibramuscolare con una velocit di 2-6 m/s

Raw EMG

Registrazione EMG relativa a 3 differenti contrazioni delmuscolo bicipite brachiale.


29/34

29

Raw EMG

Rumore di baseline:

Qualit degli amplificatori EMG Rumore circostante Qualit delle condizioni di rilevazione

Raw EMG

Ogni spike ha una forma e unampiezza unica


30/34

30

Raw EMG

Alcuni ordini di grandezza:

Rumore della baseline: 3-5 microvolt (buone condizioni) Range del segnale EMG raw: +/- 5000 microvolt (atleti)

Frequenza del segnale EMG: 6-500 Hz

Analisi della distribuzione in frequenza

La maggior parte del contenuto in frequenza del segnale postatra 10 e 250 Hz


31/34

31

Elaborazione del segnale - Rettificazione

SCOPO: eliminare la parte non riproducibile del segnale

Elaborazione del segnale Eliminazione degli artefatti


32/34

32

Elaborazione del segnale - Normalizzazione

Normalizzazione del segnale al valore medio o al valore di picco

Elaborazione del segnale Parametri di ampiezza


33/34

33

Conclusioni

Per far fronte alle nuove frontiere dellainnovazione tecnologica e della societ, necessario lo studio e la ricerca di nuovetecnologie di base e lo sviluppo di nuoveapplicazioni.

Ingegneri e tecnologi altamente motivati e ditalento, acting as leading innovators, conforte competenza sia specifica siamultidisciplinare (importanza cruciale della

formazione) sono indispensabili per farfronte alle sfide della ricerca e dellacompetitivit.

New robotic challenges?


34/34

Per

email:[email protected]

grazie!

Emanuele Ruffaldi

Grazie a:

dalla robotica alla realtà virtuale: le tecnologie per l'interazione avanzata uomo-macchina

Documents