Leap motionUne nouvelle forme d’interaction

✿✿✿✿ ʕ •ᴥ•ʔ/ ︻デ═一 Cette œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution 4.0 International. Version 5 - 05/2015

PY LAPERSONNE

@pylapp

{ingénieur développement mobile}

Au programme...

• Les “anciens” types d’interactions

• Le leap motion

• Les limites actuelles

• Démos !

3

Comment on faisait avant ?

Les “anciens” types d’interactions

5

On faisait tout à la main !

6

Un clavier et une souris

• 1ers périphériques d’interaction• saisie de mots via des boutons• click simple - double - long - molette

7

Un clavier et une meilleure souris

• combinaison de gestes sur une souris tactile

8

Des manettes classiques

• des boutons associés à des actions précises• parfois un ou plusieurs joysticks

9

Des manettes plus riches !

• écran tactile• accéléromètre et gyroscope• retour de couleurs• micro, caméra• NFC

10

Oui mais... les mains sont prises !

11

D’étranges caméras

• caméra, microphone• reconnaissance d’images et de mouvements• contrôle vocal

12

Un nouveau capteur : le Myo

• capteurs musculaires• détection des gestes (positions des doigts, ...)• détection des mouvements• retours haptiques

13

La leap motion !

Qu’est-ce que c’est ?

La leap motion

15

• Ses caractéristiques

○ taille de 3”○ 13 mm x 13 mm x 80 mm, 55 g○ reconnait les 10 doigts et plusieurs mains○ précision de 1/100 de mm○ fréquence de capture de 200 fps○ ~ 90 $

16

• Les besoins ressentis

○ libérer ses mains○ s’affranchir du clavier et de la souris○ ne pas s’encombrer○ profiter des interfaces Windows 8/10 et OS X○ avoir un aperçu des possibilités futures

Comment ça fonctionne ?

La leap motion

18

• Son fonctionnement

○ cube de reconnaissance 3D de 60 cm○ émission de rayons infrarouges○ ces rayons rebondissent et sont capturés

Que peut-on faire avec ?

La leap motion

20

• Naviguer dans une interface

21

• Interagir avec des objets

○ toucher○ déplacer○ frapper○ attraper

22

• D’autres périphériques intégrant la leap

○ l’Occulus DK2 pour de la réalité augmentée

23

• D’autres périphériques intégrant la leap

○ l’Occulus DK2 pour de la réalité augmentée

24

• D’autres périphériques intégrant la leap

○ un clavier de HP avec reconnaissance des gestes...

25

• D’autres périphériques intégrant la leap

○ ... et même un laptop de HP spécial !

Comment l’installer ?

La leap motion

27

• Philosophie KISS

1. On branche le capteur leap motion2. Les drivers s’installent automatiquement3. On récupère le package via le site officiel4. Et on profite du store :-)

29

Un produit parfait ?

Les limites

31

Les limites• pas de retours haptiques

○ difficile de distinguer survol / toucher○ difficile d’estimer sa force

• consommation des ressources○ CPU sollicité fortement

• store très peu fourni

• applications non x-platforms

• manipulations pas assez naturelles

• necessité de concevoir l’UI de son app en fonction

32

Les limites• penser son UI : les menus

33

Les limites• penser son UI : la navigation

✓ modéliser la main du joueur

✓ mettre en valeur l’élément pris

✓ intégrer des menus

bref.

Conclusion

35

• pas vocation à remplacer le clavier et la souris○ ... pour l’instant

• des bons points...○ gestion fine des doigts et des mains○ périphérique très discret○ peu d’encombrement○ couplage avec les interfaces type Metro○ prix attractif

• mais...

○ tributaire de la lumière ambiante○ consommation CPU importante○ fatigue ressentie dans les bras

Démos !

37

Démos !

• Leap Motion Visualizer

• Leap Motion App Home○ Cut the Rope○ Robot Chess○ Form and Function○ Virtual Piano

• Unity

Merci !

• Quelques liens sympathiques

○ Le site officiel➢https://www.leapmotion.com/

○ Le site pour les devs➢https://developer.leapmotion.com/

○ Le store➢https://apps.leapmotion.com/

○ Une vidéo d’intégration VR➢https://youtu.be/3ATQG9mnm34

○ Test complet sur Clubic➢http://www.clubic.com/technologies-d-avenir/article-575170-1-leap-motion-test.html

○ Le Myo➢https://www.thalmic.com/en/myo/

• Quelques liens sympathiques

○ Le très réussi Hackathon 2015 de l’ENSSAT➢http://hackathon.management.enssat.fr/

○ Une belle édition 2015 du Fest4Game de l’ENSSAT➢http://fest4game.bde.enssat.fr/

○ L’ENSSAT➢http://www.enssat.fr/