Interfaces multimodales et

géomatique : état des lieux

Frédéric Hubert, Ph.D.

Département des sciences géomatiques

Université Laval

Géomatique 2009

21 octobre 2009

Plan de la présentation

• Contexte actuel

• Les modes de communication

• Les interfaces multimodales par l’exemple

• Les interfaces multimodales géospatiales

• Open source et normes

• Intérêts de recherche

Aujourd’hui …

• La façon la plus commune pour interagir avec des systèmes

informatisés se concentre sur l’usage exclusif de :

Écran

Clavier

Souris

Aujourd’hui …

• Engouement pour des nouvelles technologies (matérielles)

offertes au grand public

– Téléphones intelligents

HTC Diamond

Apple iPhone

T-Mobile G1

Aujourd’hui …

• Engouement pour des nouvelles technologies (matérielles)

offertes au grand public

– Téléphones intelligents

– Nintendo Wii

Source: www.driver-dimension.com

Aujourd’hui …

• Engouement pour des nouvelles technologies (matérielles)

offertes au grand public

– Téléphones intelligents

– Nintendo Wii

– GPS mobile / embarqué

Ce ne sont pas juste des gadgets !

En arrière de ces technologies …

des modes de communication

• Les cinq sens comme point

de départ

• + des formes d’interaction :

– Geste

– Parole

• Modes de communication :

• visuel

• sonore

• tactile

• gestuel

• olfactif (?)

• gustatif (?)

• cérébral (?)

• Types de modes

• en entrée (saisie)

• et en sortie (restitution)

Les modes de communication :

Le mode visuel & composants

• Les écrans (sortie)

• Les vidéoprojecteurs (sortie)

• Lunettes Réalité Virtuelles (sortie)

• ~ Eye Tracking (entrée)

Les modes de communication :

Le mode sonore & composants

• Hauts-parleurs, casques (sortie)

• Microphone (entrée)

Les modes de communication :

Le mode tactile & composants

• Clavier (entrée)

• Manettes, volant (entrée et sortie)

• Écrans tactiles (entrée et sortie)

HP TouchSmart

Les modes de communication :

Le mode gestuel & composants

• Capture du mouvement du corps ou

du visage

– Souris, Caméra (entrée)

– Wiimote (entrée et sortie),

– Wii Balance Board (entrée)

– Gants haptiques (entrée)

Les modes de communication :

Les modes olfactif et gustatif

MicroScent

Food simulator

Les interfaces multimodales

• Usage simultanée ou alternée de modes ou modalités de

communication entre l’homme et la machine afin de :

– Rendre plus intuitive l’interaction et l’expression pour l’humain,

– Diminuer l’ambiguïté liée à l’usage de certaines modalités de

communication (ex. la parole),

– Offrir un support pour les personnes ayant des déficiences.

• Intérêts :

Augmenter et améliorer l’utilisabilité et l’accessibilité des

systèmes informatisés.

Interaction adaptable, flexible, coopérative et plus naturelle

Technologies de plus en plus matures

Les interfaces multimodales :

Architecture simplifiée

Fusion

Fission

Serveurs

de données

Les interfaces multimodales :

Multi-modalité en entrée (1/2)

• Usage courant d’un écran, un clavier et une souris.

• Exemple : Ouvrir le gestionnaire des tâches de Windows

• Deux modes de communication

offerts pour réaliser la même chose :

– Souris

– Clavier

Les interfaces multimodales :

Multi-modalité en entrée (2/2)

• Usage d’un microphone

avec un écran tactile.

• Deux informations distinctes qui se

complètent (quasiment) en même temps

par :

1. parole avec microphone

2. pointer avec écran tactile

Fusion des deux informations

Les interfaces multimodales :

Multi-modalité en sortie

• Exemple : Réception d’un appel sur un téléphone cellulaire.

• On peut alors recevoir la même information en même temps

(simultané) par :

– Sonnerie du téléphone (mode sonore)

– Affichage sur l’écran d’un nouvel appel (mode visuel)

– Vibration du téléphone (mode tactile)

Fission simultané ou non

Les interfaces multimodales :

Exemple … le plus ancien

Le simulateur Sensorama

Cinéma immersif

datant des années 60 avec :

- projecteur d’images

stéréoscopiques

- son

- Air soufflé avec odeurs

(pizzas, jasmin, …)

- siège vibrant

Les interfaces multimodales :

Exemple … Apple iPhone

Écran

tactile

Microphone

Caméra

Boutons

Écran

Haut-parleur

Vibration

Source: www.driver-dimension.com

Les interfaces multimodales :

Exemple … afficheur interactif portable

Les interfaces multimodales

géospatiales

• Une définition :

« Les interfaces multimodales géospatiales sont des

solutions d’interfaces homme-machine qui visent à combiner,

de manière simultanée ou alternée, des modes de

communication impliquant l’usage, direct ou indirect, de

l’information géographique dans le but d’améliorer

l’utilisabilité et l’accessibilité des données géospatiales au

travers de systèmes informatisés. »

• GeoMMI : Geospatial MultiModal Interface

GeoMMI - Le plus connu

• Les GPS mobile/embarqués dans les voitures

– Microphone (entrée)

– écran tactile (entrée/sortie)

– Haut-parleurs (sortie)

• Pour saisir une information de

destination, il est possible

d’utiliser :

– Commande vocale

– Ou écran tactile

• La restitution d’informations : visuelle et/ou sonore

GeoMMI – Vieille interface

• Une des plus anciennes interfaces multimodales

géospatiales

– Caméra

– Microphone

– Écran

Système « Put-that-there » de Bolt, 1980

GeoMMI - Edward Tse, Ph.D.

• Utilisation de microphones, caméras,

vidéoprojecteur, souris

– Geste et parole

http://edwardhtse.googlepages.com/areasofcreativity

GeoMMI – Interfaces tactiles

• Microsoft Surface– http://www.microsoft.com/surface/

GeoMMI – Perspective Pixel

• Comme dans le film Minority Report– http://www.perceptivepixel.com/

GeoMMI – Nasa World Wind

http://ifgiweb.uni-muenster.de/~j_scho09/world-wind-

touch/Home.html

http://www.youtube.com/watch?v=riFw0kKoinU&feature

=player_embedded

• Nasa World Wind + interfaces multimodales• http://www.dfki.de/web

• (à gauche) Écran tactile seul

• (à droite) Écran tactile + Wii balance board

GeoMMI – Cubtile 3D

• Le cubtile 3D = navigation 3D

– L’entreprise immersion (www.immersion.fr)

GeoMMI – CoMPASS

• CoMPASS (TabletPC + Voix)

http://www.csi.ucd.ie/staff/mbertolotto/home/

GeoMMI – Groupe Immerse

• Pour les personnes avec des déficiences physiques

– Groupe de recherche de Dan Jacobson (Calgary)

GeoMMI – Groupe GeoVISTA

• DAVE_G (début des années 2000)

– Parole, eye tracking, gestes, …

– Gestion de risque, geocollaboration

GeoMMI – Réalité Augmentée

• Métro de Paris sur iPhone– http://www.metroparisiphone.com/

GeoMMI – Réalité Augmentée

avec iPhone

GeoMMI … dans le Futur

Hologrammes

http://gl.ict.usc.edu/Research/

3DDisplay/

http://siftables.com/

Siftables Cerveau !

OpenInterface

• Le projet OpenInterface (www.openinterface.org/)

– Solution open source de plateforme d’aide à la création et au

déploiement d’interfaces multimodales

– Exemples :

• Navigation avec Google Earth (Microphone + capteur SHAKE)

OpenInterface

– Autres Exemples de navigation:

• Iphone + wiimote

• Table augmentée ou table tactile + Voix

Normes internationales

• Groupe de travail sur les interaction multimodales

– http://www.w3.org/2002/mmi/

– http://www.w3.org/2009/05/mmi-charter.html

• Objectifs :

– Étendre le Web avec de multiples modes de communication

– N’importe qui, n’importe où, n’importe quand, peu importe l’interface,

• Normalisation

– EMMA : Extensible Multimodal Annotation Markup Language (

Recommandation)

– Multimodal Architecture (Draft)

Le laboratoire REGARD

• Matériel obtenu via FCI

– 5 Téléphones mobiles (iPhone + Nokia)

– 10 PDA PalmOne Tungten et PDA HP

– 1 Écran 3D avec projecteurs

– 1 Écran auto stéréoscopique 40’’ Synthagram

– 3 Lunettes de réalité augmentée i-glasses PC 3D HR

– Clusters de PC

– 1 Stylet ST3 Polhemus

– 3 Souris 6 degrés de liberté Magellan (HP)

– 9 gant P5 glove (Virtual realities inc.)

– 2 Caméras numérique

– PC portables et PC desktop

– …

GeoMMI – Le projet GéoÉduc3D

http://geoeduc3d.scg.ulaval.ca

• Réalité augmentée, mobilité, données 3D, jeux, éducation

• Objectifs :

– Proposer des jeux interactifs éducatifs, s'appuyant sur les

technologies géospatiales et explorant des questions thématiques

auxquelles le jeune public des adolescents est sensible : les

changements climatiques; le développement durable.

– Concevoir et mettre en œuvre un ensemble d’outils d'apprentissage

innovants qui vont permettre d'enrichir - « augmenter » - l'expérience

(i.e. l'apprentissage ludique) du joueur en rendant le jeu plus

immersif, réactif, interactif.

• Différents chercheurs, différents domaines (géomatique,

éducation, réalité augmentée), différents partenaires :

Le projet GéoÉduc3D

Exemples de travaux

iPhone

(caméra + écran tactile)

Par Vincent Thomas, maîtriseCapture de mouvement

(doigt bleu ou vert) + caméra

Intérêts de recherche

• Potentiel énorme d’utiliser des interfaces multimodales en

géomatique

– Aider les utilisateurs à spécifier leurs besoins en information

géographique

– Rendre plus utilisable et intuitif les systèmes géospatiaux

– Personnalisation des données spatiales, mais aussi des interactions

– Mettre en place un dialogue homme-machine

• Actuellement, des étudiants travaillent en particulier sur

l’iPhone :

– Élodie EDOH-ALOVE (maîtrise) : Étude du contexte spatial sur des

dispositifs mobiles, tel que l’iPhone, pour des jeux éducatifs en tenant

compte de l’aspect réalité augmentée dans le projet GéoÉduc3D

– Belko Diallo (doctorat - codirecteur) : Géo-décision en mobilité

Intérêts de recherche

• Belko Diallo (doctorat - codirecteur) : Géo-décision en mobilité

Conclusion

• Nouvelles connaissances sur les interfaces

multimodales.

• Découverte des interfaces multimodales

géospatiales.

• Exploitation de telles interfaces au Département des

sciences géomatiques de l’Université Laval.

• Potentiel des interfaces multimodales pour la

géomatique pour l’avenir !

Merci de votre attention

QUESTIONS ?

http://frederic-hubert.scg.ulaval.ca