un espace de classification pour l’interaction sur dispositifs mobiles
DESCRIPTION
Un espace de classification pour l’interaction sur dispositifs mobiles. Anne Roudaut, Eric Lecolinet IHM’07-Paris. Contexte. Dispositifs mobiles : Plusieurs formes. - Multifonctions/Spécialisés - Ecran tactile/Clavier physique - Stylet/Doigts. 2. Contexte. Dispositifs mobiles : - PowerPoint PPT PresentationTRANSCRIPT
1
Un espace de classification pour l’interaction surdispositifs mobiles
Anne Roudaut, Eric Lecolinet
IHM’07-Paris
2
• Dispositifs mobiles :
Plusieurs formes
- Multifonctions/Spécialisés
- Ecran tactile/Clavier physique
- Stylet/Doigts
Contexte
2
3
• Dispositifs mobiles :
Plusieurs formes
Plusieurs contextes d’utilisation
- Multifonctions/Spécialisés
- Ecran tactile/Clavier physique
- Stylet/Doigts
- Ville
- Domicile
- Transports …
Contexte
2
4
• Dispositifs mobiles :
Plusieurs formes
Plusieurs contextes d’utilisation
- Multifonctions/Spécialisés
- Ecran tactile/Clavier physique
- Stylet/Doigts
- Ville
- Domicile
- Transports …
Contexte
Espace de classification des techniques d’interaction
Comprendre et organiser l’existant
Soulever des tendances et des faiblesses
Première étape pour la réalisation de nouvelles techniques d’interaction
2
6
Dispositif physique
Avec quoi ?
Langage d’interaction
Comment ?
• Basé sur plusieurs définitions de la « modalité »
Visuelle, Auditive, Kinesthésique, Sonore …
Une approche orientée psychologues
Une approche orientée concepteurs (Nigay)
D L?
Espace de classification
4
8
Mod
alit
és e
n e
ntr
ée M
odal
ités
en
sor
tie
Vocale
Mouvement
Passive
Visuelle
Auditive
Kinesthésique
Ecrans Lunettes
Projecteurs
Haut-parleurs Ecouteurs
Dispositifs haptiques
Tous types de capteurs
Pointage de widgets Langage gestuel
Langage gestuel hybride
Langage naturel Langage pseudo-naturel
Langage sonore
Multiplexage temporel Multiplexage spatial
Multiplexage profondeur
Synthèse vocale Sons
Retour d’effort Retour tactile
Dispositifs physiques Langages d’interaction
Continus
Capteurs de mouvements
Microphones
Discrets
Langage gestuel
Entrée par claviers complets Entrée par claviers réduits Entrée par boutons uniques
Interaction embarquée
Mod
alit
és e
n e
ntr
éeM
odal
ités
en
sor
tie
Espace de classification
5
9
Mod
alit
és e
n e
ntr
ée M
odal
ités
en
sor
tie
Vocale
Mouvement
Passive
Visuelle
Auditive
Kinesthésique
Ecrans Lunettes
Projecteurs
Haut-parleurs Ecouteurs
Dispositifs haptiques
Tous types de capteurs
Pointage de widgets Langage gestuel
Langage gestuel hybride
Langage naturel Langage pseudo-naturel
Langage sonore
Multiplexage temporel Multiplexage spatial
Multiplexage profondeur
Synthèse vocale Sons
Retour d’effort Retour tactile
Dispositifs physiques Langages d’interaction
Continus
Capteurs de mouvements
Microphones
Discrets
Langage gestuel
Entrée par claviers complets Entrée par claviers réduits Entrée par boutons uniques
Interaction embarquée
Mod
alit
és e
n e
ntr
éeM
odal
ités
en
sor
tie
Espace de classification
5
10
Mod
alit
és e
n e
ntr
ée M
odal
ités
en
sor
tie
Vocale
Mouvement
Passive
Visuelle
Auditive
Kinesthésique
Ecrans Lunettes
Projecteurs
Haut-parleurs Ecouteurs
Dispositifs haptiques
Tous types de capteurs
Pointage de widgets Langage gestuel
Langage gestuel hybride
Langage naturel Langage pseudo-naturel
Langage sonore
Multiplexage temporel Multiplexage spatial
Multiplexage profondeur
Synthèse vocale Sons
Retour d’effort Retour tactile
Dispositifs physiques Langages d’interaction
Continus
Capteurs de mouvements
Microphones
Discrets
Langage gestuel
Entrée par claviers complets Entrée par claviers réduits Entrée par boutons uniques
Interaction embarquée
Mod
alit
és e
n e
ntr
éeM
odal
ités
en
sor
tie
Espace de classification
5
11
Vocale
Passive
Visuelle
Auditive
Kinesthésique
1. D= Dispositifs continus (Ecrans tactiles)Mouvements
Ecran tactile à 1 point de contact
Ecran tactile multipoints
Ecran capacitif (Stylet ou doigts)
Ecran résistif (Doigts)
→ Répercutions sur le langage d’interaction
Stylet
Un doigt PouceDeux doigts
Entrées : Mouvements
6
12
Vocale
Passive
Visuelle
Auditive
Kinesthésique
1. D= Dispositifs continus (Ecrans tactiles)
a. L= Manipulation de Widgets (Boutons, menu, icones …)
LaunchTile (Karlson)
Mouvements
Word Mobile
Entrées : Mouvements
7
13
Vocale
Passive
Visuelle
Auditive
Kinesthésique
1. D= Dispositifs continus (Ecrans tactiles)
a. L= Manipulation de Widgets (Boutons, menu, icones …)
b. L= Langage gestuel
Mouvements
Entrées de texte EdgeWrite (Wobbrock)
Navigation AppLens (Karlson)
Entrées : Mouvements
8
14
Vocale
Passive
Visuelle
Auditive
Kinesthésique
1. D= Dispositifs continus (Ecrans tactiles)
a. L= Manipulation de Widgets (Boutons, menu, icones …)
b. L= Langage gestuel
c. L= Langage gestuel hybride
Mouvements
Mode Novice Mode Expert
Marking Menus (Kurtenbach)
QuickWriting (Perlin)
Menu + Gestes : Apprentissage implicite
Entrées : Mouvements
9
15
Vocale
Passive
Visuelle
Auditive
Kinesthésique
1. D= Dispositifs continus (Ecrans tactiles)
2. D= Dispositifs discrets (Bouton matériel, clavier …)
→ L= Codage des informations
- Clavier complet
Azerty/Qwerty/Fitaly/Dvorak …
- Clavier réduit
T12 EdgeWrite (Wobbrock)
Mouvements
Entrées : Mouvements
10
16
Vocale
Passive
Visuelle
Auditive
Kinesthésique
1. D= Dispositifs continus (Ecrans tactiles)
2. D= Dispositifs discrets (Bouton matériel, clavier …)
3. D= Capteurs (de mouvements …)
Interaction embarquée
Mouvements
MotionLens (Realeyes3D) Shake (Williamson)
Entrées : Mouvements
11
17
Mouvements
Visuelle
Auditive
Kinesthésique
Vocale
Passive
Interaction contextuelle
• D= Capteurs (position, luminosité, sonore, RFID,GPS)
→ L = Langage d’interaction différé
- Adaptation à l’environnement
- Localisation
- Identification
- Cinématique
Entrées : Passives
12
18
Mouvements
Auditive
Kinesthésique
Vocale
• D= Surfaces d’affichage
→ L basés sur la métaphore du multiplexage1
Passive
Visuelle
Ensemble des informations
Surface d’affichage
1Multiplexage = Faire passer plusieurs informations à travers un seul support de transmission
Spatial
Temporel
En profondeur
Type de multiplexage
Sorties : Visuelles
13
19
Mouvements
Auditive
Kinesthésique
Vocale
• D= Surfaces d’affichage
a. L= Multiplexage spatial
Passive
Visuelle
FishEyes DateLens (Bederson)
Vue focus + context
Sorties : Visuelles
14
20
Mouvements
Auditive
Kinesthésique
Vocale
• D= Surfaces d’affichage
a. L= Multiplexage spatial
b. L= Multiplexage temporel
Passive
Visuelle
Pan & Zoom
ZenZui (www.zenzui.com)
Filtrage de données
Fathumb (Karlson)
Sorties : Visuelles
15
21
Mouvements
Auditive
Kinesthésique
Vocale
• D= Surfaces d’affichage
a. L= Multiplexage spatial
b. L= Multiplexage temporel
c. L= Multiplexage en profondeur
Passive
Visuelle
Halo (Baudish)Zomit (Lecolinet)
Sorties : Visuelles
16
22
Mouvements
Kinesthésique
Vocale
Passive
Visuelle
Auditive
• D= Haut-parleur, écouteurs
L= Sons, Synthèse vocale
- Alertes (sonnerie)
- Indications vocales (GPS)
→ Problème de l’environnement mobile changeant
Sorties : Auditives
17
23
Mouvements
Kinesthésique
Vocale
Passive
Visuelle
Auditive
• D= Microphone
L= Sons, Synthèse vocale
- Alertes (sonnerie)
- Indications vocales (GPS)
→ Problème de l’environnement mobile changeant
- Aider à la navigation : stéréophonie (Hiipakka)
- Améliorer la manipulation de Widgets (Brewster)
Sorties : Auditives
17
24
Mouvements
Auditive
Kinesthésique
Vocale
Passive
Visuelle
• D= Dispositifs vibro-tactile, dispositifs de retour d’effort …
L= Retour d’effort, principalement retour tactile
Améliorer le pointage
(Brewster)
Alléger les autres modalités
Tactimod (Couture)
(Vibreur à l’arrière du dispositif)
Sorties : Kinesthésiques
18
25
• Contexte• Espace de classification
– Définition– Dimensions
• Conclusion et perspectives
Plan
19
26
Espace de classification• Compréhension et organisation de l’existant
• Observation et comparaison des techniques → faire apparaitre des tendances ou des faiblesses
• Première étape à l’élaboration de nouvelles techniques
Problème du pointage au pouce sur un écran tactile• Occlusion
• Accès aux coins de l’écran
• Précision du pouce
Conclusion et perspectives
Conclusion
Perspectives
20