réalité virtuelle et interactions introduction à la ... · réalité virtuelle et interactions...

Réalité Virtuelle et Interactions

Introduction à la Réalité Virtuelle

Année 2019 - 2020 / 5 Info à Polytech Paris-Sud

Cédric Fleury (cedric.fleury@lri.fr)

QU’EST CE QUE LA RÉALITÉ VIRTUELLE

?

LA RÉALITÉ VIRTUELLE

Immersion

PLANApplications

Historique

Définition théorique

Facteurs humains

Technologies utilisées

PLANApplications

Historique

Définition théorique

Facteurs humains

Technologies utilisées

A QUOI SERT LA RÉALITÉ VIRTUELLE

?

APPLICATIONS INDUSTRIELS

Analyse de données scientifiques

Gros volumes de données

Données 3D

Visualisation en contexte

Collaboration à distance

APPLICATIONS INDUSTRIELS

APPLICATIONS INDUSTRIELS

APPLICATIONS INDUSTRIELS

Conception industrielle

Design

Forme du produit

Ergonomie

Simulation (ex: optique de phares)

Processus de fabrication

Possibilité d’assemblage

Ergonomie du poste travail

APPLICATIONS INDUSTRIELS

FORMATION (SERIOUS GAME)Formation de personnels

Tâches dangereuses ou rares

Matériels couteux ou pas disponibles

Formateur distant

Procédure automatisée

Entrainement militaire, etc.

UN EXEMPLE CONCRETContexte : EDF

Intérieur d’une centrale nucléaire

Mise au normes des installations

Environnement encombré

Arrêt de la centrale doit être minimal

Travail à effectuer

Déplacement d’une charge très lourde

La réalité virtuelle doit

Trouver le bon chemin pour sortir la charge

Prouver que la charge sort bien

Former les personnels à la manipulation

Résultats

Pilotage en virtuel du pont polaire par le vrai pilote

Durée de l’opération 24h (en virtuel)

Mesure en virtuel : ça passe à 27 cm prés

Mesure en réel : c’est passé entre 25 et 27 cm

Gain direct de plusieurs 100 000 euros

APPLICATIONS SOCIALES

Expérimentations sociologiques

Contrôle de l’environnement

Mise en situation pas possible ou dangereuse en réel

Soigner certains pathologies

Vertige, agoraphobie, autisme

Rééducation (conduite de voiture, tâches ménagères, etc.)

APPLICATIONS POUR LE GRAND PUBLIC

Jeux vidéos

Education

Visites virtuelles

Musées, sites disparus, etc.

APPLICATIONS POUR LE GRAND PUBLIC

Marketing

Showroom virtuel

Magasins en ligne

Téléprésence

Communication entre utilisateurs distants

Interactions collaboratives

TÉLÉPRÉSENCE

PLANApplications

Historique

Définition théorique

Facteurs humains

Technologies utilisées

HISTORIQUE

Ivan Sutherland

1963 : SketchPad

Éditer/manipuler des formes simples

Crayon lumineux

Précurseur de la CAO

1988 : Turing Award

IVAN SUTHERLAND

The Ultimate Display Paper (FIPS 1965) International Federation of Information Processing

Data Visualization: «!A display connected to a digital computer… is a looking glass into a mathematical wonderland!»

⇒ Première définition de l’immersion

Body tracking: «!The computer can easily sense the positions of almost any of our body muscles!»

IVAN SUTHERLAND

The Ultimate Display Paper (FIPS 1965)

Virtual Environments that mimic real environments: «!A chair display in such a room would be good enough to sit in.!»

VEs that go beyong reality: «There is no reason why the objects displayed by a computer have to follow ordinary rules of physical reality with which we are familiar!»

IVAN SUTHERLAND1966-68 : The Sword of Damocles (MIT)

1er casque de visualisation (affichage en fil de fer)

Superposition avec la vision naturelle (RA)

IVAN SUTHERLAND

1973 : compagnie «!Evans and Sutherland!»

Construction d’un simulateur capable de produire 20 images/seconde

Premier simulateur de vol pour l’armée US

Développement d’un casque de RV pour l’armée US entre 1970 et 1980.

Travail couvert par le secret défense

IVAN SUTHERLAND

Bilan

Un des précurseurs de la RV

Principe d’immersion dans un monde simulé

Difficulté technique à mettre en œuvre

Capacité des calculateurs

Capacité des dispositifs d’interaction

SIMULATEUR DE VOL

1929 : simulateur société Link

Cockpit sur plateforme mobile

Guidé par les commandes

1940 : développement d’une industrie nouvelle

Sauver des $

Avions, hélicoptères, chars, navires

Défaut : pas de retours visuels

50’s apparition des cameras vidéos

Cameras montées sur une plates-formes suspendues au dessus de maquettes et contrôlés par les commandes

SIMULATEUR DE VOL60’s : images générées par ordinateur

Modélisation 3D des scènes (aéroports)

1 position = 1 image (5 images/secondes ⇒ latence 1/20s)

SIMULATEUR DE VOL

60’s : images générées par ordinateur

Modélisation 3D des scènes (aéroports)

1 position = 1 image (5 images/secondes ⇒ latence 1/20s)

1968 : générateur de scène

Evans & Sutherland

1972 : Advanced Development Model (Navy)

General Electric

3 images sur 3D écrans autour du cockpit (180°)

1973 : Circa

20 images/s, 200 à 400 polygones/s

SIMULATEUR DE VOL

1979 : expérimentation du casque (armée US)

VITAL helmet (McDonnell Douglas)

2 tubes cathodiques monochromes + prismes

1 capteur électromagnétique

SIMULATEUR DE VOL

Bilan

Très gros investissements financiers (Armée US)

Très gros progrès

Générateurs d’images temps réels

Restitution de mouvements (plateformes mobiles)

Modélisation d’environnements extérieurs

PREMIÈRE APPLICATION GRAND PUBLIC

1969: Sensorama

Retour multi-sensoriel

Pas d’interactions

PREMIER SYSTÈME MODERNE DE RV

Le système VIVED (Virtual Visual Environment Display)

1985 : 1er prototype (NASA)

Dr. Michael McGreevy et Jim Humphries

Affichage cristaux liquides (LCD)

Ajout d’un data glove (Scott Fisher)

BOOM DISPLAY

Début 1990 : FakeSpace Lab

PREMIER CAVE

1992 :

Tomi de Fanti et Carolina Cruz-Neira

4 faces : 3 murs et le sol.

4 SGI Reality Engine

Tracker magnétiques 3D pour la tête et les mains

PREMIER SON VIRTUEL

1988 :

Scott Fischer et Elizabeth Wenzel

Création du premier système capable de synthétiser 4 sources sonores 3D virtuelles

Les sources de sons sont localisées même si la tête bouge (tracking de la tête)

PREMIÈRE RESTITUTION HAPTIQUE

70’s : recherche sur le touché - F. Brooks (UNC)

Notion de retour d’effort

Project GROPE : assemblage de molécules

GROPE I (1967):

Pour un doigt

GROPE II (1976):

Pour la main (inutilisable !)

GROPE III (1990):

Pour la main (6 DoF)

PREMIÈRE ENTREPRISE DE RV

VPL fondé en 1985

Jaron Lanier et Thomas Zimmerman

Première commercialisation de produits de RV

DataGlove (1987), etc.

Introduction de plusieurs librairies de RV

Introduction du terme «!Virtual Reality!» (Jaron Lanier)

«!VIRTUAL REALITY!»Holdup immédiat du terme par les médias

La traduction de «!virtual reality!» n’est pas réalité virtuelle

«!Virtual!» comme : quasiment

Littéralement : quasi réel, qui fait office de réalité

Mais traduit et adopté par les médias par «!Réalité virtuelle!» ⇒ ambiguïté linguistique évidente

HISTORIQUE - BILAN

Début dans les années 70

Systèmes expérimentaux

Premier système moderne : milieu des année 80

Systèmes dédiés : projecteurs, SGI, etc.

Premières applications dans l’industrie

De nos jours

Démocratisation des dispositifs matériels

Explosion des applications

PLANApplications

Historique

Définition théorique

Facteurs humains

Technologies utilisées

DÉFINITION GÉNÉRALE

Définition du «!traité de la réalité virtuelle!» B. Arnaldi, P. Fuchs et J. Tisseau

«! La réalité virtuelle est un domaine scientifique et technique exploitant l’informatique et des interfaces comportementales en vue de simuler dans un monde virtuel le comportement d’entités 3D, qui sont en interaction en temps réel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle par l’intermédiaire de canaux sensori-moteurs. »

Traité de la réalité virtuelle (gratuit pour les étudiants en pdf) http://www.af-rv.fr/telecharger-le-traite-de-la-realite-virtuelle/

DÉFINITION DE L’IMMERSION

Immersion

«!état (perceptif, mental, émotionnel) d’un sujet lorsque un ou plusieurs sens sont isolés du monde extérieurs et sont alimentés uniquement par des informations issues de l’ordinateur.!»

Virtual Reality!: through the new looking glass, 1994 Pimentel et Teixeira!

⇒ inclus aussi l’immersion émotionnel

LES DOMAINES DE LA RVUne application de RV est constitué

Utilisateur(s)Dispositifs matériels Calculateur(s)

DIFFÉRENTES APPROCHES

Approche centrée utilisateur Psychologique, cognition, sociologieUtilisateur(s)

Dispositifs matériels

Calculateur(s)

Approche autour des périphériques Robotique, mécanique, optiques, etc.

Approche informatique Algorithmique, graphique, intelligence artificielle, conception logicielle

THÉMATIQUES SCIENTIFIQUESInteraction Homme-Machine (IHM)

Perception (visuelle, tactile, sonore, etc.)

Acquisition de l’action des utilisateurs (position, force, etc.)

Métaphores d’interaction

Graphisme et rendu 3D

Traitement des géométries (scènes complexes)

Modèle de mouvement et d’animation

Simulation d’éclairage

Détection de collision

Intelligence Artificiel (IA)

Comportement d’entités autonomes

PRINCIPALES DIFFICULTÉS

Capter précisément les actions des utilisateurs

Latence : délai dans la boucle

Acquisition et traitement des interactions

Calcul de la restitution sensorielle

Réalisme : difficile de reproduire le réel

Crédibilité des retours sensoriels

Retours visuels plausibles, collisions raides, etc.

QU’EST CE QUE LA RÉALITÉ AUGMENTÉE

?

QUELLE EST LA DIFFÉRENCE AVEC LA RÉALITÉ VIRTUELLE

?

RÉALITÉ AUGMENTÉE

Combinaison d’une scène réelle observée par un utilisateur et d’une scène simulée par ordinateur afin d’augmenter la scène réelle avec des informations virtuelles

QUELLE EST LA FRONTIÈRE ENTRE LA RÉALITÉ

VIRTUELLE ET LA RÉALITÉ AUGMENTÉE

?

RÉALITÉ MIXTE

Frontière floue entre réel et virtuel

Virtualité augmentée (augmented virtuality)

Intégration d’éléments issues du monde réel dans un environnement virtuel

Ex: flux vidéo, objets réels, position réel de l’utilisateur, etc.

CONTINUUM DE MILGRAM

Réalité virtuelle

PLANApplications

Historique

Définition théorique

Facteurs humains

Technologies utilisées

PERCEPTION HUMAINE

5 sens classiques

Goût

Toucher

Ouïe

Odorat

Vue

+ les capteurs internes du corps

Système vestibulaire

Mécanorécepteurs musculaires et articulaires

PERFORMANCE VISUELLE

Large champ visuel

Bonne acuité visuelle

Capacité à distinguer deux points rapprochés de l’espace

PERFORMANCE VISUELLE

Bonne vision des couleurs

200 nuances colorés entre 380 et 780 nm

+ saturation (degrée de pureté) et brillance (intensité)

=> environ 1.000.000 nuances différentes

PERFORMANCE VISUELLEMauvaise discrimination temporelle

Relativement mauvaise : entre 4 et 5 ms

PERFORMANCE VISUELLEBonne vision de la profondeur

Distinguer une différence de profondeur de 0.5mm à 1m

Distinguer une différence de profondeur de 10cm à 10m

La profondeur est perçue grâce

A la disparité rétinienne (différence entre les deux yeux)

A l’accommodation (mise au point d’oeil)

A la parallaxe :

PERCEPTION AUDITIVE

Onde sonore : variations de pression

Vibration comprise entre 20Hz et 20kHz

Intensité = amplitude de la variation

Mesuré souvent en décibel

10dB : murmure - 130dB : douleur

Perception dans l’espace

Différence entre les 2 oreilles

Déformation du à la tête et oreilles

PERCEPTION HAPTIQUE

Toucher

Différents récepteurs sous la peau

Pression, vibration, température, etc.

Différentes sensibilités selon les parties du corps

PERCEPTION HAPTIQUE

Perception proprioceptive

Sensation issue du corps

Mécanorécepteurs internes

Positions, mouvements, forces

Effet de la gravité et des accélérations

Système vestibulaire

CYBER-SICKNESS

Mal des simulateurs

Maux de tête

Fatigue oculaire

Stress

Confusion

Nausées

QU’EST CE QUI INDUIT LE «!CYBER-SICKNESS!»

?

CYBER-SICKNESS

Désynchronisation entre les retours sensoriels

Entre la vue et le système vestibulaire (motion-sickness)

Latence

Délai entre l’action de l’utilisateur et les retours sensoriels

Différents niveaux de latence

Acquisition des actions des utilisateurs

Traitement de ces actions

Calcul des restitutions sensorielles

Retours vers l’utilisateur

LATENCE

Niveaux de la latence

7 à 10 ms : réflexe vestibulo-occulaire

30 ms : minimum mesurable

100 ms : seuil de perception de l’humain (vision)

200 ms : limite du confort pour les mouvements de la tête (au-dessus risque de cybersickness)

250 ms : seuil de gène lors du contrôle manuel

300 ms : limite du supportable pour l’interaction

LATENCE

Autres conséquences

Erreur de localisation spatiale

Problèmes de stabilité et précision des mouvements

Vitesse des mouvements

Fatigue

COMMENT RÉDUIRE LA LATENCE ?

Augmenter la puissance de calcul et la vitesse de transmission des données

Paralléliser les processus de traitements

Augmenter la fréquence des images

60 Hz nécessaire pour une interaction fluide

En prédisant le comportement de l’utilisateur

Filtre de Kalmann, dead reckoning, prédicateur adaptatif, modèle, etc.

PEUT-ON S’ADAPTER À LA LATENCE

?

LATENCE

Peut-on s’adapter à la latence ?

Oui : l’humain peut ralentir

Mais, pire que la latence, le jitter !

Variance de la latence

Jitter important ⇒ impossible de prévoir la latence

PLANApplications

Historique

Définition théorique

Facteurs humains

Technologies utilisées

TECHNOLOGIE DE LA RV

Restitution multi-sensorielle : 5 sens

Visuelle, auditive, haptique, olfactive, gustative

Périphériques d’interaction

Émergence de dispositifs «!low cost!»

RESTITUTION VISUELLE

Indispensable à toute application de RV

Critère de l’immersion visuelle

Large champ de vision

Vision stéréoscopique

Haute résolution

Immersion du regard l’utilisateur

VISIOCASQUE

Head Mounted Display (HMD)

Petits écrans très prés des yeux

Tubes cathodiques + miroirs

LCD maintenant

Nécessite de!tracker la position de l’utilisateur

Avantages

Immersion totale du regard, peu encombrant, prix

Inconvénients

Faible résolution, faible champs de vision, cybersickness

CAVE, SALLE IMMERSIVE

4 à 6 faces, projection par l’avant ou l’arrière

Nécessite un dispositif pour la vision stéréo

Nécessite de tracker l’utilisateur

CAVE, SALLE IMMERSIVE

Avantages :

Bonne résolution

Bonne immersion du regard

Inconvénient :

1 seul utilisateur (éventuellement 2)

Espace de déplacement restreint

Complexe et couteux

AUTRES DISPOSITIFS IMMERSIFS

Mur d’images

Workbench

Bureau immersif

COMMENT EST GÉNÉRÉE LA PERCEPTION DE PROFONDEUR

(VUE 3D) ?

VISION STÉRÉOSCOPIQUEDisparité entre les images de chaque œil

1 image différente pour chaque œil

Dépends de la distance interoculaire

COMMENT PEUT AFFICHER DES IMAGES DIFFÉRENTES

POUR CHAQUE OEIL ?

VISION STÉRÉOSCOPIQUE

Envoyer une image différente à chaque œil

Déjà prévu dans les HMDs

Plus compliqué avec des écrans ou des projecteurs

Séparation en fréquence

Séparation par polarisation

Séparation par anaglyphe

Ecrans auto-stéréoscopiques

VISION STÉRÉOSCOPIQUE

Séparation en fréquence

Ecrans ou projeteurs à 120 Hz

Lunettes à obturations (actives, Shutter glasses)

Obturateur LCD

Nécessite une synchronisation

Infrarouge ou radio-fréquence

VISION STÉRÉOSCOPIQUE

Séparation par polarisation

Souvent polarisation circulaire

Avantages

Lunettes plus légères

Moins chères

Inconvénients

Dégrade un peu les couleurs

Fantômes

VISION STÉRÉOSCOPIQUE

Séparation par anaglyphe

Peu utilisée en RV

Dégrade beaucoup les couleurs

VISION STÉRÉOSCOPIQUE

Ecrans auto-stéréoscopique

Pas besoin de lunettes

2 techniques

Barrière de parallaxe

Réseau lenticulaire

Nombres de vues prédéfinies

Affiche 8 vues = 16 images affichées en même temps

Ne convient pas pour l’interaction

VISION STÉRÉOSCOPIQUE

Correction des parallaxes (écrans et projecteurs)

VISION STÉRÉOSCOPIQUE

Correction des parallaxes (écrans et projecteurs)

Nécessité de tracker la tête de l’utilisateur

Déformation de la pyramide de vue

Images spécifiques à chaque utilisateur

Vidéo

CORRECTION DES PARALLAXES

SYSTÈME DE TRACKING

Capteur la position et l’orientation d’une cible

Techniques utilisées

Mécanique (articulé, filaire, etc.)

Capteurs électromagnétiques

Cameras infrarouges

Centrale inertielle

Gyroscope

Accéléromètre

Magnétomètre

VISION STÉRÉOSCOPIQUE

Accommodation

En réel

Accommodation = convergence

En vision stéréo

Accommodation sur l’écran != convergence due à la disparité

Pas encore de solution en RV

Ajout de flou

Là ou l’on veut que l’utilisateur regard (film Avatar)

Là ou l’utilisateur regarde (eye tracking ou prédiction)

RESTITUTION AUDITIVEButs

Reproduire le bruit des objets virtuels

Aider l’utilisateur lors des interactions

2 méthodes pour la spatialisation

Différence de sons entre les deux oreilles

Haut-parleurs ou casques

Nécessite de connaitre la position de l’utilisateur

Reconstruction de l’environnement sonore

De façon physiquement réaliste

Dispositif complexe et ressources de calcul importantes

RESTITUTION HAPTIQUE

Retours tactiles

Sensation de toucher les objets virtuels

Techniques utilisées

Interfaces tangibles

Stimulations vibratoires (UIST 2013)

Stimulations électriques

RESTITUTION HAPTIQUERetours proprioceptifs

Proprioceptif : sensation issue du corps

Positions, mouvements, forces

Retours de forces

Bras à retour d’efforts

Exo-squelette

Spidar

RESTITUTION HAPTIQUE

Retours proprioceptifs

Interfaces de locomotion : recrée les sensations d’un déplacement naturel

Métaphores du poste de conduite

Voiture, vélo

Métaphore de la marche

Tapis roulant, etc.

Métaphore abstraite

Joyman, etc.

RESTITUTION HAPTIQUE

RESTITUTION HAPTIQUE

RESTITUTION HAPTIQUE

RESTITUTION HAPTIQUE

Retours proprioceptifs

Recréer l’effet de la gravité et des accélérations

Plateformes mobiles

Stimulation galvanique vestibulaire (GVS)

Génération d’un champs électromagnétique au niveau de l’oreille interne

Limite le cybersickness

RESTITUTION HAPTIQUE

Retours pseudo-haptiques

Générer une sensation haptique à partir d’un décalage entre l’action de l’utilisateur et le retour (visuel ou autre) qu’il reçoit.

https://team.inria.fr/hybrid/w3d-project/

RESTITUTION OLFACTIVE

2 techniques

Diffuseurs devant le nez

Canon à odeurs

Problèmes

Diffusion

Persistance

RESTITUTION GUSTATIVEThe University of Tokyo / Takuji Narumi

RESTITUTION GUSTATIVEThe University of Tokyo / Takuji Narumi

PÉRIPHÉRIQUES D’INTERACTIONPériphériques 3D (6DoF)

Souris 3D, Joysticks, manettes, etc.

Périphérique haptique

Bras à retour d’effort, exo-squelettes, etc.

Système de tracking

Interagir avec les gestes et les déplacements

Périphériques spécifiques

Gants de données, interfaces tangibles, etc.

DISPOSITIFS «!LOW COST!»

Dispositifs de visualisation

TV 3D (<2000")

Projecteurs 3D (<2000")

HTC vive (<800")

Large champ de vision

Simple écran LCD

Lentilles

DISPOSITIFS «!LOW COST!»

Nouveaux périphériques d’interaction

Capteurs de profondeur

Kinect de Microsoft, Creative Senz3D, Structure Sensor

Capteurs magnétiques

Razor Hydra

Cameras infrarouges

Wiimote

Cameras normales

Leapmotion

DISPOSITIFS «!LOW COST!»Exemples d’utilisation

Tracking de l’utilisateur

Kinect, Wiimote, Razor Hydra

Interactions gestuelles

Kinect, Leapmotion

Reconstruction 3D

Kinect, structure Sensor

Augmentation de l’immersion

IllumiRoom de Microsfot (projecteur + Kinect)

DISPOSITIFS «!LOW COST!»

DISPOSITIFS «!LOW COST!»

DISPOSITIFS «!LOW COST!»

DISPOSITIFS «!LOW COST!»

DISPOSITIFS «!LOW COST!»