virtual arm for the phantom limb pain therapy
DESCRIPTION
Virtual arm for the Phantom Limb Pain Therapy. Eynard L. and Meyer A. and Bouakaz S. June 2005. Presentation summary. Introduction and Previous Works Real-Time Posture Rendering The miror effect : Virtual arm Results Conclusion. Plan. Introduction and Previous Works The Phantom Pain - PowerPoint PPT PresentationTRANSCRIPT
UMR 5205
-
Virtual arm for the Phantom Limb Pain Therapy
Eynard L. and Meyer A. and Bouakaz S.
June 2005
2
Presentation summary
Introduction and Previous Works
Real-Time Posture Rendering
The miror effect : Virtual arm
Results
Conclusion
3
Plan
Introduction and Previous WorksThe Phantom PainNew TherapiesFollowing the Movements
Real-Time Posture Rendering
Miror Effect : Virtual arm
Results
Conclusion
4
The Phantom Pain
A phantom pain appears where an amputed limb used to be
Why? Physical Amputation ≠ Psychic amputation MIsmatching between brain and reality → Pain
CharacteristicsStrong pain, sometimes debilitatingHard to treat
Existing therapiesMedicamentous , massage, relaxation, psychotherapiesHopefull new therapies …
6
Our idea
Following the ISC Lyon idea filmed person Moving analysis Miror screen Augmented picture of missing limb
Means: Move Tracking (vision) Augmented reality : virtual limb
7
Suivi de mouvement (vision)
Multi-camerasVoxelic reconstruction [Mikic03,…] 3D-model : recognition of the skeleton a 3d-grid
Monocular (1 camera)Optical flow Bayesian methods [Agarwal04,…]Real-Time [Stenger03,…]
Contraigned movesConstraigned resolution
8
Pour notre système
Ours constraints Temps réel (intéractif)
Monoculaire (système portable)
Contraintes techniques Contraintes dans le mouvement
9
Plan
Introduction et travaux précédents
Reconstruction temps réel de la posture Apprentissage du fond Mesures anthropométriques Suivi des mouvements
Effet miroir : ajout du bras virtuel
Résultats
Conclusion
10
Soustraction de fond
Algorithme basé sur un apprentissage Changement de repère de couleur HSV [Park03] N images → extremums canaux RVB pour chaque pixels Recherche de connexité → élimine les bruits
11
Plan
Introduction et travaux précédents
Reconstruction temps réel de la posture Apprentissage du fond Mesures anthropométriques Suivi des mouvements
Effet miroir : ajout du bras virtuel
Résultats
Conclusion
12
Mesure anthropométriques
Calculer les grandeurs anthropométriques acquisition des mouvements
A partir de 2 poses
Extraction de silhouette
14
Mesure de la tête et du torse
Pose 1 : mesure de la têtePoint le plus haut dans l'imageDescente tant que Nbi(pixelblanc)> Nbi-1(pixelblanc)
15
Mesure de la tête et du torse
Pose 1 : mesure de la têtePoint le plus haut dans l'imageDescente tant que Nbi(pixelblanc) > Nbi-1(pixelblanc)
→ largeurDescente jusqu'à Nb(pixelblanc) < seuil* largeur
→ ligne épaule
16
Mesure de la tête et du buste
Mesure du buste : Ligne de centre de gravité → largeur du busteDescente jusqu'à séparation
→ ligne de fin de buste
→ hauteur du buste
largeurhauteur
17
Mesure des bras
Pose 1:Degré et côté de l’amputation
longueur de chaque bras
points les plus à droite et à gauche
19
PlanIntroduction et travaux précédents
Reconstruction temps réel de la posture Apprentissage du fond Mesures anthropométriques Suivi des mouvements
Effet miroir : ajout du bras virtuel
Résultats
Conclusion
20
Contraintes imposées
Restrictions des mouvements
Mouvements parallèles au plan de la caméra (« fronto-paralléle »)
Angle du coude identique pour un meilleur effet visuelle
Suivi des déplacements latéraux de la silhouette
21
Détection de la tête et du tronc
Tête et TroncAlgorithme de recherche de connexité contraint par les
données anthropométriques
22
Recherche des articulations
Recherche de l’épaule, coude et main
Mesures anthropométriques → estimation des positions
23
Création du membre manquant
Si amputation avant le coudeRepère équivalent du cote amputé et valideReprojection des pixels coté valide → côté amputé
24
Création du bras virtuel
Si amputation après le coudeRepère équivalent du cote amputé et valideReprojection des pixels coté valide → côté amputé
25
Résultats
Travail sur des images 640*480
Utilisation d’une webcam
Image traitée entre 160 et 180 msCalcul silhouette : 50 à 60 msAnalyse du mouvement : 50 à 60 msEffet miroir : instantanéFiltre Gaussien : 10ms
Moyenne de 8 à 10 images par seconde
27
Conclusion et perspectives
Premier dispositif Reconstruction de mouvement Robuste sur des mouvements simplesCréation du bras virtuel
Expérimentation prévu Collaboration avec l’Institut des sciences cognitives
Perspectives Modèle 3D réaliste Réactions des amputés
Publicationsaccepté à l ’IEEE ACIDCA-ICMI’05Soumis à la conférence francophone RFIA 2005
29
Ajout du membre → réalité augmentée (RA)
Problème générique en RA
Cohérence entre réel et virtuel Texture, aspect
Élément de synthèse construit à partir d’image réelle (cf notre système)
Illumination, Ombre