1 auto-calibrage à partir de deux vues et de la projection dun motif lumineux thierry molinier >...
TRANSCRIPT
![Page 1: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/1.jpg)
1
Auto-Calibrage à partir de Deux Vues et de la Projection d’un Motif Lumineux
Thierry Molinier> [email protected]
David Fofi> [email protected]
Le2i UMR CNRS 5158Université de Bourgogne12, rue de la Fonderie71200 Le Creusot (France)http://www.le2i.com
![Page 2: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/2.jpg)
2
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Contexte
Etude et conception d’un capteur de vision en lumière structurée imperceptible.
Utilisation du capteur dans le cadre d’une stratégie de vision active.
Objectif
Auto-calibrage du capteur et reconstruction 3D dans un espace métrique.
Plaquage des textures sur les surfaces reconstruites en une seule prise de vue.
Etude des séquences « imperceptibles », segmentation et fusion des images.
![Page 3: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/3.jpg)
3
Lumière structurée imperceptible
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
![Page 4: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/4.jpg)
4
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Scène
Caméra 1 : synchronisée à la projection du premier motif
Caméra 2 : Long temps d’intégration
Principe
Un motif lumineux et son complémentaire sont projetés à haute fréquence sur la scène et observés par deux caméras : la première synchronisée sur la projection du premier motif, la seconde observant la scène en continue avec un long temps d’intégration.
![Page 5: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/5.jpg)
5
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
+ =
Motif
Motif résultant
Motif complé
mentaire
Si la fréquence de projection dépasse la Fréquence Critique
de Fusion (FCF ≈ 75 Hz), le motif et son complémentaire sont visuellement intégrés dans le temps. Le résultat pour l’œil (et pour la seconde caméra en ajustant son temps d’intégration) est une illumination homogène.
![Page 6: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/6.jpg)
6
Avantages
Signal non-invasif : le motif est invisible à l’œil.
Le capteur fournit les informations de couleur et de texture, contrairement aux capteurs de vision en lumière structurée classique.
Calcul du flot optique possible (caméra 2) dans le cas d’un capteur en mouvement (impossible dans le cas classique : perte des points 3D).
Contraintes
Capteur hétérogène : 2 caméras et 1 projecteur, aux paramètres intrinsèques généralement différents.
Limité à 3 vues (1 projection + 2 images). Un déplacement du projecteur équivaut à une perte des points 3D.
Mise en correspondance entre l’image 2 et le motif ?
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
![Page 7: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/7.jpg)
7
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
CAMERA 1
CAMERA 2 VIDEO-PROJECTEUR
Un exemple de capteur trinoculaire
![Page 8: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/8.jpg)
8
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Méthode
![Page 9: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/9.jpg)
9
Le tenseur trifocal1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
![Page 10: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/10.jpg)
10
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Cube matriciel 3x3x3
Décrit la géométrie épipolaire pour trois vues comme la matrice fondamentale le fait pour deux vues.
Calcul (18 ddl et 27 éléments)
Contraintes épipolaires : relations de tri-linéarité
Définition
![Page 11: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/11.jpg)
11
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Tri-linéarités
![Page 12: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/12.jpg)
12
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Méthodes d’estimation
Méthode simple: solution directe linéaire Méthode itérative Méthode minimale : 6 points
![Page 13: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/13.jpg)
13
Hors-ligne Un motif est projeté continûment Les deux caméras perçoivent le motif : la mise en correspondance est cette fois possible entre le motif et l’image 2
Calcul pratique
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
![Page 14: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/14.jpg)
14
Auto-calibrage1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
![Page 15: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/15.jpg)
15
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Axe optique
Repère du monde
Repère de la caméra
Repère rétinien
Repère image
x
x
y
y
z
z
(u0, v0)
Modèle caméra/projecteur
Paramètres extrinsèques
Paramètres intrinsèques
![Page 16: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/16.jpg)
16
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion15 ddl
Géométrie
projective
12 ddlPlan à l’infiniparallèlisme
Géométrie
affine
Géométrie
métrique
7 ddlconic absolu
angles, rel.dist.
Principe de l’auto-calibrage
Rappel : du tenseur on extrait les matrices projectives
2 méthodes : itérative et intuitive
3 étapes (stratification)
![Page 17: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/17.jpg)
17
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Où K est la matrice de calibration (paramètres intrinsèques) et vT est le plan de l’infini.
COMMENT ESTIMER K et vT ????
Mise en équation
![Page 18: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/18.jpg)
18
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Conique et quadrique absolues
est une conique imaginaire dans le plan ,
de formule
ou
Son image est reliée à la matrice des paramètres
intrinsèques K, puisque est invariante auxmouvements rigides (rotation + translation) :
elle ne dépend donc que de K !
0Xet 0XXX 423
22
21
πdans )X,X,(X)X,X,(X 321321TI
![Page 19: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/19.jpg)
19
Le dual de la quadrique absolue * de
code la conique absolue et le plan
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Le dual de la conique absolue
![Page 20: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/20.jpg)
20
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Tii
Tiii Ωω KKPP
Mise en équation
![Page 21: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/21.jpg)
21
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Contraintes sur
1
ω 22
222
*
yx
yyyyxy
xyxyxx
cc
ccfccsf
cccsfcsf
Zero skew quadratique m
Principal point linéaire 2m
Zero skew (& p.p.) linéaire m
ratio fixe quadratique m-1
ratio connu linéaire m
Distance focale linéaire m
*23
*13
*33
*12 ωωωω
0ωω *23
*13
0ω*12
*11
*22
*22
*11 ω'ωω'ω
*22
*11 ωω
*11
*33 ωω
hypothèse contrainte type #constraints
![Page 22: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/22.jpg)
22
Résultats expérimentaux
Données de synthèse non bruitées, puis bruitées :
- Validité du tenseur
- Erreurs dans les espaces projectif & métrique
Travaux en cours :- Robustesse des algorithmes
- Expérimentations sur données réelles
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
![Page 23: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/23.jpg)
23
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. ConclusionMatrice fondamentale
Tenseur trifocal
Tenseur trifocal
Résultats obtenus à partir de données simulées non-bruitées.
![Page 24: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/24.jpg)
24
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
erreur points - intersection droites epipolaires
0200400600800
1000120014001600
0 0,2 0,4 0,6 0,8 1 1,2
sigma
erre
ur(%
)
lineaire iterative ransac
Tenseur trifocal
![Page 25: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/25.jpg)
25
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
erreur retro-projection
0,00E+00
1,00E+02
2,00E+02
3,00E+02
4,00E+02
5,00E+02
0 0,1 0,2 0,3 0,4 0,5 0,6
sigma
erre
ur
(%)
itérative ransac lineaire
Reconstruction projective
![Page 26: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/26.jpg)
26
erreur retroprojection
0,00E+002,00E+004,00E+006,00E+008,00E+001,00E+011,20E+011,40E+011,60E+01
0 0,1 0,2 0,3 0,4 0,5 0,6
sigma
err
eu
r
ransac ransac corrigé
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Reconstruction projective
![Page 27: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/27.jpg)
27
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Distance focale
![Page 28: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/28.jpg)
28
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Reconstruction métrique
Objet original
Objet reconstruit
![Page 29: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/29.jpg)
29
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Objet reconstruit
Reconstruction métrique
Objet original
![Page 30: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/30.jpg)
30
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Même scène que précédemment : quand le bruit devient trop grand, l’algorithme de reconstruction
dégénère.
Reconstruction métrique bruitée
![Page 31: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/31.jpg)
31
1. Introduction
2. Lumière Structurée Imperceptible
3. Tenseur Trifocal
4. Auto-Calibrage
5. Résultats Expérimentaux
6. Conclusion
Méthode d’auto-calibrage à partir de trois vues hétérogènes validée.
Robustesse pour la retro-projection
Ajout de contraintes dans les algorithmes
Rendre les méthodes de résolution plus robustes à chaque étape
Expérimentations avec le capteur réel
Segmentation des images
Plaquage des textures sur les surfaces reconstruites
Conclusion
![Page 32: 1 Auto-Calibrage à partir de Deux Vues et de la Projection dun Motif Lumineux Thierry Molinier > bismo77@yahoo.fr David Fofi > d.fofi@iutlecreusot.u-bourgogne.fr](https://reader035.vdocuments.site/reader035/viewer/2022062622/551d9dbd497959293b8e0076/html5/thumbnails/32.jpg)
32