-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Génération automatique de cartes de profondeurrelative par utilisation des occlusions dynamiques
Louiza Oudni, Carlos Vázquez, Stéphane Coulombe
Université du QuébecÉcole de technologie supérieure
Département de génie logiciel et des TI
1/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
1 Introduction
2 Vue globale
3 Flot optique
4 Calcul des occlusions
5 Segmentation
6 Calcul de l’ordre
2/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Mise en contexte
Les téléviseurs 3D n’ont pas eu tout le succès escompté.
Obstacle rencontré ? : Manque de contenu 3D
Peu de contenu 3D
Manque d’intérêt pour la 3D
Ralentissement de l’industrie de la 3D
Une solution ?Conversion automatique de vidéo 2D à 3D
3/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Passage de la 2D à la 3D
Que manque-t-il à la 2D pour être 3D ?L’information de profondeur
L’algorithme Depth-Image Based Rendering (DIBR), permetde générer du contenu 3D à partir de contenu 2D et de laprofondeur
Contenu 2D
Estimation deprofondeur
Carte de profondeur
Algorithme DIBR Contenu 3D
Il faut donc estimer la profondeur du contenu 2D !
4/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Indices de profondeurs
Des indices de profondeurs sont présents dans du contenu 2D etrendent la conversion automatique 2D à 3D possible. On peutciter :
Des indices de profondeur statiques : Les perspectiveslinéaires, occlusions statiques, taille connue des objets, brumeatmosphérique . . .Des indices de profondeur dynamiques : Parallaxe demouvement, occlusions dynamiques . . .
Avantages des occlusions :Un indice de profondeur fiable et présent dans tout type de scène
5/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Vue globale
L’approche suivie est inspiréepar celle de Salembier et Palou(2014) et comprend lesaméliorations :
Le flot optique utilisé estune version modifiée del’Epic-flow : les contourssont préservés et il y acohérence entre le flot enavant et en arrièreLe calcul des occlusions esteffectué plus simplementgrâce aux propriétés du flotoptique utilisé.
trametraitée
t
tramet − 1
tramet + 1
flot(t − 1)→ t
flott → (t − 1)
flotsoptiques
avant/arrière
flot(t + 1)→ t
flott → (t + 1)
flotsoptiques
avant/arrière
Partition initiale
Arbre binairede partition
Elagage/segmentation
Carte de pro-fondeur relative
Pixelscachés
Pixelsnouvellement
apparus
Calcul des Occlusions
6/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Epic-flow
L’Epic-flow est une méthode de calcul du flot optique qui a pouravantage de préserver les contours, mais n’assure pas lacohérence des mouvements avant et arrière.
Image I1
Image I2
ContoursC1
Correspondance1 → 2
Régions deVoronoi 1
Interpolation denseet
minimisation d’énergie
Flot optique1 → 2
Étapes de l’Epic-flow
7/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Epic-flow modifié
Des modifications apportées à l’Epic-flow, ont permis de rendre leflot optique cohérent avant-arrière.
image I1
image I2
Contours C1
Contours C2
Correspondances1 → 2
Correspondances2 → 1
Correspondances1 ↔ 2
Régions 1
Régions 2
Interpolation denseet
minimisation d’énergie
Interpolation denseet
minimisation d’énergie
Correspondanceentrerégions
Flot optique1 → 2
Flot optique2 → 1
Étapes de l’Epic-flow modifié8/12
Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Calcul des occlusions
Un pixel p est considéré caché à la trame t + 1 par rapport à latrame t s’il vérifie les trois conditions :
Il n’y a pas, au point p, cohérence entre le mouvement avantwt→(t+1) et arrière w(t+1)→t .p est proche d’un contour.Les voisins de p selon la direction du gradient du contour à p,déplacés par le mouvement avant wt→(t+1) s’approchent dept+1. Avec pt+1 = p + wt→(t+1)(p).
Si pc est un pixel caché, alors pcret = pct+1 + w(t+1)→t(p
ct+1) est le
pixel de la trame t, qui le cachera à la trame t + 1.
9/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Segmentation
La segmentation est effectuée de façon similaire à l’approche Salembier etPalou (2014)
1 Un arbre de partition binaire estformé en fusionnant itérativementdes régions. À chaque itération,les deux régions les plus similairessont fusionnées, selon unemétrique considérant la couleur,le mouvement, la taille et laforme des régions.
2 Un élagage de cet arbre permetd’obtenir une segmentation.L’élagage minimise le nombre depaires (pc , pcret) contenu dans uneseule région.
10/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Une fois la segmentation obtenue, les régions sont ordonnées àl’aide des paires (pc , pcret).Plus le nombre de pixels pc appartenant à une région Ra et leurspcret respectifs appartiennent à une région Rb est grand, plus il estprobable que Rb soit en avant de Ra.
Segmentation Carte de profondeur relative
11/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur
Références
Revaud, Jerome, Philippe Weinzaepfel, Zaid Harchaoui,Cordelia Schmid, Jerome Revaud,Philippe Weinzaepfel, ZaidHarchaoui et Cordelia Schmid Epicflow Edge. 2015. «Epic-Flow : Edge-Preserving Interpolation of Correspondencesfor Optical Flow ».Cvpr2015, p. 1164–1172Salembier, Philippe et Guillem Palou. 2014. « Depth orderestimation for video frames using motion occlusions ».IETComputer Vision, vol. 8, n.2, p. 152–160
12/12Occlusions pour la conversion 2D à 3D
IntroductionVue globaleFlot optiqueCalcul des occlusionsSegmentationCalcul de l'ordre