1 mise en correspondance dimages pour lanalyse du mouvement et la stéréovision nikom suvonvorn...

1

Mise en correspondance d’images pour l’analyse du mouvement et la stéréovision

Nikom SUVONVORNInstitut d’Électronique FondamentaleUniversité de Paris-Sud

http://www.u-psud.fr/

2

๐ Plan d’exposé

Problématique Abstraction d’image/Modèle EFLAM Algorithmes d’appariement d’images

Les mariages stables Système de mise en correspondance Application pour :

Stéréovision Mouvement

3

๐Problématique / Objectif Méthode de mise en correspondance

d’images

L’analyse du mouvement La stéréovision

Développer une méthode générale Ensembles de niveaux comme caractéristique

d’image Méthode de décision

Une étape décisive pour la vision par l’ordinateur

4

๑ Abstraction d’images

5

Abstraction d’images

Décomposition d’image en « Ensemble de niveaux »

43

2 1

≥1≥1

≥1 ≥1

≥2≥2

≥2

≥3≥3 ≥4

๑

6


Ensemble de niveauxLignes de niveaux

Flots de lignes de niveauxJonctions

L’endroit où au moins deux flots se séparent ou

se joignent

๑

7


Les jonctions de flots l’appariement d’images Très sensibles au bruit Seuil (de détection) difficile à

déterminer

Détection de la variation d’intensité autours des jonctions Résister aux perturbations

๑

8

Variation des jonctions

Modèle EFLAM : Extended Flow Laminating Average Milieu

Basé sur Girard/Bonnin SUSAN de

Brady (Smallest Univalue Segment Assimilating Nucleus)

pour « les jonctions des flots »

๑

9

Variation des jonctions

Mesure la variation d’intensité au point p par la similarité des intensités sur des voisinages

++

+++

+

I(p)

+I(pi)

objet

๑

10

๑

x y

Modèle EFLAMI

+

+

11x y

Modèle EFLAMI

๑

12

Extraction des jonctions

Coder la jonction en primitive

S* Sl

Sr

θl

θr

Fa

Fb

๑

13

M++

M

M--


Coder le flot en segment

Fiabilité

๑

14


= 10

= 15

Méthode de Harris

Avant/après le filtrage

Donovan Hugh ParksCenter for Intelligent MachinesMcGill University, Canada

http://www.cim.mcgill.ca/~dparks/CornerDetector/index.htm

๑

15


Méthode de Harris = 20

Avant/après le filtrage

๑

16


Avant/après le filtrage, = 20

Avant/après le filtrage, = 15

๑

17

๒ Appariement d’images

18

Appariement d’images Mise en correspondance par mariages stables

N … 3 2 1 0 0 1 2 3 … N

w1 wNw8 w5w2

w3 w8w1 w2wN

w4 w8w6 wNw2

N man

m1

m2

mN

w1

w2

wN

N woman

m1 m3 m9 m4

m6 m5 m7 m1 m8

m5 m4 m1 mN m9

m6

?m

w

w2

m1

๒

19

Contraintes du problème Stabilité

(m,w) est un « couple de blocage » : si m préfère w

à son associé, et w préfère m à son associée,

mais (m,w) n’est pas marié dans M

Satisfaction

Égalité de sexe

Complexité

Un appariement M est stable s’il ne contient aucun « couple de

blocage »

INSUFFISANT

Dan Gusfield et Robert W. IrvingMIT Press (1989)Cambridge, Massachusetts

๒

20

Algorithme de Gale et Shapley Deux solutions: homme/femme optimal

Stabilité : OUI, toujours stable Complexité : OUI, O(n2)

Satisfaction globale : NON Égalité de sexe : NON

w1

3 2 1 1 2 3

m1

m2

m3

w1

w2

w3

w2 w3 m2m1 m3

w3w2 w1

w2w1 w3

m3m2 m1

m2m1 m3

?

๒

21

Définition Taille (N+1) x (N+1), 0,1,…p,…N,

∞ Cellule (p, q) contient les

couples (m, w) dont w est le pème choix de m m est le qème choix de w

Cellule (p,∞) contient les couples (m, w) dont

w est le pème choix de m m n’est pas dans la liste de w

(∞, q) symétrique de (p,∞)

Nouvelle représentation du problèmeLa « table des mariages »

(m,w)

Le couple (m,w) : m est le 2ème choix de w et

w est le N+1ème choix de m

0 1 N ∞

0

1

N

∞

q

p

(m,w)

Le couple (m,w) : m n’est dans la liste de w et

w est le N+1ème choix de m

๒

22

« Instabilité » « Satisfaction » et « Égalité de sexe » dans la table des mariages

(x, w)

(m, y)

p

q

(x, y)

(m, w)mariés dans M

Non mariés dans M

๒

23


p

0 1 3

0

1

3

q

2

2

0

2

2

3

3

3 4

4

4

4

6

5

5

5

6 7

Satisfaction = p + q

Satisfaction constante en anti-diagonales

Maximum à l’origine

๒

24


p

0 1 3

0

1

3

q

2

2

0

1

1

0

2

2 3

1

1

3

1

2

0

2

1 0

Équité = |p – q|

Équité constante en diagonalesMaximum sur la 1ère bissectrice

๒

25

Nouveaux algorithmes :Zigzag (ZZm,w), Zigzag Optimal (OZ)

Algorithmes : balayages de la « table des

mariages » pour satisfaire au mieux l’ensemble des contraintes

la satisfaction globale l’égalité de sexe la stabilité

p

0 1 3

0

1

3

q

2

2

si w et m sont libres, alors (m,w) est marié

ZZm

๒

26


p

0 1 3

0

1

3

q

2

2

ZZw

๒

27


p

0 1 3

0

1

3

q

2

2

OZm

๒

28

Mesure la distance en moyenne

Mesure l’amplitude en moyenne

Nouveaux algorithmes : performancessatisfaction, égalité de sexe et stabilité

Mesure le pourcentage du nombre d’instances où x est meilleur que y

Satisfaction, et égalité de sexe

Stabilité Mesure le nombre des couples de blocages

Exécuter les algorithmes sur 30 000-40 000 instances, tirées au hasard Taille de population : 5, 10, 50, 100, 150, 200

๒

29

Nouveaux algorithmes : performances

Résultats Satisfaction, et égalité de sexe

Stabilité Totalement Instable

๒

30

p

0 1 3

0

1

3

q

2

2

Nouvel algorithme :Un résultat de bornitude

(m,w)

(m,w*)

(m*,w)

Instable

๒marié dans M

marié dans M

non marié dans M

31

Nouvel algorithme : Améliorer la stabilité

Zigzag Bloqué (BZ)

1 2 N ∞1

2

N∞

q

p

1 2 N ∞1

2

N∞

q

p

Stable?

Stop

si (w , m) sont libres

(m, w) est marié

(m, w) est marié

(x, y) est marié

(m, y) n’est pas mariém préfère y à w et

y préfère m à x !!!

À marier À stabiliser

Non

Oui (95%)

Oui (5%)

Boucle limité

Divorcer (m, w) et (x, y), et marier (m, y)

Cycle?

๒

32

Nouvel algorithme :Zigzag Bloqué (BZ)

Satisfaction, et égalité de sexe

Stabilité

๒

33

p

0 1 3

0

1

3

q

2

2

Instabilité dans la table de mariages (5%)des « Oscillations » et des « Cycles »

(m,w?)

(m?,w)(m,w)

(m,w?)

(m?,w)(m,w)

(m,w?)

(m?,w)(m,w)

(m,w?)

(m?,w)(m,w)

Cycles

Oscillations

๒

34

p

0 1 3

0

1

3

q

2

2

Suppression des « Oscillations »

Cycles

Oscillations

Femme d’abordHomme d’abord

๒

35

Oscillations

Cycles

1

2

3

4

p

0 1 3

0

1

3

q

2

2

Suppression des « cycles »

(m,w?)

(m?,w)(m,w)

(m?,w2

)

(m,w2

)

(m?,w3)(m,w3)

(m,w?)

(m?,w1)

(m,w1) (m?,wi)

(m,wi)

(m,w?)

(m?,w)(m,w)

(m2,w?)

(m2,w)

(m3,w?)

(m3,w) (m?,w)

(m1,w?

)

(m1,w)

(mi,w?)

(mi,w)

(m3,w?)

(mi,w?)

(m2,w?)

(m2,w)

(m3,w)(m,wi)

(m?,w3)

(m?,wi)

(m?,w2

)

(m,w2

)

(m,w3) (mi,w)

(m,w)

(m1,w?)

(m1,w)

(m?,w1)

(m,w1)

๒

36

p

0 1 3

0

1

3

q

2

2

1

2

3

4


(m?,w2

)

(m,w2

)

(m?,w3)(m,w3)

(m,w?)

(m?,w1)

(m,w1) (m?,wi)

(m,wi)

(m,w?)

(m?,w)(m,w)

(m2,w?)

(m2,w)

(m3,w?)

(m3,w) (m?,w)

(m1,w?

)

(m1,w)

(mi,w?)

(mi,w)

(m3,w?)

(mi,w?)

(m2,w?)

(m2,w)

(m3,w)(m,wi)

(m?,w3)

(m?,wi)

(m?,w2

)

(m,w2

)

(m,w3) (mi,w)

(m,w)

(m1,w?)

(m1,w)

(m?,w1)

(m,w1)

(m,w?)

(m?,w)

(m,w)

๒

37

1

2

3

4

p

0 1 3

0

1

3

q

2

2


(m?,w2

)

(m,w2

)

(m?,w3)(m,w3)

(m,w?)

(m?,w1)

(m,w1) (m?,wi)

(m,wi)

(m,w?)

(m?,w)(m,w)

(m2,w?)

(m2,w)

(m3,w?)

(m3,w) (m?,w)

(m1,w?

)

(m1,w)

(mi,w?)

(mi,w)

(m3,w?)

(mi,w?)

(m2,w?)

(m2,w)

(m3,w)(m,wi)

(m?,w3)

(m?,wi)

(m?,w2

)

(m,w2

)

(m,w3) (mi,w)

(m,w)

(m1,w?)

(m1,w)

(m?,w1)

(m,w1)

(m?,w2)

(m,w2)

(m?,w3)(m,w3)

(m,w?)

(m?,w1)

(m,w1) (m?,wi)

(m,wi)

๒

38

1

2

3

4

p

0 1 3

0

1

3

q

2

2


(m?,w2

)

(m,w2

)

(m?,w3)(m,w3)

(m,w?)

(m?,w1)

(m,w1) (m?,wi)

(m,wi)

(m,w?)

(m?,w)(m,w)

(m2,w?)

(m2,w)

(m3,w?)

(m3,w) (m?,w)

(m1,w?

)

(m1,w)

(mi,w?)

(mi,w)

(m3,w?)

(mi,w?)

(m2,w?)

(m2,w)

(m3,w)(m,wi)

(m?,w3)

(m?,wi)

(m?,w2

)

(m,w2

)

(m,w3) (mi,w)

(m,w)

(m1,w?)

(m1,w)

(m?,w1)

(m,w1)

(m2,w?)

(m2,w)

(m3,w?)

(m3,w)

(m?,w)

(m1,w?)

(m1,w)

(mi,w?)

(mi,w)

๒

39

1

2

3

4

p

0 1 3

0

1

3

q

2

2


(m?,w2

)

(m,w2

)

(m?,w3)(m,w3)

(m,w?)

(m?,w1)

(m,w1) (m?,wi)

(m,wi)

(m,w?)

(m?,w)(m,w)

(m2,w?)

(m2,w)

(m3,w?)

(m3,w) (m?,w)

(m1,w?

)

(m1,w)

(mi,w?)

(mi,w)

(m3,w?)

(mi,w?)

(m2,w?)

(m2,w)

(m3,w)(m,wi)

(m?,w3)

(m?,wi)

(m?,w2

)

(m,w2

)

(m,w3) (mi,w)

(m,w)

(m1,w?)

(m1,w)

(m?,w1)

(m,w1)

(m,w)

(m3,w?)

(mi,w?)

(m2,w?)

(m1,w?)

(m2,w)

(m3,w)

(mi,w)

(m1,w)

(m?,w3)

(m?,wi)

(m?,w2)

(m?,w1)

(m,wi)

(m,w2)

(m,w3)

(m,w1)

INSTABLE

๒

40

๒ Nouvel algorithme : S-procédure

La procédure de stabilisation S’applique à tous les algorithmes

ZZm S-ZZm

ZZw S-ZZw

OZ S-OZ BZ S-BZ RZm S-RZ RZw S-RZ RGSm S-RGS RGSw S-RGS

COMPLEXITE O(n2)O(n2)O(n2)O(n3)O(n2)O(n2)O(n2)O(n2)

O(n4)

O(n3)

O(n3)

41

Comparaison des résultats

SBZTotalement stable

99,70% 99,80%26,45% 48,27%

Satisfaction Égalité de sexe

αβ

Complexité O(n3)

๒

42

๓ Système de mise en correspondance

43

Système de mise en correspondancedes jonctions en multi échelle

M

R R

F

D IkIk-1

Idiff

Ji,k-1

i

Ji,k

Ci

Ci,sCi,i

P

E E

x y

๓

44

๓M

R R

F

D IkIk-1

Idiff

Ji,k-1

i

Ji,k

Ci

Ci,sCi,i

P

E E


45

๓M

R R

F

D IkIk-1

Idiff

Ji,k-1

i

Ji,k

Ci

Ci,sCi,i

P

E E


p

0 1 3

0

1

3

q

2

2

(m,w)

(m3,w?)

(mi,w?)

(m2,w?)(m1,w?)

(m2,w)

(m3,w)

(mi,w)

(m1,w)

(m?,w3)

(m?,wi)

(m?,w2)

(m?,w1)

(m,wi)

(m,w2)

(m,w3)

(m,w1)

46

M

F

D

R

IkIk-1

Idiff

Ji,k-1

i

Ji,k

Ci

Ci,sCi,i

R

P

E E

Système de mise en correspondancedes jonctions en multi échelle๓

47

๓M

R R

F

D IkIk-1

Idiff

Ji,k-1

i

Ji,k

Ci

Ci,sCi,i

P

E E


48

Mise en correspondanceExemples๓

49


50


51


52


53


54

๔ Application à la stéréovision

55

Application à la stéréovisionDétection d’obstacle

Acquisition d’images

Calibration de caméra

Méthode de Le Coat(programmation dynamique)

Notre méthode

Méthode de Birchield(programmation dynamique)

Mise en correspondance

V-Disparités

Disparités

Détection d’obstacles

Implémenté sur RT-maps

๔IEF / AXIS / SACOL

56

Application à la stéréovisionDétection d’obstacle๔

57

๕ Application à l’analyse de mouvement

58

Application à l’analyse de mouvement

Jonctions


Contraintes surl’ensemble de niveaux

Lignes de niveau

Ensemble de niveau

Détermination du fond et suivi des objets

K-moyennes

C-moyennes flouesavec contrainte

spatiale

images flots objets Segmentationd’objets

homogènes

Segmentationd’objets

non homogènes

1 2 3

๕

59


Jonctions



Lignes de niveau

Ensemble de niveau


K-moyennes

C-moyenne floueavec contrainte

spatiale


homogènes


non homogènes

1 2 3

๕

60


Jonctions



Lignes de niveau

Ensemble de niveau


K-moyennes

C-moyenne floueavec contrainte

spatiale


homogènes


non homogènes

1 2 3

๕

61

Identification du mouvementC-moyennes floues avec contrainte spatiale

Paramètres de déplacement des flots

F4F2

F3

F1

๕

62

Identification du mouvementC-moyennes floues avec contrainte spatiale๕

63

Segmentation d’objets

Objet homogène Objet non homogène

๕

64

Segmentation d’objets homogènes

λu

λd

*

*

x yEFLAM

F*

λx

λx

๕

65


λd

λu

*

*

x yEFLAM

F*

๕

66


λu

λd

*

*

x yEFLAM

F*

λx

๕

67

ResultatSegmentation d’objets homogènes๕

68

Segmentation d’objets non-homogènes

λx λ1

λ2 λ3

λ1

λ3λ1λ3

๕

69

Segmentation d’objets non-homogènesJF-Snake

λ1

λ2 λ3

λ1

λ3λ1λ3

Donna J. Williams et

Mubarak Shah (1992 )

๕

70

Segmentation d’objets non-homogènesJF-Snake

λ1

λ2 λ3

λ1

λ3λ1λ3

x yEFLAM

Énergie

Lmax Fj

pj

vi

๕

71

Segmentation d’objets non-homogènesJF-Snake๕

72

Conclusion / Perspective

Algorithmes de décision pour la mise en correspondance : mariages stables

Application pour la détection d’obstacle et l’analyse du mouvement

Technique vs. ensemble de niveaux Mariages stables à « N-Dimensions » Optimiser l’exécution

๖

73

Merci PourVotre Attention

1 mise en correspondance dimages pour lanalyse du mouvement et la stéréovision nikom suvonvorn...

Documents

w et w

zz w page

w w2w2 m1m1 page

w dont w

flots page

filtrage page

massachusetts page

objet page