laboratoire bordelais de recherche en informatique 23/02/2014 5. extraction dobjets pour le...
TRANSCRIPT
Laboratoire Bordelais de Recherche en Informatique
11/04/23
5’. Extraction d’objets pour le chapitrage des documents audio-visuels numériques Objectifs : extraire les objets des séquences
vidéo et indexer le contenu par objets
Après l’extraction : calculer les descripteurs de la forme, de la texture, de la couleur.
Pb. d’extraction est le plus complexe !
Dans notre cours : uniquement les méthodes dites “coopératives” – basées régions seront proposées.
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Sommaire
1. Introduction
2. Construction de la segmentation spatio-temporelle - “objet”
3. Eléments du suivi des segmentations spatio-temporelles
4. Extraction des informations de la composition des scènes
Laboratoire Bordelais de Recherche en Informatique
11/04/23
1. Introduction
MPEG1, 2 MPEG4,7
Blocs VOs
Laboratoire Bordelais de Recherche en Informatique
11/04/23
2. Construction de la segmentation spatio-temporelle - “objet”
Modes:
- « manuel » - rotoscoping (pratiques de pp. vidéo)
- semi-automatique (IRISA, IRCCyN, UPC, I3S, plate-forme OSIAM, plate-forme MoMuSys et al., « blue screenning »)
- automatique (IRISA, IRCCyN, UPC, Univ. de Tel- Aviv, Univ. de Hannover …)
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation spatio-temporelle semi - automatique(I)
Interaction de l ’utilisateur
Segmentation spatiale Estimation du mouvement
iiR ,1, tt II
IRISA/TEMIC
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation spatio-temporelle semi - automatique (II)
Segmentation
spatiale
iiR ,1, tt II
Estimation du
mouvement
Fusion basée
mouvement
Interaction de l ’utilisateur
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Superposition de la segmentation spatiale et la classification des
régions
Estimation du mouvement et
fusion intra-classe
Affectation inter-classe si
possible
Approche à l ’interaction minimale
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation spatio-temporelle automatique
Pour les scènes génériques la segmentation purement automatique reste un défi!
SST MDL
(optimisé par rapport au codage)
IRISA/TEMIC S. Pateux, C. Labit
SST coopérative
IRCCyN
J. Benois,F. Morier,
D. Barba
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation spatio-temporelle automatique(II)
IRISA/ Vista
P. Bouthemy, M. Gelgon
étiquetage stochastique du GAR
(Champs de Markov)
IRCCyN/ISA/IVC
F.Morier, J. Benois, D. Barba
fusion ascendante basée sur
les mesures de la qualité de compensation
du mouvement
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation spatio-temporelle
Deux phases :
- la segmentation spatiale :
approches
morphologique, texturelle (markovienne),
MDL, pyramides de luminance…
- prise en compte du mouvement :
estimation paramétrique, fusion
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation couleur morphologique
(1)Calcul du gradient morphologique sur la luminance (Y) pour obtenir les contours des objets
YYG
où
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation Watershed modifié
• Image comme surface topographique• A chaque région connexe est associée un bassin
• A chaque barrière de gradient est associée un barrage
x
x
C(x)
|G(x)|
• Étiquetage des composantes connexes
• Watershed modifié dans l’espace
couleur : croissance des régions
Th)p(cmd2)i()i(
)R,p(
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation spatiale couleur. Approche morphologique « Watershed »
Watershed classique
sur le gradient
Watershed adaptatif
sur la luminance
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation spatiale couleur. Watershed Couleur vs. Luminance
Couleur Luminance
NBR_RégC=NBR_RégL Différence est dans la forme!
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation spatiale couleur. Fusion basée couleur
574 539 506
470 444 arrêt 425 398
Nombre initial de régions
657
22
2
2jmm
mmC
i
ji
B
iVi
Rii mmmm ,,
50 101.0
46 1031.0
Critère
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Segmentation spatiale couleur.Résultats.
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Estimation du mouvement
Modèles : affines du 1er ordre (6 ou 4 paramètres)
Rt<=> t=(tx,ty,,k)T
t=(a0,b0,abab)T
111112
111112
ggy
ggx
yykxxtyydyyyxxktxxdx
g
g
yy
xx
bb
aa
b
a
dy
dx
21
21
0
0
Méthodes d ’estimation :
- différentielles (1er, 2nd ordre)
- estimation du flot optique + estimation paramétrique
au sens des MC
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Estimation du mouvement basée région(I)
2
,)),,(,,(
1tyxIttdyydxxI
NEQM
Ryx
-> min
i
k
i
Ryx
i
dyxDFDt
dyxDFDt
G
,,
...
,,
2
2
1
),(
i
j
ij
ij G
N
2Θ1
rot
div
ty
tx
ii tdpI
000
000
000
000
),(
1
22
idyxDFD ,,2
Méthode : descente de gradient
gain adaptatif
Critère à optimiser :
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Estimation du mouvement basée région(II)
Mono-résolutionInitiale à 0 Initiale avec mise en
correspondance de région
Multi-résolutionNom de séquence
FD2 EQM finale EQM initiale EQM finale EQM finale
Interview 241,17 57,83 116,34 48,31 43,67
Mobile & Calendar 1167,61 247,93 477,82 182,83 106,16
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Fusion des régions au sens du mouvement(I)
Approche basée sur
- test des hypothèses statistiques;
- mesure de la qualité de compensation du mouvement
H0 : R1, R2 font partie d ’une même région R0 = R1Ú R2
H1: R1, R2 sont des régions distinctes
Test des hypothèses statistiques ( maximum de vraisemblance):
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Fusion des régions au sens du mouvement(2)
Expression des hypothèses statistiques
- soit l’erreur de
compensation du mouvement
- soit - variables statistiques indépendantes
distribuées selon les lois gaussiennes avec la moyenne nulle
et les écart-types
H0 : pour chaque point de R0H1: pour chaque point de R1,
pour chaque point de R2
1,,,,, 1 tdyydxxItyxIyx t
yxeyxeyxe ,,,,, 210
210 ,,
yxeyx ,, 0
yxeyx ,, 1
yxeyx ,, 2
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Fusion des régions au sens du mouvement(3)
Test de maximum de vraisemblance
- soit les fonctions de vraisemblance associées à
chacune des hypothèses H0 et H1
alors décision D0 (l’hypothèse H0) est prise
décision D1 (l’hypothèse H1) est prise
sous l’hypothèse de la distribution connue à chaque point (x,y)
d’une région R, la fonction de vraisemblance peut être
exprimée comme
10 , ff
01 /log ff
01 /log ff
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Fusion des régions au sens du mouvement(5)
Fonctions de vraisemblance :
2
2
),(2/12 2
,exp2
1/),(,
yxeRyxyxf e
Ryx
2
2
),(2/2 2
,exp
21
yxeRyx
N
Ici N est le nombre de pixels dans la région R
La variance inconnue est estimée à posteriori comme yxN e
Ryx,/1ˆ 2
),(
2
1
022
221
120
21 ˆlog2
ˆlog2
ˆlog2
D
DNNNN
Finalement
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Fusion des régions au sens du mouvement(6)
Choix du seuil de la décision :
- risque à prendre la décision Di
//
0j
i
jiji HPcDr
Ici est la probabilité à posteriori de l’hypothèse Hj
sachant les mesures
cij - sont les coûts de la prise de décision Di si l’hypothèse Hj est vérifiée
La décision à risque minimal doit être prise
/jHP
PHPHPHP ///
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Fusion des régions au sens du mouvement(6)
D’après le théorème de Bayes
Alors (*)
Si cette inégalité est satisfaite alors la décision D0 doit être prise, sinon – D1.
Ici P0(P1 respectivement) est la probabilité des de l’hypothèse H0 (H1) respectivement.
D’après (*)
1111001011010000 //// PHPcPHPcHPcPHPc
11011
00100
1
0
0
1
//
ccPccP
D
D
HPHP
P
HPHPHP //
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Fusion des régions au sens du mouvement(7)
Posons c10=c01=1 et c00=c11=0
Par ailleurs
Alors pour tout point dans la région R0
01 1 PP
e
PP
D
D
HyxP
HyxPHyxP NN
RRyx
RyxRyx
21
21
21
0
0
1
0
0,
1),(
1),(
1/,
/,/,
La valeur correspond à la solution équiprobable. Si grandit, alors P0 tend vers 1
0
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Fusion des régions au sens du mouvement(8)
Mesures de qualité :
- basées DFD;
- basées DFD normalisée 0),,(,,))(,,( tyxIttdyydxxIdyxDFD
pd
pdI
pDFDFpf
t,
,
TysiT
x
y
xF
Tysiy
x
y
xF ,
liRp
li
li pf
CardRQ ,
1 2
liRp
li
li pDFD
CardRQ ,
1 2
111 lli
li
lij
li sQQ 111 ll
jlj
lij
lj sQQetRègle de fusion:
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Fusion hiérarchique des régions au sens du mouvement(9)
Cartes de la segmentation emboîtées
LlsS l ,...,0,
l=0 - spatiale l=1 ... l=L
Laboratoire Bordelais de Recherche en Informatique
11/04/23
3. Eléménts du suivi des segmentations spatio-temporelles
Suivi avec la prédiction en avant
Extraction de l’ordre de la profondeur
Projection de la
segmentationtt+1
Ajustement des bords
des régions
Traitement d’occultations
Re-estimation
du mvt
Découpage des régions
Fusion des régions
St, It, It-1, It+1
St+1
Problème : connaissant la segmentation St et le couple des images It, It+1 fabriquer la segmentation St+1
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Prédiction des segmentations(I)
Prédiction court-terme - prédiction « statique »
t
R1 R2
t+1
- prédiction au sens du mouvement
R1 R2
St+1/t= St
St+1/t=F( St,t)
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Prédiction des segmentations(II)
Prédiction au sens du mouvement des régions polygonaux
t
R1 R2
- pour tout sommet polygonal P(R)
)()()()()()(
111111111
1
ggyttggx
yykxxtPdyPdyyyxxktPdxPdx
t
ttt
?
t+1
Formation d’une zone d’occultation
?
t+1ou
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Zones de découvrement
Image d ’origine Image prédite avec la segmentation prédite
Après traitement des occultations
Les zone de recouvrement – source de connaissance sur la composition des scènes
Approche : les segmenter dans l’image It+1(ex. croissance des régions)
- les représenter par le modèle de luminance/couleur (ex. valeur moyenne)
Laboratoire Bordelais de Recherche en Informatique
11/04/23
4. Extraction des informations de la composition des scènes
MPEG4:”2D and 3D scenes may be composed and
overlapped
on the screen using Layer2D and Layer3D nodes ;”
Extraction des informations « 2D et 1/2 » : depth from
motion - l ’ordre de la profondeur
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Extraction des informations de la composition des scènes
Principe d’extraction de l’ordre de la profondeur : - l’analyse de la qualité de la compensation du mouvement localement dans des zones d’occultation; - propagation des informations locales de façon optimale globalement
t
R1 R2
t+1
?
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Extraction des informations de la composition. Ordre de la profondeur
Extraction de la profondeur locale
Mode intra-image:
- Calcul des EQMs de compensation du mouvement
ji 2ˆ,2ˆ EQMs obtenues dans la zone recouverte
jiij 2ˆ2ˆ « confiance » intra image
est un seuil
devant jRiRij
iRij jRderrière
ij INCONNU
- Décision avec la classe de rejet
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Ordre de la profondeur(II)
-Introduction d ’un filtrage temporel de la valeur de confiance
ttijijtij .1.
- Introduction d ’une règle de décision à hystérésis
Tracking of the couple "Boat" ->"Background"
-100,00000
0,00000
100,00000
200,00000
300,00000
400,00000
500,00000
600,00000
700,00000
1 3 5 7 9 11 13 15 17
Frames
Co
nfi
de
nce
Confidencet/t
Confidencet/t+1,t-1
Threshold
min threshold
Membership
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Ordre de la profondeur(III)
Profondeur relative dans le couple “Bateau-fond”
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Ordre de la profondeur(IV)
- Construction des chemins optimaux R* {R}-R* (Dijkstra)
- GAR est un graphe pondéré : ije
tijtijW
1
wij
Ri
Rj
),( jRiR=
Affectation de la profondeur globale : parcours optimal du GAR
Affectation basée Dijkstra Affectation basée BFS
Parcours optimal vs parcours
arbitraire
t
...
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Utilisation correcte de la profondeur
Suivi des segmentations spatio-temporelles (II)
Laboratoire Bordelais de Recherche en Informatique
11/04/23
Suivi des segmentations spatio-temporelles (III)
Exemple artificiel : la profondeur relative erronée
11/04/2315.10.2006
Suivi des scènes génériques(II)