gmm, distance entre gmms, svm pour la vérification du locuteur. najim dehak gérard chollet
TRANSCRIPT
![Page 1: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/1.jpg)
GMM, distance entre GMMs, GMM, distance entre GMMs, SVM pour la vérification du SVM pour la vérification du
locuteur.locuteur.
Najim DehakNajim Dehak
Gérard CholletGérard Chollet
![Page 2: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/2.jpg)
GMM pour la vérification du locuteurGMM pour la vérification du locuteur
UBMApprentissageÉnoncé de pseudo-imposteurs
Énoncé du locuteur
Adaptation Modèle du
locuteur
TestÉnoncé de test Score et
décision
![Page 3: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/3.jpg)
GMM pour la vérification du locuteurGMM pour la vérification du locuteur
• UBM => GMM modèlesUBM => GMM modèles
• L’apprentissage à base de L’apprentissage à base de l’algorithme EMl’algorithme EM
• Les rôles du UBM : Les rôles du UBM : 1.1. Adapter les modèles clients.Adapter les modèles clients.
2.2. Normalisateur de scores dans la phase Normalisateur de scores dans la phase de test.de test.
![Page 4: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/4.jpg)
GMM pour la vérification du locuteurGMM pour la vérification du locuteur
• Pourquoi faire une adaptation?Pourquoi faire une adaptation?
• Adaptation MAP:Adaptation MAP:
• Scores et décision:Scores et décision:
K
kkkk
smwSmwpSmYNwSmw
1),,(
),,(),(maxarg)ˆ,ˆ,ˆ(
N
n n
nX yp
Xyp
NYS
1 )/(
)/(log
1)(
![Page 5: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/5.jpg)
Distance entre modèlesDistance entre modèles
UBMApprentissageÉnoncé de pseudo-imposteurs
Énoncé du test
Adaptation Modèle du Test
Énoncé du locuteur
AdaptationModèle
du locuteur
Score calculéà base de Distance
&décision
![Page 6: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/6.jpg)
Distance entre modèlesDistance entre modèles
• Divergence de Kullback-Leibler entre 2 mélange de Divergence de Kullback-Leibler entre 2 mélange de densité:densité:
)~
||()w~||w(
~log~log
~~log
~~log~~||
ii
ii
i i
iii
i i
ii
i
i
iii
i ii
i ii
iii
iii
iii
ffKLwKL
f
ffw
w
ww
fw
fwfw
fw
fwfwfwfwKL
![Page 7: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/7.jpg)
Distance entre modèlesDistance entre modèles
• Divergence de Kullback-Leibler entre 2 GMMs:Divergence de Kullback-Leibler entre 2 GMMs:
• Dans le cas de la VL avec seulement l’adaptation Dans le cas de la VL avec seulement l’adaptation des moyennes des gaussiennes:des moyennes des gaussiennes:
• On utilisant la distanceOn utilisant la distance
)N~
||(.w)w~||KL(w )p~||(K
1kkk
kNKLpKL
D
d dk
dkdkk
K
k
mmwpKL
12,
2,,
1
)~(
2
1)p~||(
D
d dk
dkdkk
K
k
mmwpKLpKLpKLD
12,
2,,
1
)~( p)||~()p~||()p~,(
![Page 8: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/8.jpg)
Distance entre modèlesDistance entre modèles
• Espace des Espace des modèles:modèles:
dk
dkdkkdk
mmw
,
)(,,
, .
1,2
Y1
Y2
Ω
pP’
Ω
pP’
1,1
D(p,p’)
D
d dk
dkdkk
K
kE
mmwppD
12,
2,,
1
)'()',(
![Page 9: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/9.jpg)
Distance entre modèlesDistance entre modèles
• Distance et scores de décisionDistance et scores de décision
))p(y/||(p(y/Y)D-))p(y/||)/((
))p(y/||)(KL(-))p(y/||)((
])/(
)([log]
)/(
)([log
])/(
)/([log
)/(
)/(log
1)(
2E
2
1
XYypD
XyMyMKL
Xyp
yME
yp
yME
yp
XypE
yp
Xyp
NYS
E
YY
YMy
YMy
My
N
n n
nX
![Page 10: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/10.jpg)
DET curveDET curve
![Page 11: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/11.jpg)
Distance entre modèlesDistance entre modèles
UBMApprentissageÉnoncé de pseudo-imposteurs
Énoncé du test
Adaptation Modèle du Test
Énoncé du locuteur
AdaptationModèle
du locuteur
Score calculéà base de Distance
&décision
Normalisation Des modèles
![Page 12: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/12.jpg)
Distance entre modèlesDistance entre modèles
• Normalisation dans Normalisation dans l’espace des modèles M-l’espace des modèles M-normnorm
• Les nouvelles moyennesLes nouvelles moyennes
normX )(1,1Ω )(
1,1X
normX )(1,2
)(1,2X
Modèle initial
Modèle norm
)(,
)(, ),(
Xdk
E
normXdk XD
Dref
)()(
),(
)(
),(1
kE
Xk
XE
normXk m
XD
Drefm
D
Drefm
![Page 13: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/13.jpg)
Courbe DETCourbe DET
![Page 14: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/14.jpg)
Distance entre modèlesDistance entre modèles
• Peut être appliquer pour la Peut être appliquer pour la vérification du locuteur dans les vérification du locuteur dans les cartes à puce.cartes à puce.
• On peut faire une normalisation on On peut faire une normalisation on utilisant une ACPutilisant une ACP
![Page 15: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/15.jpg)
SVM pour la VLSVM pour la VL
• Distance entre GMMs => fonction Distance entre GMMs => fonction noyau entre GMMs;noyau entre GMMs;
• Distance => kernelDistance => kernel
• Kernel => distanceKernel => distance
eD
yxk2
),( e
BADyxk
),(
),(2),(),(),( jijjiiji xxKxxKxxKxxd
![Page 16: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/16.jpg)
SVM pour la VLSVM pour la VL
• Les travaux de Pedro J. Moreno et Les travaux de Pedro J. Moreno et Purdy P. HoPurdy P. Ho
• Avec comme distance :Avec comme distance :
e
BxpxpAD
jiji
ji
xpxpkXXk
))/(),/((
)/(),/(),(
))/(
)/(log()/()
)/(
)/(log()/())/(),/((
i
jj
j
iiji xp
xpxpdx
xp
xpxpxpxpD
![Page 17: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/17.jpg)
Courbe DETCourbe DET
![Page 18: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/18.jpg)
Courbe DETCourbe DET
![Page 19: GMM, distance entre GMMs, SVM pour la vérification du locuteur. Najim Dehak Gérard Chollet](https://reader036.vdocuments.site/reader036/viewer/2022062318/551d9d82497959293b8bb7b4/html5/thumbnails/19.jpg)
SVM pour la VLSVM pour la VL
• Kernel Mixture models:Kernel Mixture models:
• Dans le cas de mélange de Dans le cas de mélange de gaussiennesgaussiennes
n
nmnmm
xxKnpmpdxnxpmxpnpmpxxk )',()(')()/(')./()(')()',( ,,
'')'(
)2
'''22
exp(')2(
)/('.)/())/('),/(()',(
11111
112/2/2/12/)21(
,,
tttD
Rnmnm Ddxnxpmxpnxpmxpkxxk