yazarlar : İ.yücel Özbek , prof. dr. m übeccel demirekler, doç. dr. tolga Çiloğlu
DESCRIPTION
YALITILMIŞ KELİMELERİN KYDP ALGORİTMASI İLE BÖLÜTLENMESİNDE SES SÜRE BİLGİSİNİN VE FARKLI ÖZNİTELİK VEKTÖRLERİNİN KULLANILMASI. Yazarlar : İ.Yücel Özbek , Prof. Dr. M übeccel Demirekler, Doç. Dr. Tolga Çiloğlu. İçerik : Kat yapılandırmalı dinamik programlamaya - PowerPoint PPT PresentationTRANSCRIPT
ODTU SIU 2003 1
YALITILMIŞ KELİMELERİN KYDPALGORİTMASI İLE BÖLÜTLENMESİNDE
SES SÜRE BİLGİSİNİN VE FARKLI ÖZNİTELİK VEKTÖRLERİNİN
KULLANILMASI
Yazarlar:İ.Yücel Özbek, Prof. Dr. Mübeccel Demirekler, Doç. Dr. Tolga Çiloğlu
ODTU SIU 2003 2
İçerik: Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı konuşma bölütlendirme KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar Önerilen çözümler ve elde edilen sonuçlar
Arama uzayının budanması Ses süre bilgilerine ait olabilirliliklerin kullanılması Farklı öznitelik vektörlerinin kullanılması
Sonuç
ODTU SIU 2003 3
KYDP tabanlı konuşma bölütlendirme KYDP-tabanlı konuşma bölütlendirme yöntemi dinamik programlamaya dayalı bir yöntemdir. Bölüt sınırlarını, bölüt içlerindeki toplam bozunumu en aza indirecek şekilde belirler
L b
bt
tOd1 11
,
Bölüt içi bozunum
Toplam bozunum
},...,,...,,{ 10 Lbbbb
Bölüt sınırları
ODTU SIU 2003 4
Bölüt içerindeki bozunum nedir?
Bölüt içerisinde kalan öznitelik vektörlerinin, bölütünortalama öznitelik vektörüne olan uzaklıklarınıntoplamına bölüt içerisindeki bozunum denir
ODTU SIU 2003 5
Örnek:‘siu’ kelimesinin yedi tane öznitelik vektöründen oluştuğunu ve bunların aşağıdaki şekilde gösterildiğini kabul edelim
[O1, O2, O3 , O4, O5, O6, O7]
b1 b2 b3b1 içerisindeki bozunum=d(1, 3) =?Toplam bozunum= ?
3321 OOO
O1
*
O3
*
*O2
µd1 d2
d3 d(1, 3)=d1+d2+d3
O1
*O3
**
O2
Toplam bozunum= d(1, 3)+d(4, 6)+d(7, 9)
ODTU SIU 2003 6
Toplam bozunumun en küçük olduğu bölüt sınırları nasıl bulunur?
?},...,,...,,{ 10 Lbbbb Bölüt sınırları
L b
btbbb
tOdL 1 1,...,, 110
),(min
Toplam bozunumu en küçük yapacak bölüt sınırları kat yapılandırmalı dinamik programlama algoritması ile bulunur
ODTU SIU 2003 7
Kat yapılandırmalı dinamik programlamaKYDP algoritması toplam bozunumu en küçük yapacak bölüt sınırlarını aşağıdaki tablo yardımıyla bulur
Kat-2
Kat-N
Kat-1
O(1) O(2) O(M)
ÖznitelikVektörleriKatlar bölüt
sayısını gösterir
****
* * * *
***
ODTU SIU 2003 8
Örnek:Yedi öznitelik vektöründen oluşan ‘siu’ kelimesini KYDP algoritmasıyla bölütlenmesi
d (1,5)
D1(2) D1(6)D1(4)
D2(3) D2(4) D2(5) Kat-2
i
Kat-3
u
Kat-1
sd (1,1)
d (1,3)
D2(7)D2(6)
Öz. Vektörleri O(1) O(2) O(3) O(4) O(5) O(6) O(7)
Bölütler s i u
En iyi yol
ODTU SIU 2003 9
KYDP yöntemiyle elde edilen deneysel sonuç
77%84%82%61%81%89%85%71%78%%
5248./6810176./209791./964507./829451./557141./158568./666694./9721920./2455TOP
95%%NaN94%96%100%%NaN97%85%96%%
202./2120./048./5122./2317./170./034./3511./1370./73SES
72%25%52%45%88%92%100%71%58%%
882./12221./411./215./1114./16120./1309./9657./91965./112BÖP
66%100%78%52%82%100%86%100%63%%
551./8318./887./11132./6123./281./130./352./2368./585YD
64%89%46%30%0%88%82%56%70%%
326./51031./3546./1007./230./87./818./225./9212./305GE
92%100%100%78%100%100%50%%NaN94%%
133./1443./39./97./91./11./12./40./0110./117PS
85%86%83%75%85%40%50%33%92%%
582./68431./36104./12530./4011./132./522./442./6380./415SR
85%73%45%69%100%50%69%0%90%%
762./89311./1522./4933./4811./111./220./290./2664./737PA
78%84%93%60%81%82%89%81%46%%
1810./231491./108464./498371./614374./4639./11433./48817./2151./111ÜN
TOPLAMSESBÖPYDGEPSSRPAÜN
% 46%
51./111ÜN
ÜN
% 77 %
5248/6810Toplam
Toplam
ODTU SIU 2003 10
İçerik: Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı
konuşma bölütlendirme KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar Önerilen çözümler ve elde edilen sonuçlar
Arama uzayının budanması Ses süre bilgilerine ait benzerliklerin kullanılması Farklı öznitelik vektörlerinin kullanılması
Sonuç
ODTU SIU 2003 11
KYDP algoritması ile karşılaşılan sorunlar
İşlem yükünün fazla olmasından dolayı bölütlemeyi uzun sürede gerçekleştirmektedir Kısa (Ötümlü patlamalılar) ve uzun(Ünlüler,vb) sürede geçekleşen fonetik birimlere ait sınırları bulmada düşük başarı göstermektedir
ODTU SIU 2003 12
İçerik: Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı
konuşma bölütlendirme KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar Önerilen çözümler ve elde edilen sonuçlar
Arama uzayının budanması Ses süre bilgilerine ait benzerliklerin kullanılması Farklı öznitelik vektörlerinin kullanılması
Sonuç
ODTU SIU 2003 13
Arama uzayının budanması Elimizde bulunan ses veritabanı yardımıyla ses birimlerine ait maksimum ve minimum süre bigileri çıkarıldı Ses süre bilgilerinden faydalanarak KYDP algoritmasının arama uzayı budandı Normal
arama uzayı
Budanmış arama uzayı
Katlar
Öz. Vektörler
ODTU SIU 2003 14
Arama uzayının budanmasının algoritmanın performansına etkisi
Budanma sonucu algorıtmanın işlem yükü azaltıldığından KYDP algorıtmasının hızı % 60-70 artırıldı. Doğruluk oranı ise %4 artırıldı.
% 77 %
5248/6810Toplam
Toplam % 81%
5494/6810Toplam
Toplam Performans
% 4 artırıldı
ODTU SIU 2003 15
İçerik: Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı
konuşma bölütlendirme KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar Önerilen çözümler ve elde edilen sonuçlar
Arama uzayının budanması Ses süre bilgilerine ait benzerliklerin kullanılması Farklı öznitelik vektörlerinin kullanılması
Sonuç
ODTU SIU 2003 16
Ses birimlerine ait süre bilgilerinin gamma fonksiyonu ile modellenmesi
Bütün ses birimlerinin süre bilgileri gamma fonksiyonu yardımıyla modellendi Modeller kullanılarak bölüt içlerindeki bozunumlar ağırlıklandırıldı
,|1,,, xfnidnidnid yeni
i çerçevesin den n’ekadar olan bölüte ait
bozunum
x (= n-i) süresine aitolabilirlilik değeriα ve β model parametreleri
Ağırlıklaştırılmışyeni bozunum
ODTU SIU 2003 17
Ağırlıklı bozunumların kullanılmasının algoritmanın performansına etkisi
% 81%
5494/6810Toplam
Toplam % 83%
5666/6810Toplam
ToplamPerformans
% 2 artırıldı
ODTU SIU 2003 18
İçerik: Kat yapılandırmalı dinamik programlamaya (KYDP) dayalı
konuşma bölütlendirme KYDP tabanlı konuşma bölütlendirmede karşılaşılan sorunlar Önerilen çözümler ve elde edilen sonuçlar
Arama uzayının budanması Ses süre bilgilerine ait benzerliklerin kullanılması Farklı öznitelik vektörlerinin kullanılması
Sonuç
ODTU SIU 2003 19
Farklı öznitelik vektörlerinin kullanılmasıFourier
Dönüşüm
FourierDönüşüm
Kelime
Mel-Cepstral Ve Enerji
analiz
Mel-Cepstral Ve Enerji
analiz
ZamanaGöreTürev
ZamanaGöreTürev
ZamanGöreTürev
ZamanGöreTürev
Delta log enerji+
Delta 0. kepstral+
Delta kepstrum
F
Delta-Delta log enerji+
Delta-Delta 0. kepstral+
Delta-Delta kepstrum
F
Log enerji+
0. kepstral katsayı +
Mel-ölçekli kepstrum
F
142xF
F
F
F
42 Boyutluöznitelikvektörü
ODTU SIU 2003 20
Farklı öznitelik vektörlerinin kullanılmasının algoritmanın performansına etkisi
% 83%
5666/6810Toplam
Toplam % 85%
5792/6810Toplam
ToplamPerformans
% 2 artırıldı
ODTU SIU 2003 21
Uyarlanmış KYDP tabanlı konuşma bölütlendirme algoritması ile elde edilen detaylı deney sonucu
85%90%92%72%83%88%84%92%84%%
5792./6810189./209888./964595./829465./557139./158558./666899./9722059./2455TOP
97%%NaN96%96%100%%NaN97%92%99%%
206./2120./049./5122./2317./170./034./3512./1372./73SES
92%75%71%82%88%92%100%93%87%%
1121./12223./415./219./1114./16119./1309./9855./91997./112PÖB
76%88%89%67%79%100%91%100%73%%
630./8317./899./11141./6122./281./132./352./2426./585YD
81%91%81%48%0%88%77%78%84%%
411./51032./3581./10011./230./87./817./227./9256./305GE
92%100%100%100%100%0%75%%NaN91%%
132./1443./39./99./91./10./13./40./0107./117SR
89%92%94%88%100%0%39%50%94%%
609./68433./36117./12535./4013./130./517./443./6391./415SR
87%100%73%77%55%50%66%50%89%%
773./89315./1536./4937./486./111./219./291./2658./737PT
83%89%97%70%85%100%88%90%47%%
1910./231496./108482./498431./614392./46311./11427./48819./2152./111ÜN
ToplamSESPÖBYDGEPSSRPTÜN
ODTU SIU 2003 22
Sonuç;KYDP tabanlı konuşma bölütlendirme algoritması arama uzayının budanması, ses birimlerinin gamma fonksiyonları ile modellenerek bölütler ait sürelerin alabilirlilik değerlerini kullanılması ve farklı öznitelik vektörlerinin kullanılması ile doğruluk oranı 6810 bölüt sayısı için % 77 den %85’e yükseltilmiştir
ODTU SIU 2003 23
TEŞEKKÜRLER..,
ODTU SIU 2003 24
Bölüt içerindeki bozunum nedir?
Bölüt içerisinde kalan öznitelik vektörlerinin, bölütünortalama öznitelik vektörüne olan uzaklıklarınıntoplamına bölüt İçerisindeki bazunum denir
ODTU SIU 2003 25
fff% 77 %
5248/6810Toplam
Toplam
b, r ve e selerine ait süre modelleri
ODTU SIU 2003 26
ODTU SIU 2003 27