[ieee 2011 ieee 19th signal processing and communications applications conference (siu) - antalya,...

4
Geri C ¸ atma ve B ¨ olgesel Sınıflandırıcılar ile ¨ Ortmeye Dayanıklı 3B Y ¨ uz Tanıma Occlusion-Robust 3D Face Recognition using Restoration and Local Classifiers Nes ¸e Aly¨ uz 1 , Berk G ¨ okberk 2 , Luuk Spreeuwers 2 , Raymond Veldhuis 2 , Lale Akarun 1 1 Bilgisayar M¨ uhendisli˘ gi B¨ ol¨ um¨ u, Bo ˘ gazic ¸i ¨ Universitesi, T¨ urkiye nese.alyuz,[email protected] 2 Elektrik M¨ uhendisli˘ gi, Matematik ve Bilgisayar Bilimi B¨ ol¨ um¨ u, Twente ¨ Universitesi, Hollanda b.gokberk,l.spreeuwers,[email protected] ¨ Ozetc ¸e ¨ Uc ¸ boyutlu y¨ uz tanıma sistemlerinde, y¨ uz¨ un c ¸es ¸itli kısımlarının ¨ ortme nedeniyle kapatılması tanıma bas ¸arımını olumsuz etkilemektedir. Bu bildiride, ¨ ortmeden kaynaklanan g¨ ur¨ ult¨ uy¨ u otomatik olarak tespit edip eleyen ve sonrasında b¨ olgesel sınıflandırıcılar kullanarak tanıma sa˘ glayan bir sistem ¨ onerilmektedir. ¨ Ort¨ ulen alanların otomatik olarak saptan- ması ic ¸in genel bir y¨ uz modeli kullanılmaktadır. ¨ Ortmeli olgelerdeki eksik bilginin geri c ¸atılması, Bos ¸luklu Ana Biles ¸en Analizi (Gappy Principal Component Analysis - GPCA) y¨ ontemini esas alan, kısmi Bos ¸luklu Ana Biles ¸en Analizi (partial Gappy PCA - pGPCA) diye adlandırdı˘ gımız yeni bir y¨ ontem ile sa˘ glanmaktadır. ¨ Ortmeden kaynaklanan ur¨ ult¨ u, veriden elendikten sonra, ¨ ortmesiz y¨ uz verileri yerel olgelere ayrılmaktadır. B¨ olgelere ait yerel sınıflandırıcıların umles ¸tirilmesiyle ¨ ortmeye dayanıklı tanıma yapılabilmektedir. Bosphorus 3B y¨ uz veri k¨ ut¨ uphanesinden alınan ve gerc ¸ek ¨ ortme durumlarına uygun veriler ¨ uzerinde elde edilen deneysel sonuc ¸lar, gelis ¸tirilen y¨ ontem ile tanıma bas ¸arımının %78.05’ten %94.20’ye c ¸ıktı˘ gını g¨ ostermektedir. Abstract Occlusions complicate the process of identifying individuals us- ing their 3D facial scans. We propose a 3D face recognition system that automatically removes occlusion artifacts and iden- tifies the facial image using regional classifiers. Automatic lo- calization of occluded areas is handled by using a generic face model. Restoration of missing information after occlusion re- moval is performed by the application of an improved version of Gappy Principal Component Analysis (GPCA), which we call partial Gappy PCA (pGPCA). After the removal of noisy data introduced by realistic occlusions, occlusion-free faces are rep- resented by local regions. Local classifiers operating on these local regions are then fused to achieve occlusion-robust identi- fication performance. Our experimental results obtained on re- alistically occluded facial images from the Bosphorus 3D face database illustrate that our occlusion compensation scheme drastically improves the recognition accuracy from 78.05% to 94.20%. 1. Giris ¸ uz tanıma, kullanıcılarca en kolay kabul edilen biyometrik tanılama y¨ ontemi oldu˘ gu gibi, bas ¸arımı da parmak izi ve iris gibi biyometrik sistemlerin bas ¸arımına yaklas ¸mıs ¸ durum- dadır [1]. Ancak farklı ıs ¸ıklandırma kos ¸ulları, poz farklılıkları, ifade de˘ gis ¸imleri ve ¨ ortme durumları gibi fakt¨ orler y¨ uz tanıma bas ¸arımını d¨ us ¸¨ urmektedir. ¨ Uc ¸ boyutlu (3B) y¨ uz verisinin oldu˘ gu durumlarda bu zorlukların bir kısmı ile daha kolay bas ¸a c ¸ıkılabilmektedir. Ancak ¨ ortme durumu 3B uzayda zorlu bir durum olmayı s ¨ urd¨ urmektedir, c ¸¨ unk¨ ortmeye sebep olan dıs ¸sal nesneler y¨ uz y¨ uzeyinin 3B geometrisini kapatmaktadır. ˙ Iki boyutlu (2B) y¨ uz tanıma alanında, ¨ ortme durumlarını dikkate alan az sayıda c ¸alıs ¸ma bulunmaktadır. Bu c ¸alıs ¸maların bir kısmında, uz uzeyi yerel olgelere ol¨ unmekte ve olgesel kars ¸ılas ¸tırma sonuc ¸ları, oylamayla [2] ya da is- tatistiksel yaklas ¸ımlarla [3] t¨ umles ¸tirilmektedir. [4]’te ise ¨ ortmenin olma olasılı˘ gının y¨ uksek oldu˘ gu b¨ olgeler elenmek- tedir. [5]’te ise sadece g¨ ozl¨ ukten kaynaklanan ¨ ortme du- rumları ele alınmakta ve g¨ ozl¨ uk b¨ olgesindeki eksik bilgi doldurulmaktadır. 3B alanda ise Colombo ¨ ortme tespiti ic ¸in ontemler ¨ onermis ¸tir [6], [7]. ¨ Ortmeli kısımlar tespit edildik- ten sonra, Bos ¸luklu Ana Biles ¸en Analizi y¨ ontemi (Gappy Prin- cipal Component Analysis - GPCA) [8] kullanılarak y¨ uzey bilgisi tekrar hesaplanmaktadır. Elde edilen y¨ uzler b¨ ut¨ unsel sınıflandırıcılarla tanınmaktadır. Colombo, deneylerinde FRGC v1 [9] veri k¨ ut¨ uphanesinden elde edilmis ¸ yapay ¨ ortmeleri kul- lanmaktadır. Aly¨ uz [10] ise ifade farklılıkları ve ¨ ortme du- rumlarına dayanıklı bir sistem gelis ¸tirmek ic ¸in, y¨ uz y¨ uzeyini yerel b¨ olgelere ayırarak, b¨ olgesel sınıflandırıcılarla elde edilen sonuc ¸ları t¨ umles ¸tirmektedir. Bu c ¸alıs ¸mada, ¨ ortme durumlarıyla, i) ¨ ortmeli b¨ olgelerin tespit edilmesi, ii) bu b¨ olgelerin elenmesi ya da geri c ¸atılması ve iii) c ¸o˘ gul b¨ olgesel sınıflandırıcıların kullanılması ile bas ¸a c ¸ıkılması ¨ onerilmektedir. ¨ Onerilen ¨ ortmeye dayanıklı sistemin analizi ic ¸in do˘ gal olarak ¨ ort¨ ulm¨ us ¸ y¨ uz verileri ic ¸eren Bosphorus 3B y ¨ uz veri k¨ ut¨ uphanesinden [11] yararlanılmaktadır. 2. ¨ Onerilen Sistem Bu c ¸alıs ¸mada ¨ onerilen ¨ ortmeye dayanıklı 3B y¨ uz tanıma ontemi, d¨ ort as ¸amadan olus ¸maktadır: (1) y¨ uzleri ortak bir ko- ordinat d ¨ uzlemine getirmek ic ¸in kayıtlama, (2) y¨ uz y ¨ uzeyine ait olmayan nesnelerin belirlenmesi ic ¸in ¨ ortme tespiti, (3) ¨ ortmeli olarak is ¸aretlenmis ¸ b¨ olgeler ic ¸in geri c ¸atma, (4) bas ¸arımı ukseltmek ic ¸in b¨ olgesel sınıflandırıcıların kullanıldı˘ gı tanıma. Gelis ¸tirilen sistemin genel yapısı S ¸ekil 1’de verilmis ¸tir. 2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU 2011) 750 978-1-4577-0463-511/11/$26.00 ©2011 IEEE

Upload: lale

Post on 03-Dec-2016

222 views

Category:

Documents


4 download

TRANSCRIPT

Page 1: [IEEE 2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU) - Antalya, Turkey (2011.04.20-2011.04.22)] 2011 IEEE 19th Signal Processing and Communications

Geri Catma ve Bolgesel Sınıflandırıcılar ile Ortmeye Dayanıklı 3B Yuz TanımaOcclusion-Robust 3D Face Recognition using Restoration and Local Classifiers

Nese Alyuz1, Berk Gokberk2, Luuk Spreeuwers2, Raymond Veldhuis2, Lale Akarun1

1 Bilgisayar Muhendisligi Bolumu, Bogazici Universitesi, Turkiye

nese.alyuz,[email protected] Elektrik Muhendisligi, Matematik ve Bilgisayar Bilimi Bolumu, Twente Universitesi, Hollanda

b.gokberk,l.spreeuwers,[email protected]

OzetceUc boyutlu yuz tanıma sistemlerinde, yuzun cesitli kısımlarınınortme nedeniyle kapatılması tanıma basarımını olumsuzetkilemektedir. Bu bildiride, ortmeden kaynaklanan gurultuyuotomatik olarak tespit edip eleyen ve sonrasında bolgeselsınıflandırıcılar kullanarak tanıma saglayan bir sistemonerilmektedir. Ortulen alanların otomatik olarak saptan-ması icin genel bir yuz modeli kullanılmaktadır. Ortmelibolgelerdeki eksik bilginin geri catılması, Bosluklu AnaBilesen Analizi (Gappy Principal Component Analysis -GPCA) yontemini esas alan, kısmi Bosluklu Ana BilesenAnalizi (partial Gappy PCA - pGPCA) diye adlandırdıgımızyeni bir yontem ile saglanmaktadır. Ortmeden kaynaklanangurultu, veriden elendikten sonra, ortmesiz yuz verileri yerelbolgelere ayrılmaktadır. Bolgelere ait yerel sınıflandırıcılarıntumlestirilmesiyle ortmeye dayanıklı tanıma yapılabilmektedir.Bosphorus 3B yuz veri kutuphanesinden alınan ve gercekortme durumlarına uygun veriler uzerinde elde edilen deneyselsonuclar, gelistirilen yontem ile tanıma basarımının %78.05’ten%94.20’ye cıktıgını gostermektedir.

AbstractOcclusions complicate the process of identifying individuals us-ing their 3D facial scans. We propose a 3D face recognitionsystem that automatically removes occlusion artifacts and iden-tifies the facial image using regional classifiers. Automatic lo-calization of occluded areas is handled by using a generic facemodel. Restoration of missing information after occlusion re-moval is performed by the application of an improved versionof Gappy Principal Component Analysis (GPCA), which we callpartial Gappy PCA (pGPCA). After the removal of noisy dataintroduced by realistic occlusions, occlusion-free faces are rep-resented by local regions. Local classifiers operating on theselocal regions are then fused to achieve occlusion-robust identi-fication performance. Our experimental results obtained on re-alistically occluded facial images from the Bosphorus 3D facedatabase illustrate that our occlusion compensation schemedrastically improves the recognition accuracy from 78.05% to94.20%.

1. GirisYuz tanıma, kullanıcılarca en kolay kabul edilen biyometriktanılama yontemi oldugu gibi, basarımı da parmak izi ve

iris gibi biyometrik sistemlerin basarımına yaklasmıs durum-dadır [1]. Ancak farklı ısıklandırma kosulları, poz farklılıkları,ifade degisimleri ve ortme durumları gibi faktorler yuz tanımabasarımını dusurmektedir. Uc boyutlu (3B) yuz verisininoldugu durumlarda bu zorlukların bir kısmı ile daha kolay basacıkılabilmektedir. Ancak ortme durumu 3B uzayda zorlu birdurum olmayı surdurmektedir, cunku ortmeye sebep olan dıssalnesneler yuz yuzeyinin 3B geometrisini kapatmaktadır.

Iki boyutlu (2B) yuz tanıma alanında, ortme durumlarınıdikkate alan az sayıda calısma bulunmaktadır. Bu calısmalarınbir kısmında, yuz yuzeyi yerel bolgelere bolunmekte vebolgesel karsılastırma sonucları, oylamayla [2] ya da is-tatistiksel yaklasımlarla [3] tumlestirilmektedir. [4]’te iseortmenin olma olasılıgının yuksek oldugu bolgeler elenmek-tedir. [5]’te ise sadece gozlukten kaynaklanan ortme du-rumları ele alınmakta ve gozluk bolgesindeki eksik bilgidoldurulmaktadır. 3B alanda ise Colombo ortme tespiti icinyontemler onermistir [6], [7]. Ortmeli kısımlar tespit edildik-ten sonra, Bosluklu Ana Bilesen Analizi yontemi (Gappy Prin-cipal Component Analysis - GPCA) [8] kullanılarak yuzeybilgisi tekrar hesaplanmaktadır. Elde edilen yuzler butunselsınıflandırıcılarla tanınmaktadır. Colombo, deneylerinde FRGCv1 [9] veri kutuphanesinden elde edilmis yapay ortmeleri kul-lanmaktadır. Alyuz [10] ise ifade farklılıkları ve ortme du-rumlarına dayanıklı bir sistem gelistirmek icin, yuz yuzeyiniyerel bolgelere ayırarak, bolgesel sınıflandırıcılarla elde edilensonucları tumlestirmektedir.

Bu calısmada, ortme durumlarıyla, i) ortmeli bolgelerintespit edilmesi, ii) bu bolgelerin elenmesi ya da geri catılmasıve iii) cogul bolgesel sınıflandırıcıların kullanılması ile basacıkılması onerilmektedir. Onerilen ortmeye dayanıklı sisteminanalizi icin dogal olarak ortulmus yuz verileri iceren Bosphorus3B yuz veri kutuphanesinden [11] yararlanılmaktadır.

2. Onerilen SistemBu calısmada onerilen ortmeye dayanıklı 3B yuz tanımayontemi, dort asamadan olusmaktadır: (1) yuzleri ortak bir ko-ordinat duzlemine getirmek icin kayıtlama, (2) yuz yuzeyine aitolmayan nesnelerin belirlenmesi icin ortme tespiti, (3) ortmeliolarak isaretlenmis bolgeler icin geri catma, (4) basarımıyukseltmek icin bolgesel sınıflandırıcıların kullanıldıgı tanıma.Gelistirilen sistemin genel yapısı Sekil 1’de verilmistir.

2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU 2011)

750978-1-4577-0463-511/11/$26.00 ©2011 IEEE

Page 2: [IEEE 2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU) - Antalya, Turkey (2011.04.20-2011.04.22)] 2011 IEEE 19th Signal Processing and Communications

Sekil 1: Onerilen 3B yuz tanıma sisteminin genel yapısı.

2.1. Kayıtlama

Bu calısmada, [12]’deki kayıtlama yontemi kullanılmıstır. Bukayıtlama yaklasımında, yuz yuzeyi referans koordinat sis-temine cakıstırılmaktadır. Referans koordinat sistemi, bu-run ucu ile tanımlanan bir merkez noktası ve uc acı iletanımlanmaktadır. Acılardan ikisi, yuzun dusey simetri ekseniile belirlenirken, ucuncu acı ise burun kemerinin egimi ile ifadeedilmektedir. Referans koordinat sistemi ile cakıstırılan yuzyuzeyi, on cephesel ve dik hale gelmektedir.

2.2. Ortme Tespiti

Bu calısmada iki farklı ortme tespiti yaklasımı incelenmektedir.Bu yaklasımlardan ilki, bir yuzeyin ortalama bir yuz modelineolan uzaklıgını dikkate almaktadır [7]. Bu yontemde, yuzeyinortalama modele olan mutlak uzaklıgı hesaplanarak, fark imgesielde edilir. Fark imgesine uygulanan esikleme ile ortmeye tabiolan bolgeler tespit edilir.

Ikinci ortme tespit yaklasımında ise [6], ortmenin bu-lundugu yuzey imgesi ilk olarak Ana Bilesen Analizi (Prin-cipal Component Analysis - PCA) ile elde edilen altuzayadusurulmekte, ve sonrasında ilk yuz uzayına geri catılmaktadır.Altuzay ortmesiz ifadesiz yuz imgelerine PCA uygulanmasıylaelde edilmektedir. Bu yontemdeki fark imgesi, bir yuz im-gesinin gericatılmıs hali ile arasındaki mutlak uzaklıgın hesa-planmasıyla olusturulmaktadır.

2.3. Bosluklu Ana Bilesen Analizi (Gappy PCA - GPCA) ileGeri Catma

Bosluklu Ana Bilesen Analizi yontemi, ilk olarak Everson veSirovich [8] tarafından eksik kısımları olan veriler ile calısmakicin onerilmistir. GPCA yontemi ile bilinmeyen yuzey bilgi-lerini tahmin etmek icin, ilk olarak sistemimizin ortme tespitisafhası ile yuzeyde eksik yerler tespit edilir. Eksik bilgi tah-min edilmeden once, PCA yonteminde oldugu gibi, GPCAyonteminde de, ilk olarak ifadesiz ve ortmesiz egitim kumesikullanılarak genel yuz modeli elde edilmektedir. Ortmesiz yuzimgeleri, {x1, . . . ,xN} ∈ Rn olsun. Bu baz vektorlerinin biralt kumesi kullanılarak (M < N ) bir yuz imgesi su sekildetahmin edilebilir:

x = μ+

M∑

i=1

αivi. (1)

Burada, μ ortalamayı, vi bir ozvektoru, αi ise bu ozvektorunkatsayısını ifade etmektedir. Ozvektorlerin katsayıları, verilenyuz imge vektoru ve ozvektorlerin ic carpımı ile hesaplanmak-tadır.

Varsayalım ki, y, x vektorumuzun bazı bilgileri eksik olanbir surumu olsun. Bu y vektorunun eksik bilgilerinin yer-leri ise m maskesinde kodlanmıs olsun: yi = ximi. Bumaskede 0 degerine sahip yerler ortmenin varoldugu bolgeleredenk gelmektedir. GPCA yontemindeki amac, PCA’dekine ben-zer bir sekilde girdi imgesini tahmin eden bir ifade bulmaktır:

y � y = μ+

M∑

i=1

βivi. (2)

Ancak, bu ifadedeki βi katsayıları PCA’deki gibi ic carpımile elde edilememektedir. Bunun yerine, gericatım hatasınınkaresini minimize eden katsayılar bulunmalıdır. Gericatımhatasının karesi basitce su sekilde ifade edilebilir:

E = ||y − y||2. (3)

Bu hata ifadesinin iyilestirilmesi, yalnızca varolan bilgininkullanılması ile saglanabilir. Bu durumda, ortmenin yada boslukların oldugu yuzey kısımları hata hesabına dahiledilmemelidir. Eksik bilginin oldugu bolgeleri hata hesabınadahil etmemek icin, bosluklu norm kullanılmalıdır. Bir m

maskesine sahip bir u vektoru icin bosluklu norm su sekildeifade edilebilir:

||u|| =√

(u,u)m. (4)

Burada, (u,u)m su sekilde verilebilir:

(u,u)m =

n∑

i=1

uiuimi. (5)

Bosluklu norm kullanarak hata ifadesi su sekilde tekrartanımlanabilir:

Em = ||y − y||2m. (6)

Bu ifadeyi minimize eden katsayıları bulmak icin, kareli ifadeyiacarak bu hata ifadesini tekrar yazar ve bu ifadenin βi kat-sayılarına gore turevini sıfıra esitlersek, asagıdaki ifadeyi eldeederiz:

∂E

∂βi= −zi +

M∑

j=1

βjAij = 0. (7)

Burada zi = (y,vi)m ve Aij = (vi,vj)m esitlikleri kul-lanılmaktadır. Bu dogrusal sistem ise Aβ = z seklindeyazılırsa, katsayılar su sekilde hesaplanabilir:

β = A−1z. (8)

Katsayılar hesaplandıktan sonra, Denklem (2) kul-lanılarak eksik bolgelere sahip imge tekrar hesaplanmak-tadır. Colombo’nun calısmalarından [6, 7] farklı olarak, bizbu calısmada tekrar hesaplanan imge bilgilerini sadece eksikbolgeleri doldurmak icin kullandık. Ortme durumundan et-kilenmeyen kısımlarda ise orijinal yuz imgesindeki verilerdenyararlandık. Bu yontemi kısmi Bosluklu Ana Bilesen Analizi(partial GappyPCA - pGPCA) olarak adlandırdık.

2.4. Sınıflandırma

Yuz tanıma sisteminin sınıflandırma asamasında ise, yuzu birbutun olarak ele almak yerine, bir grup yerel bolgenin bilesimiolarak kabul ettik. Ortmeye dayanıklı bir sistem gelistirmek

2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU 2011)

751

Page 3: [IEEE 2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU) - Antalya, Turkey (2011.04.20-2011.04.22)] 2011 IEEE 19th Signal Processing and Communications

amacıyla, yuz yuzeyinin bolgesel olarak analiz edilmesiilk olarak [10]’da onerilmistir. Bu yontem, [13]’te ifadefarklılıklarıyla basa cıkmak icin kullanılmıstır. Bu calısmada,yuz imgesinin bolgesel olarak incelenmesi icin [12]’de onerilenve Sekil 2’de gosterilen yerel bolgeler kullanılmıstır.

Sekil 2: Bolgesel sınıflandırıcı deneylerinde kullanılan [12]’ye aitcakısan yerel bolgeler. Toplam 30 bolge bulunmaktadır ve yerelbolgeler ornek bir imge uzerinde gosterilmistir. Siyahla renklendirilmiskısımlar dikkate alınmayan bolgeleri ifade etmektedir.

Bu calısmada, hem genel hem de yerel sınıflandırmaislemleri icin, iki farklı tip sınıflandırıcı kullanılmıstır: (1)derinlik fark degerlerine dayalı sınıflandırıcı, (2) olabilirlikoranına dayalı sınıflandırıcı. Duzgelenmis derinlik farkı susekilde verilir:

dabs(Im, In) =

∑Ni=1

∑Nj=1 |Im(i, j)− In(i, j)|

Nmn. (9)

Burada Im ve In iki farklı yuze ait derinlik imgesini ifade et-mektedir ve her iki yuz yuzeyinde de gecerli olan nokta sayısıise Nmn ile belirtilmektedir.

Ikinci tip sınıflandırıcı ise olabilirlik oranına dayanmak-tadır [14]. Sorgu imgesi Ip, bu imgenin dogru sınıf etiketi ise c

ile ifade edilirse, olabilirlik oranı su sekilde hesaplanır:

L(Ip) =p(Ip|c)p(Ip|c) . (10)

Burada p(Ip|c), Ip imgesinin c sınıfına ait olmama olasılıgıdır.Bu sınıflandırıcılarda, en yuksek olabilirlik oranına sahip sınıfınetiketi, o sorgu imgesinin etiketi olarak atanır [14].

Yerel sınıflandırıcı sonucları elde edildikten sonra, busınıflandırıcıların tumlestirilmesiyle sorgu imgesine tek biretiket atanması saglanır. Bu calısmada derinlik bilgisine dayalısınıflandırıcılar icin carpım kuralı kullanılırken, olabilirlik oranısınıflandırıcıları oy coklugu yontemi ile tumlestirilmektedir.

3. Deneysel Sonuclar3.1. Veri Kutuphaneleri

Deneylerde, ifade farklılıkları, poz degisimleri ve ortme du-rumları iceren Bosphorus 3B yuz veri kutuphanesi [11]kullanılmıstır. Bu veri kutuphanesi, 105 kisiden, 34 ifadefarklılıgı, 13 poz degisikliligi ve dort ortme durumu ol-mak uzere 4666 imge icermektedir. Bu calısmada ifade vepoz farklılıklarını iceren imgeler dikkate alınmamıstır. Ga-leri kumesi, ifadesiz imgelerle olusturulmustur ve toplam 105kisinin 299 ifadesiz imgesini icermektedir. Sorgu kumesi isetoplam 381 ortmeli imgeyi icermektedir. Dort farklı ortme du-rumu mevcuttur: (1) goz bolgesinde gozluk ile ortme, (2) goz

bolgesinde el ile ortme, (3) agız bolgesinde el ile ortme, (4) sacile ortme. Sekil 3’te ortme cesitleri gorulmektedir.

(a) (b) (c) (d)

Sekil 3: Bosphorus 3B yuz veri kutuphanesinde varolan dort cesitortme durumu: (a) goz bolgesinde gozluk ile ortme, (b) goz bolgesindeel ile ortme, (c) agız bolgesinde el ile ortme, (d) sac ile ortme.

Galeri ve sorgu kumelerindeki tum imgeler [12]’dekiyontem kullanılarak kayıtlanmıstır. Gorsel olarak analizedildiginde, tum ifadesiz imgeler dogru olarak kayıtlanırken,381 ortmeli imgelerin 328’i dogru olarak (%86.10)kayıtlanmıstır. Gorsel analiz sonucunda, yanlıs kayıtlananyuzlerde veri toplama sırasında olusan hataların mevcut oldugugorulmustur. Bu calısmadaki asıl amac kayıtlama safhasıolmadıgından, yanlıs kayıtlanan imgeler, sonraki deneylerdegozardı edilmistir ve sorgu kumesi 328 imgeye dusurulmustur.

3.2. Ortme Tespiti Sonucları

Ortme tespiti safhasında, iki farklı yontem test edilmistir:(1) sorgu imgesi ve ortalama model arasındaki fark hari-tası uzerinde esikleme ile ortme tespiti (MaskeORT ), (2)sorgu imgesi ve sorgu imgesinin PCA ile geri catılmıs haliarasındaki fark haritası uzerinde esikleme ile ortme tespiti(MaskePCA). Iki ortme tespit yonteminin basarımlarınıkarsılastırmak icin, derinlik imge farklarına dayalı yuz tanımayontemi kullanılmıstır. Ortme tespitiyle elde edilen maskeler,benzerlik degerleri hesaplanırken ortmeli kısımların gozardıedilmesi icin kullanılmıstır. Elde edilen tanıma basarımları,Tablo 1’de verilmistir. Buradaki tanıma deneylerinde, uc farklıortme maskesi kullanılmıstır: (1) MaskeEL, (2) MaskeORT

ve (3) MaskePCA. Otomatik ortme tespit yontemlerininbasarısını olcebilmek icin elle isaretlenen ortme maskesi,MaskeEL ile ifade edilmektedir. Otomatik olarak elde edilenmaskeler elle isaretlenmis maskeye gore dusuk basarıma sahip-tir. Yine de ortalama modele olan fark uzerinden esikleme ileelde edilen maske, geri catım ile elde edilen maskeye gore cokdaha iyi sonuclar vermektedir.

Tablo 1: Ortme maskeleriyle ifade edilen ortmeli kısımların gozardıedilmesiyle elde edilen tanıma basarımları.

Maske Tanıma Basarımı (%)MaskeEL 83.84MaskeORT 82.01MaskePCA 79.88

3.3. Geri Catma Sonucları

Ortmeli kısımlar tespit edildikten sonra, ortmeli yuzeylerGPCA yontemi kullanılarak geri catılabilir. Colombo vearkadaslarının calısmalarından [6, 7] farklı olarak bu calısmadayalnızca ortmeden etkilenen kısımları geri cattık. Karsılastırmayapabilmek icin, iki yontemle daha tanıma sonucları elde ettik:(1) ortmeleri gozardı etmeden ya da geri catmadan tanıma, (2)tum yuz yuzeyinin GPCA ile geri catılması sonrası tanıma. Bu

2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU 2011)

752

Page 4: [IEEE 2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU) - Antalya, Turkey (2011.04.20-2011.04.22)] 2011 IEEE 19th Signal Processing and Communications

deneyler icin elle isaretlenmis ortme maskeleri kullanılmıstır.Tablo 2’de butunsel derinlik bilgisine dayanarak elde edilmistanıma basarımları verilmistir. Bu sonuclardan da anlasılacagıuzere, ortmenin varoldugu durumlarda ortmeli yuzeyleri gericatmak fayda saglamaktadır. Geri catmada ise pGPCA ilesadece ortmeli kısımların doldurulması, tanıma basarımlarınıiyilestirmektedir.

Tablo 2: GPCA ve pGPCA yontemleriyle geri catılmıs yuzeyler icinbutunsel tanıma basarımları.

Yontem Geri Catma Tanıma Basarımı (%)Orijinal Yok 78.05GPCA Butunsel 82.62pGPCA Kısmi 82.93

Tablo 3’te, tespit edilen ortmeli kısımların geri catılmadanyuz yuzeyinden elenmesiyle elde edilen tanıma basarımlarıverilmistir. Bu deneylerde, derinlik bilgisine dayalı butunselsınıflandırıcılar kullanılmıstır. Tablo 3’te verilen sonuclar,ortmeli kısımların geri catılmasıyla sonucların iyilesmediginigostermektedir. Butunsel tanıma deneylerinde, geri catmayerine ortmeli kısımların gozardı edilmesi daha yararlı ol-maktadır. Deneylerde bolgesel sınıflandırıcılar kullanıldıgındaise, ortmeli kısımların geri catılması ya da gozardı edilmesiarasında kaydadeger bir fark olusmamaktadır. Bu sonuclarısıgında, ortmeli yuzeyler icin geri catma yerine ortmeningozardı edilmesinin daha iyi bir alternatif oldugu soylenebilir.

Tablo 3: Butunsel ve bolgesel sınıflandırıclarla elde edilen geri catmalıve geri catmasız tanıma basarımları (%).

Butunsel BolgeselMEL MORT MEL MORT

G. Catmalı 83.84 82.01 85.67 85.98G. Catmasız 82.93 79.57 86.59 85.67

3.4. Tanıma Sonucları

Su ana kadar yaptıgımız karsılastırmalı analizlerde sınıflandırıcıolarak derinlik imgelerinin benzerlikleri kullanılmıstır. Bukısımda sınıflandırıcı olarak olabilirlik oranına dayalıyontemin basarımı incelenmektedir. Tablo 4’te elde edilentanıma basarımları bu iki sınıflandırıcı icin gosterilmektedir.Bolgesel sınıflandırıcılar tumlestirilirken, derinlik im-gesi sınıflandırıcıları icin carpım kuralı, olabilirlik oranısınıflandırıcıları icin ise oy coklugu kullanılmıstır. Tablo 4’teki

Tablo 4: Tum tanıma basarımları (%).

Yaklasım Sınıflandırıcı MaskeEL MaskeORT

Butunsel Derinlik Imgesi 82.93 79.57Bolgesel Derinlik Imgesi 86.59 85.67Bolgesel Olabilirlik Oranı 96.60 94.20

sonuclar ısıgında, yuz yuzeyinin butunsel yerine bolgesel olarakele alınmasının tanıma basarımını arttırdıgı soylenebilir. Elleisaretlenmis ortme maskeleri ve derinlik imgesi sınıflandırıcılarıkullanıldıgında, basarım %82.93’ten %86.59’a cıkmaktadır.Otomatik olarak bulunmus ortme maskeleri kullanıldıgındabasarım dusse de, sonuclarda %79.57’den %85.67’ye, yaklasık%6’lık bir artıs gozlemlenmektedir. Olabilirlik oranına dayalısınıflandırıcılar kullanıldıgında elde edilen artıs oldukca

yuksektir: otomatik olarak elde edilmis ortme maskeleri(MaskeORT ) ve bolgesel olabilirlik oranı sınıflandırıcılarıkullanılarak, derinlik imgesi sınıflandırıcıları ile elde edilen%85.67’lik tanıma oranı %94.20’ye kadar cıkarılmıstır.

4. VargılarBu calısmada, (1) kayıtlama, (2) ortmeli bolgelerin tespiti, (3)ortmeli kısımların geri catma ile doldurulması, (4) bolgeselsınıflandırıcılarla tanıma safhalarından olusan, ortmeyedayanıklı bir sistem onerilmistir. Ortme dikkate alınmadanelde edilen %78.05’lik butunsel tanıma basarımına karsın,olabilirlik oranına dayalı bolgesel sınıflandırıcılar kullanılarakyaklasık %16’lık iyilesme saglanmıstır ve %94.20’lik tanımabasarımı elde edilmistir.

5. Kaynakca[1] P. Phillips, W. Scruggs, AJ O’Toole, PJ Flynn, KW Bowyer,

CL Schott, and M. Sharpe, “FRVT 2006 and ICE 2006 large-scaleresults,” NISTIR, 2007.

[2] J. Kim, J. Choi, J. Yi, and M. Turk, “Effective representation us-ing ICA for face recognition robust to local distortion and partialocclusion,” IEEE Trans. on PAMI, pp. 1977–1981, 2005.

[3] A.M. Martinez, “Recognizing imprecisely localized, partially oc-cluded, and expression variant faces from a single sample perclass,” IEEE Trans. on PAMI, vol. 24, no. 6, pp. 748–763, 2002.

[4] F. Tarres, A. Rama, and L. Torres, “A novel method for facerecognition under partial occlusion or facial expression varia-tions,” in ELMAR 47th Int. Symposium, 2005, pp. 163–166.

[5] J.S. Park, Y.H. Oh, S.C. Ahn, and S.W. Lee, “Glasses removalfrom facial image using recursive error compensation,” IEEETrans. on PAMI, pp. 805–811, 2005.

[6] A. Colombo, C. Cusano, and R. Schettini, “Detection and restora-tion of occlusions for 3D face recognition,” in 2006 IEEE Int.Conf. on Multimedia and Expo, 2006, pp. 1541–1544.

[7] A. Colombo, C. Cusano, and R. Schettini, “Gappy PCA Classi-fication for Occlusion Tolerant 3D Face Detection,” Journal ofMathematical Imaging and Vision, vol. 35, no. 3, pp. 193–207,2009.

[8] R. Everson and L. Sirovich, “Karhunen–Loeve procedure forgappy data,” Journal of the Optical Society of America A, vol.12, no. 8, pp. 1657–1664, 1995.

[9] P.J. Phillips, P.J. Flynn, T. Scruggs, K.W. Bowyer, J. Chang,K. Hoffman, J. Marques, J. Min, and W. Worek, “Overview of theface recognition grand challenge,” in CVPR, 2005. IEEE Com-puter Society Conference on. IEEE, 2005, vol. 1, pp. 947–954.

[10] N. Alyuz, B. Gokberk, and L. Akarun, “A 3D face recognitionsystem for expression and occlusion invariance,” in BTAS, 2008.2nd IEEE Int. Conf. on. IEEE, 2008, pp. 1–7.

[11] A. Savran, N. Alyuz, H. Dibeklioglu, O. Celiktutan, B. Gokberk,B. Sankur, and L. Akarun, “Bosphorus database for 3D face anal-ysis,” Biometrics and Identity Management, pp. 47–56, 2008.

[12] Luuk Spreeuwers, “Fast and accurate 3d face recognition,” Inter-national Journal of Computer Vision, pp. 1–26, 2011.

[13] N. Alyuz, B. Gokberk, and L. Akarun, “Regional registration forexpression resistant 3-D face recognition,” Information Forensicsand Security, IEEE Trans. on, vol. 5, no. 3, pp. 425–440, 2010.

[14] A.M. Bazen and R.N.J. Veldhuis, “Likelihood-ratio-based bio-metric verification,” IEEE Trans. on Circuits and Systems forVideo Technology, vol. 14, no. 1, pp. 86–94, 2004.

2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU 2011)

753