8/2/2019 10.1.1.8.8687

1/9

E e c t i v e I m p l e m e n t a t i o n o f L i n e a r D i s c r i m i n a n t

A n a l y s i s f o r F a c e R e c o g n i t i o n a n d V e r i c a t i o n

Y o n g p i n g L i , J o s e f K i t t l e r , J i r i M a t a s

C e n t r e f o r V i s i o n S p e e c h a n d S i g n a l P r o c e s s i n g ,

U n i v e r s i t y o f S u r r e y , G u i l d f o r d , S u r r e y G U 2 5 X H , E n g l a n d

f Y . L i , J . K i t t l e r , G . M a t a s g @ e e . s u r r e y . a c . u k

A b s t r a c t . T h e a l g o r i t h m i c t e c h n i q u e s f o r t h e i m p l e m e n t a t i o n o f t h e

L i n e a r D i s c r i m i n a n t A n a l y s i s ( L D A ) p l a y a n i m p o r t a n t r o l e w h e n t h e

L D A i s a p p l i e d t o t h e h i g h d i m e n s i o n a l p a t t e r n r e c o g n i t i o n p r o b l e m

s u c h a s f a c e r e c o g n i t i o n o r v e r i c a t i o n . T h e L D A i m p l e m e n t a t i o n i n t h e

c o n t e x t o f f a c e r e c o g n i t i o n a n d v e r i c a t i o n i s i n v e s t i g a t e d i n t h i s p a p e r .

T h r e e m a i n a l g o r i t h m i c t e c h n i q u e s : m a t r i x t r a n s f o r m a t i o n , t h e C h o l e s k y

f a c t o r i s a t i o n a n d Q R a l g o r i t h m , t h e K r o n e c k e r c a n o n i c a l f o r m a n d Q Z

a l g o r i t h m a r e p r o p o s e d a n d t e s t e d o n f o u r p u b l i c l y a v a i l a b l e f a c e d a t a -

b a s e s ( M 2 V T S , Y A L E , X M 2 F D B , H A R V A R D )

1

. E x t e n s i v e e x p e r i m e n t a l

r e s u l t s s u p p o r t t h e c o n c l u s i o n t h a t t h e i m p l e m e n t a t i o n b a s e d o n t h e

K r o n e c k e r c a n o n i c a l f o r m a n d t h e Q Z a l g o r i t h m a c c o m p l i s h e s t h e b e s t

p e r f o r m a n c e i n a l l e x p e r i m e n t s .

1 I n t r o d u c t i o n

T h e l i n e a r d i s c r i m i n a n t a n a l y s i s ( L D A ) a p p r o a c h t o f e a t u r e e x t r a c t i o n i s w e l l

k n o w n 5 ] . A d e t a i l e d d e s c r i p t i o n o f t h e L D A f o r p a t t e r n r e c o g n i t i o n c a n b e

f o u n d i n 2 ] . T h e o r e t i c a l l y , L D A - b a s e d f e a t u r e s s h o u l d e x h i b i t c l a s s i c a t i o n p e r -

f o r m a n c e s u p e r i o r t o t h a t a c h i e v a b l e w i t h t h e f e a t u r e s c o m p u t e d u s i n g P r i n c i p a l

C o m p o n e n t s A n a l y s i s ( P C A ) . H o w e v e r , i n t h e c o n t e x t o f f a c e r e c o g n i t i o n o r v e r i -

c a t i o n t h e L D A m e t h o d h a s o n l y o c c a s i o n l y b e e n r e p o r t e d t o o u t p e r f o r m t h e

P C A a p p r o a c h 7 ] . B e t t e r p e r f o r m a n c e o f t h e L D A m e t h o d a s c o m p a r e d w i t h

t h e P C A a p p r o a c h w a s r e p o r t e d i n 1 ] 3 ] 4 ] . N o t a b l y , n o d e t a i l s r e g a r d i n g t h e

i m p l e m e n t a t i o n o f t h e L D A a l g o r i t h m w e r e p r e s e n t e d i n t h e s e p a p e r s .

S o f a r l i t t l e a t t e n t i o n h a s b e e n p a i d t o t h e i m p l e m e n t a t i o n o f L D A . I n t h i s

w o r k w e t e s t t h e h y p o t h e s i s t h a t p o o r p e r f o r m a n c e o f L D A i n f a c e r e c o g n i t i o n

e x p e r i m e n t s ( a s a n e x a m p l e o f h i g h - d i m e n s i o n a l p r o b l e m s w i t h a s m a l l t r a i n i n g

s e t ) c a n b e a t l e a s t p a r t i a l l y e x p l a i n e d b y i n c o r r e c t s e l e c t i o n o f t h e n u m e r i c a l

m e t h o d f o r s o l v i n g t h e a s s o c i a t e d e i g e n v a l u e p r o b l e m .

1

S e e h t t p : / / w w w . t e l e . u c l . a c . b e / M 2 V T S f o r M 2 V T S d a t a b a s e ; s e e

h t t p : / / c v c . y a l e . e d u / p r o j e c t s / y a l e f a c e s / y a l e f a c e s . h t m l f o r Y A L E f a c e d a t a b a s e ;

s e e h t t p : / / w w w . e e . s u r r e y . a c . u k / R e s e a r c h / V S S P / x m 2 f d b f o r X M 2 F D B d a t a b a s e ; s e e

f t p : / / f t p . h r l . h a r v a r d . e d u / p u b / f a c e s f o r H A R V A R D f a c e d a t a b a s e .

8/2/2019 10.1.1.8.8687

2/9

T h e w o r k p r e s e n t e d h e r e i n v e s t i g a t e s t h e e c a c y o f v a r i o u s a l g o r i t h m s f o r

f a c e r e c o g n i t i o n a n d v e r i c a t i o n b a s e d o n L i n e a r D i s c r i m i n a n t A n a l y s i s . A n i m -

p l e m e n t a t i o n w h i c h e m p l o y s t h e K r o n e c k e r c a n o n i c a l f o r m a n d t h e Q Z a l g o r i t h m

i s r e c o m m e n d e d b e c a u s e o f i t s s t a b i l i t y . T h i s r o b u s t a l g o r i t h m a c h i e v e s t h e b e s t

p e r f o r m a n c e i n a l l e x p e r i m e n t s . T h e e x p e r i m e n t s w e r e u n d e r t a k e n o n f o u r p u b -

l i c l y a v a i l a b l e f a c e d a t a b a s e s : t h e M 2 V T S d a t a b a s e , t h e X M 2 F D B d a t a b a s e , t h e

Y a l e f a c e d a t a b a s e a n d t h e H a r v a r d f a c e d a t a b a s e .

T h e p a p e r i s o r g a n i s e d a s f o l l o w s . I n S e c t i o n 2 w e b r i e y d e s c r i b e t h e t h e o r e t -

i c a l f r a m e w o r k o f f a c e r e c o g n i t i o n a p p r o a c h e s b a s e d o n t h e e i g e n v a l u e a n a l y s i s o f

m a t r i c e s o f s e c o n d o r d e r s t a t i s t i c a l m o m e n t s . C o m p u t a t i o n a l c o n s i d e r a t i o n s a n d

a l g o r i t h m i c t e c h n i q u e s f o r t h e i m p l e m e n t a t i o n o f L D A a r e p r e s e n t e d i n S e c t i o n

3 . A d e s c r i p t i o n o f t h e e x p e r i m e n t s i n c l u d i n g t h e f a c e d a t a b a s e s , e x p e r i m e n t a l

p r o t o c o l , a l g o r i t h m s i n v o l v e d a n d t h e e x p e r i m e n t a l r e s u l t s o b t a i n e d a r e g i v e n i n

S e c t i o n 4 . F i n a l l y a s u m m a r y a n d s o m e c o n c l u s i o n s a r e p r e s e n t e d i n S e c t i o n 5 .

2 L i n e a r D i s c r i m i n a n t A n a l y s i s

F o r a s e t o f v e c t o r s x

i

; i = 1 ; : : : ; M , x

i

2 R

D

b e l o n g i n g t o o n e o f c c l a s s e s

f C

1

; C

2

; : : : ; C

c

g , t h e b e t w e e n - c l a s s s c a t t e r m a t r i x S

B

a n d w i t h i n - c l a s s s c a t t e r

m a t r i x S

W

a r e d e n e d a s

S

B

=

c

X

k = 1

(

k

? ) (

k

? )

T

( 1 )

S

W

=

c

X

i = 1

X

x

k

2 C

i

( x

k

?

i

) ( x

k

?

i

)

T

( 2 )

w h e r e i s t h e g r a n d m e a n a n d

i

i s t h e m e a n o f c l a s s C

i

.

T h e o b j e c t i v e o f L D A i s t o n d a t r a n s f o r m a t i o n m a t r i x W

o p t

m a x i m i s i n g

t h e r a t i o o f d e t e r m i n a n t s

j W

T

S

B

W j

j W

T

S

W

W j

. W

o p t

i s k n o w n t o b e t h e s o l u t i o n o f t h e

f o l l o w i n g e i g e n s y s t e m p r o b l e m ( 2 ] ) :

S

B

W ? S

W

W = 0 ( 3 )

P r e m u l t i p l y i n g b o t h s i d e s b y S

? 1

W

, ( 3 ) b e c o m e s :

( S

? 1

W

S

B

) W = W ( 4 )

w h e r e i s a d i a g o n a l m a t r i x w h o s e e l e m e n t s a r e t h e e i g e n v a l u e s o f E q u a t i o n

( 3 ) . I n t h e c o n t e x t o f f a c e r e c o g n i t i o n , t h e c o l u m n v e c t o r s w

i

( i = 1 ; : : : ; c ? 1 )

o f m a t r i x W a r e r e f e r r e d t o a s s h e r f a c e s 1 ] .

D i m e n s i o n a l i t y r e d u c t i o n . I n h i g h d i m e n s i o n a l p r o b l e m s ( e . g . i n t h e c a s e

w h e r e x

i

a r e i m a g e s a n d D i s 1 0

5

) S

W

i s a l m o s t a l w a y s s i n g u l a r , s i n c e t h e n u m -

b e r o f t r a i n i n g s a m p l e s M i s m u c h s m a l l e r t h a n D . T h e r e f o r e a d i m e n s i o n a l i t y

r e d u c t i o n m u s t b e a p p l i e d b e f o r e s o l v i n g t h e e i g e n p r o b l e m ( 3 ) . C o m m o n l y , t h e

8/2/2019 10.1.1.8.8687

3/9

d i m e n s i o n a l i t y r e d u c t i o n i s a c h i e v e d b y P r i n c i p a l C o m p o n e n t A n a l y s i s 1 1 ] 1 ] ;

t h e r s t ( M ? c ) e i g e n p r o j e c t i o n s a r e u s e d t o r e p r e s e n t v e c t o r s x

i

. T h i s a l s o

a l l o w s S

W

a n d S

B

t o b e c a l c u l a b l e i n c o m p u t e r w i t h a n o r m a l m e m o r y s i z e . T h e

o p t i m a l l i n e a r f e a t u r e e x t r a c t o r W

o p t

i s t h e n d e n e d a s :

W

o p t

= W

f l d

W p c a ( 5 )

w h e r e W

p c a

i s t h e P C A p r o j e c t i o n m a t r i x a n d W

f l d

i s t h e o p t i m a l p r o j e c t i o n

o b t a i n e d b y m a x i m i s i n g

W

f l d

= a r g m a x

W

j W

T

W

T

p c a

S

W

W

p c a

W j

j W

T

W

T

p c a

S

B

W

p c a

W j

( 6 )

3 A l g o r i t h m s f o r t h e S

B

? S

W

( p e n c i l ) e i g e n p r o b l e m

T h o u g h b o t h S

B

a n d S

W

a r e r e a l s y m m e t r i c m a t r i c e s , t h e p r o d u c t m a t r i x S

P

w h e r e S

P

= S

? 1

W

S

B

n e e d s n o t b e s y m m e t r i c 6 ] . T h e r e f o r e d i r e c t l y s o l v i n g t h e

e i g e n p r o b l e m o f s i n g l e m a t r i x ( S

P

) w i l l l e a d t o u n s t a b l e e i g e n v a l u e s a n d e i g e n -

v e c t o r s .

S e v e r a l a l g o r i t h m i c t e c h n i q u e s c a n b e u s e d t o s o l v e t h e e i g e n p r o b l e m o f

S

B

w ? S

W

w . T h e s e t o f m a t r i c e s i n t h e f o r m o f S

B

? S

W

i s r e f e r r e d t o

a s a l i n e a r p e n c i l . A s b o t h S

B

a n d S

W

a r e c o v a r i a n c e m a t r i c e s , t h e y a r e e i t h e r

p o s i t i v e d e n i t e o r s e m i - p o s i t i v e d e n i t e r e a l s y m m e t r i c m a t r i c e s .

T h e m a t r i x t r a n s f o r m a t i o n t e c h n i q u e . A m a t r i x t r a n s f o r m a t i o n t e c h -

n i q u e d e s c r i b e d i n 2 ] i s u s e d t o c o n v e r t t h e p e n c i l t o a t r a n s f o r m e d r e a l s y m -

m e t r i c m a t r i x . I n o r d e r t o o b t a i n t h i s t r a n s f o r m a t i o n , t h e e i g e n v a l u e s a n d e i -

g e n v e c t o r s o f S

W

a r e r s t l y c o m p u t e d . T h e y a r e d e n o t e d a s

w

a n d V

w

a n d

s a t i s f y

S

W

V

w

? V

w

w

= 0 ( 7 )

I f S

W

i s a s y m m e t r i c p o s i t i v e d e n i t e m a t r i x , t h e r e e x i s t s a m a t r i x B s u c h t h a t

B

T

S

W

B = I ( 8 )

C o m p a r i n g ( 7 ) a n d ( 8 ) , w e h a v e

B = V

w

? 1 = 2

w

( 9 )

L e t u s d e n e a t r a n f o r m a t i o n m a t r i x S

0

B

= B

T

S

B

B . T h e n t h e e i g e n s y s t e m

p r o b l e m b e c o m e s

S

0

B

V ? V

~

= 0 ( 1 0 )

A s t h e r a n k o f S

B

' i s a t m o s t c ? 1 , i t w i l l h a v e o n l y d ( d c ? 1 ) n o n - z e r o

e i g e n v a l u e s . T h i s m e a n s t h a t a l l t h e r e l e v a n t i n f o r m a t i o n i s c o m p r e s s e d i n t o d

e i g e n v e c t o r s a s s o c i a t e d w i t h t h e n o n - z e r o e i g e n v a l u e s o f S

0

B

. D e n o t i n g t h e s y s t e m

o f t h e s e e i g e n v e c t o r s b y V ' , i . e . ,

V

0

= f v

1

; v

2

; : : : ; v

d

g ( 1 1 )

8/2/2019 10.1.1.8.8687

4/9

t h e o p t i m a l f e a t u r e e x t r a c t o r W

o p t

i s g i v e n a s

W

o p t

= B V

0

= V

w

? 1 = 2

w

V

0

( 1 2 )

C h o l e s k y f a c t o r i s a t i o n a n d Q R a l g o r i t h m . W h e n t h e d i m e n s i o n s o f S

W

a n d S

B

a r e r e d u c e d f r o m D t o n ( n ( M ? c ) ) , S

W

b e c o m e s p o s i t i v e d e n i t e

a n d t h e p e n c i l t u r n s o u t t o b e a s y m m e t r i c d e n i t e p e n c i l . T h e p r o b l e m o f ( 3 )

c a n t h e n b e c o n v e r t e d t o ( 1 3 ) b e l o w u s i n g t h e c o n g r u e n c e t r a n s f o r m a t i o n .

( X

T

S

B

X ) W ? ( X

T

S

W

X ) W = 0 ( 1 3 )

w h e r e S

W

= S

T

W

2 I R

n n

, S

B

= S

T

B

2 I R

n n

a n d t h e m a t r i x X s a t i s e s

X

T

S

W

X = I ; X

T

S

B

X = d i a g (

1

; : : : ;

n

) ( 1 4 )

T h e s t e p s t o c o m p u t e W

o p t

a r e d e n e d a s f o l l o w s

{ T h e C h o l e s k y f a c t o r i s a t i o n S

W

= L L

T

i s c o m p u t e d r s t u s i n g t h e m e t h o d

g i v e n i n 8 ] . F o r m u l a ( 4 ) n o w b e c o m e s

L

? T

L

? 1

S

B

W = W ( 1 5 )

M u l t i p l y i n g b o t h s i d e s b y L

T

, w e g e t

L

? 1

S

B

W = L

T

W ( 1 6 )

w h i c h c a n b e r e w r i t t e n a s

( L

? 1

S

B

L

? T

) ( L

T

W ) = ( L

T

W )

o r

P Y ? Y = 0 ( 1 7 )

w h e r e P = L

? 1

S

B

L

? T

a n d Y = L

T

W

{ T h e n t h e s y m m e t r i c Q R a l g o r i t h m c a n b e a p p l i e d t o c o m p u t e t h e S c h u r

d e c o m p o s i t i o n

Q

T

P Q = d i a g (

1

; : : : ;

n

) ( 1 8 )

{ F i n a l l y , t h e e i g e n v e c t o r s a r e c a l c u l a t e d b y

W

o p t

= L

? T

Q ( 1 9 )

K r o n e c k e r c a n o n i c a l f o r m a n d Q Z a l g o r i t h m . T h e m o r e g e n e r a l s i t u -

a t i o n i s t h a t b o t h S

W

a n d S

B

a r e n e a r s i n g u l a r , t h u s n e i t h e r t h e m a t r i x t r a n s -

f o r m a t i o n n o r t h e C h o l e s k y f a c t o r i s a t i o n c a n b e a p p l i e d . I n s u c h s i t u a t i o n s t h e

Q Z a l g o r i t h m m u s t b e e m p l o y e d .

T h e m a i n i d e a o f t h e Q Z a l g o r i t h m i n t r o d u c e d i n 9 ] i s t o t r a n s f o r m m a t r i c e s

S

W

a n d S

B

s i m u l t a n e o u s l y t o t r i a n g u l a r m a t r i c e s

~

B a n d

~

A t h a t s a t i s f y

~

B = Q S

W

Z ;

~

A = Q S

B

Z ( 2 0 )

8/2/2019 10.1.1.8.8687

5/9

w h e r e m a t r i c e s Q a n d Z a r e d e r i v e d a s a p r o d u c t o f t h e G a u s s t r a n s f o r m a t i o n .

H e n c e t h e e i g e n p r o b l e m o f S

B

W = S

W

W i s e q u i v a l e n t t o

~

A W

0

=

~

B W

0

( 2 1 )

I f t h e d i a g o n a l e l e m e n t s o f m a t r i x

~

B a r e n o n z e r o , i . e . ,

~

b

i i

6= 0 , t h e n t h e e i g e n -

v a l u e s a n d e i g e n v e c t o r s o f t h e o r i g i n a l p e n c i l a r e o b t a i n e d b y

i

= ~a

i i

=

~

b

i i

; W

o p t

= Z W

0

( 2 2 )

T h e b e h a v i o u r o f t h e Q Z a l g o r i t h m o n p e n c i l s t h a t a r e n o t o n l y r e g u l a r b u t a l s o

n e a r l y s i n g u l a r i s a n a l y s e d i n 1 5 ] . T h e r e s u l t s r e p o r t e d i n t h a t p a p e r s t r o n g l y

s u p p o r t t h a t w h e n t h e p e n c i l i s s i n g u l a r o r n e a r s i n g u l a r t h e Q Z a l g o r i t h m s h o u l d

b e p r e c e d e d b y a n a l g o r i t h m w h i c h e x t r a c t s t h e s i n g u l a r p a r t o f t h e p e n c i l . T h i s

s i t u a t i o n i s l i k e l y t o a r i s e w h e n L D A i s i n v o l v e d i n f a c e i d e n t i c a t i o n . I f t h e

p e n c i l i s c o n v e r t e d i n t o t h e K r o n e c k e r c a n o n i c a l f o r m ( s e e 1 3 ] ) , t h e g e n e r a l Q Z

a l g o r i t h m a l w a y s w o r k s w e l l . T h i s i s a l s o p r o v e n b y o u r e x p e r i m e n t a l r e s u l t s

s h o w n i n S e c t i o n 4 .

4 E x p e r i m e n t s

4 . 1 F a c e V e r i c a t i o n E x p e r i m e n t s

T h e c o m p a r a t i v e p e r f o r m a n c e o f t h e a l g o r i t h m s p r e s e n t e d i n S e c t i o n 3 w a s t e s t e d

a s p a r t o f a f a c e v e r i c a t i o n e x p e r i m e n t p e r f o r m e d o n d a t a f r o m t h r e e p u b l i c l y

a v a i l a b l e f a c e d a t a b a s e s . A l l i m p l e m e n t a t i o n s o f L D A w e r e t e s t e d u s i n g t h e s a m e

p r o t o c o l .

E x p e r i m e n t a l e n s e m b l e s

T h r e e e x p e r i m e n t a l e n s e m b l e s w e r e s e l e c t e d f r o m t h e t h r e e d i e r e n t f a c e d a t a -

b a s e s . T h e y a r e a l l r e g i s t e r e d u s i n g a n a p p r o a c h b a s e d o n t h e e y e s p o s i t i o n s .

{ T h e E P F L e n s e m b l e : 3 7 p e r s o n s , 4 i m a g e s p e r p e r s o n s e l e c t e d f r o m f o u r

s h o t s o f t h e M 2 V T S d a t a b a s e .

{ T h e Y A L E e n s e m b l e : 1 5 s u b j e c t s , 1 1 i m a g e s p e r s u b j e c t c o n t a i n i n g a l l i m a g e s

i n t h e Y A L E f a c e d a t a b a s e .

{ T h e S U R R E Y e n s e m b l e : 1 0 0 i n d i v i d u a l s , 4 s e s s i o n s , o n e i m a g e p e r s e s s i o n

s e l e c t e d f r o m t h e X M 2 F D B d a t a b a s e

E x p e r i m e n t a l p r o t o c o l

T h e e x p e r i m e n t a l p r o t o c o l w a s r s t l y d e s i g n e d f o r t h e p e r f o r m a n c e e v a l u a t i o n

o f v a r i o u s m e t h o d s c a r r i e d o n t h e M 2 V T S d a t a b a s e . I t c o m b i n e s t h e ' l e a v e - o n e -

o u t ' s t r a t e g y a n d t h e r o t a t i o n s c h e m e 2 ] . F o r a g e n e r a l e n s e m b l e o f c p e r s o n s , s

s e s s i o n s ( s h o t s ) , e a c h p e r s o n i n t u r n i s l a b e l l e d a s a n i m p o s t e r , w h i l s t t h e ( c ? 1 )

o t h e r s a r e c o n s i d e r e d a s c l i e n t s . T h e t r a i n i n g s e t c o n s i s t s o f ( s ? 1 ) s h o t s o f ( c ? 1 )

c l i e n t s . T h e r e m a i n i n g o n e s h o t i s u s e d a s t h e t e s t s e t . E a c h c l i e n t t r i e s t o a c c e s s

u n d e r h i s o r h e r o w n i d e n t i t y ( I D ) a n d t h e i m p o s t e r t r i e s t o a c c e s s u n d e r t h e I D

o f ( c ? 1 ) c l i e n t s . A f t e r a l l r o t a t i o n s , t h e n u m b e r o f c l i e n t a n d i m p o s t e r t e s t s i s

8/2/2019 10.1.1.8.8687

6/9

c s ( c ? 1 ) . T h i s p r o c e d u r e l e a d s t o 5 3 2 8 t e s t s f o r E P F L e n s e m b l e , 2 3 1 0 t e s t s

f o r Y A L E e n s e m b l e a n d 3 9 6 0 0 t e s t s f o r S U R R E Y e n s e m b l e .

R e s u l t s o f t h e f a c e v e r i c a t i o n e x p e r i m e n t s

T h e f o l l o w i n g i m p l e m e n t a t i o n m e t h o d s a r e a p p l i e d i n t h e e x p e r i m e n t s f o r c o m -

p a r i s o n .

{ E i g e n f a c e a p p r o a c h b a s e d o n t h e P r i n c i p a l C o m p o n e n t s A n a l y s i s a b b r e v i -

a t e d a s \ P C A " .

{ L D A m e t h o d i m p l e m e n t e d u s i n g t h e C h o l e s k y f a c t o r i s a t i o n a n d t h e Q R

a l g o r i t h m a b b r e v i a t e d a s \ Q R " .

{ L D A m e t h o d i m p l e m e n t e d u s i n g t h e K r o n e c k e r c a n o n i c a l f o r m a n d t h e Q Z

a l g o r i t h m a b b r e v i a t e d a s \ Q Z " .

{ L D A m e t h o d i m p l e m e n t e d u s i n g m a t r i x t r a n s f o r m a t i o n t e c h n i q u e s a b b r e v i -

a t e d a s \ M T " .

T h e e i g e n f a c e ( P C A ) m e t h o d u s e d a l l o f t h e a v a i l a b l e e i g e n f a c e s t o m a k e t h e

r e s u l t s a s g o o d a s p o s s i b l e , s o d i d a l l t h e ' L D A ' a l g o r i t h m s . E x p e r i m e n t a l r e s u l t s

a r e p r e s e n t e d i n t e r m s o f t h e r e c e i v e r o p e r a t i n g c h a r a c t e r i s t i c s c u r v e ( R O C ) . A l l

R O C c u r v e s a r e d i s p l a y e d i n F i g u r e s 1 , 2 , 3 . T h e e q u a l e r r o r r a t e ( E E R ) f o r a l l

e x p e r i m e n t s a r e g i v e n i n T a b l e 1 . W e c a n n d f r o m t h e s e r e s u l t s t h a t t h e \ Q Z "

a l g o r i t h m a c h i e v e s t h e b e s t p e r f o r m a n c e o n e v e r y e n s e m b l e .

0.00 0.10 0.20 0.30

False Acceptance

0.00

0.10

0.20

0.30

FalseRejection

ROC curves of LDA algorithms

(Images: EPFL ensemble from M2VTS database)

PCA(Eigenface)

LDA(QZ algorithm)

LDA(QR algorithm)

LDA(MT algorithm)

EER

F i g . 1 . P e r f o r m a n c e s o n

t h e E P F L e n s e m b l e

R e s u l t s o f a l g o r i t h m s

E n s e m b l e \ P C A " \ M T " \ Q R " \ Q Z "

E P F L 2 2 . 3 2 6 . 2 2 6 . 2 3 . 1

Y A L E 3 3 . 3 1 8 . 2 6 . 5 2 . 3

S U R R E Y 9 . 3 1 9 . 6 1 9 . 6 2 . 9

T a b l e 1 . E q u a l e r r o r r a t e s o f v e r i c a -

t i o n e x p e r i m e n t s u s i n g t h e e i g e n p r o j e c -

t i o n m e t h o d ( P C A ) , C h o l e s k y f a c t o r i s a t i o n

( Q R ) , K r o n e c k e r c a n o n i c a l f o r m ( Q Z ) a n d

t h e M a t r i x t r a n s f o r m a t i o n t e c h n i q u e ( M T ) .

R e s u l t s a n a l y s i s a n d i m p r o v e m e n t c o n s i d e r a t i o n

F r o m T a b l e 1 , w e n d n o t o n l y t h a t t h e r e a r e b i g d i e r e n c e s b e t w e e n t h e r e s u l t s

w h e n L D A i s i m p l e m e n t e d u s i n g v a r i o u s a l g o r i t h m s b u t a l s o t h a t t h e e i g e n f a c e

8/2/2019 10.1.1.8.8687

7/9

0.00 0.10 0.20 0.30 0.40

False Acceptance

0.00

0.10

0.20

0.30

0.40

FalseRejection

ROC curves of LDA algorithms

(Images: YALE ensemble from YALE database)

PCA(Eigenface)

LDA(QZ algorithm)

LDA(QR algorithm)

LDA(MT algorithm)

EER

F i g . 2 . P e r f o r m a n c e s o n

t h e Y A L E e n s e m b l e

0.00 0.10 0.20 0.30

False Acceptance

0.00

0.10

0.20

0.30

FalseRejection

ROC curves of LDA algorithms

(Images: SURREY ensemble from XM2FDB database)

PCA(Eigenface)

LDA(QZ algorithm)

LDA(QR algorithm)

LDA(MT algorithm)

EER

F i g . 3 . P e r f o r m a n c e s o n

t h e S U R R E Y e n s e m b l e

m e t h o d i n s o m e c a s e s a c h i e v e s b e t t e r r e s u l t s t h a n t h e \ Q R " a n d \ M T " a l -

g o r i t h m s . S i m i l a r r e s u l t s w e r e a l s o o b t a i n e d b y o t h e r r e s e a r c h e r s . O n e e x a m p l e

c a n b e f o u n d i n 7 ] w h e r e t h e r e s u l t s o f t h e e i g e n f a c e m e t h o d w e r e b e t t e r t h a n

t h o s e y i e l d e d b y t h e M D F ( m o s t d i s c r i m i n a n t f e a t u r e ) m e t h o d

2

. T h i s c o n t r a s t s

w i t h t h e t h e o r y w h i c h f a v o u r s L D A .

W e w e r e s u r p r i s e d t h a t t h e L D A m e t h o d w a s s e l d o m r e p o r t e d t o e x h i b i t

b e t t e r r e s u l t s t h a n t h e e i g e n f a c e a p p r o a c h . E v e n t u a l l y , w e d e v e l o p e d a r o b u s t

i m p l e m e n t a t i o n ( \ Q Z " ) o f L D A w h i c h a l w a y s o u t p e r f o r m s t h e e i g e n f a c e m e t h o d .

W h i l e c o m p a r i n g t h e i m m e d i a t e r e s u l t s , w e f o u n d t h a t a n i m p o r t a n t p r o c e s s i n g

s t e p w a s o m i t t e d i n b o t h \ Q R " a n d \ M T " a l g o r i t h m s .

C h e c k i n g t h e b a c k g r o u n d o f t h e s e a l g o r i t h m i c t e c h n i q u e s , s o m e p r e - r e q u i s i t e s

p l a y a n i m p o r t a n t r o l e i n t h e a p p l i c a t i o n . F o r e x a m p l e , t h e C h o l e s k y f a c t o r i s a -

t i o n r e q u i r e s t h e m a t r i x t o b e \ w e l l - c o n d i t i o n e d e n o u g h " ; t h e J a c o b i m e t h o d

2

T h e M D F m e t h o d i s a d i e r e n t n a m e o f t h e L D A a p p r o a c h .

8/2/2019 10.1.1.8.8687

8/9

w h i c h n d s t h e e i g e n s o l u t i o n f o r a r e a l s y m m e t r i c m a t r i x p e r f o r m s t h e e i g e n -

v e c t o r n o r m a l i s a t i o n a t e v e r y i t e r a t i o n w i t h a r o u n d o t h r e s h o l d i n g p r e c i s i o n . I f

t h e m a t r i x i s q u i t e w e l l - c o n d i t i o n e d , t h e o r t h o n o r m a l i s a t i o n o f t h e e i g e n v e c t o r s

w i l l b e s a t i s f a c t o r y f o r b o t h t h e \ Q R " a l g o r i t h m a n d t h e \ M T " a l g o r i t h m . T h e

Q Z a l g o r i t h m i s d e s i g n e d t o d e a l d i r e c t l y w i t h t h e p e n c i l p r o b l e m ( i n t h e f o r m o f

A x = B x ) a n d i t s p e r f o r m a n c e i s u n a e c t e d b y s i n g u l a r i t y o r n e a r - s i n g u l a r i t y

o f A , B o r A ? B .

H o w e v e r , e x c e p t w h e n S

W

i s r e a l l y s i n g u l a r , b o t h \ Q R " a n d \ M T " a l -

g o r i t h m s c a n a c h i e v e n e a r l y t h e s a m e r e s u l t s a s \ Q Z " a l g o r i t h m b y a p p l y i n g

a s u p p l e m e n t a r y n o r m a l i s a t i o n o f t h e n a l e i g e n v e c t o r s .

4 . 2 F a c e R e c o g n i t i o n E x p e r i m e n t s

A s a c o m p a r i s o n , t h e f a c e r e c o g n i t i o n e x p e r i m e n t s d e s c r i b e d i n 1 ] w e r e r e p e a t e d

u s i n g t h e L D A a p p r o a c h i m p l e m e n t e d w i t h \ Q Z " a l g o r i t h m . I m a g e s f r o m b o t h

t h e H a r v a r d d a t a b a s e a n d t h e Y a l e d a t a b a s e w e r e c e n t r e d a n d c r o p p e d t o e m u -

l a t e t h e d a t a s h o w n i n 1 ] . R e s u l t s a r e g i v e n i n T a b l e s 2 , 3 .

E r r o r R a t e ( % ) o f f a c e r e c o g n i t i o n e x p e r i m e n t s o n H a r v a r d D a t a b a s e

M e t h o d R e d u c e d E x t r a p o l a t i n g f r o m s u b s e t 1 I n t e r p o l a t i n g b e t w e e n s u b s e t s 1 , 5

S p a c e S u b s e t 1 S u b s e t 2 S u b s e t 3 S u b s e t 2 S u b s e t 3 S u b s e t 4

s h e r f a c e

4

4 0 . 0 0 . 0 4 . 6 0 . 0 0 . 0 1 . 2

L D A ( \ Q Z " ) 4 0 . 0 0 . 0 3 . 1 0 . 0 0 . 0 0 . 0

T a b l e 2 . E x t r a p o l a t i o n a n d i n t e r p o l a t i o n e x p e r i m e n t a l r e s u l t s o f v a r i a t i o n i n l i g h t i n g

\ L e a v e - o n e - o u t " o f Y a l e D a t a b a s e

M e t h o d R e d u c e d E r r o r R a t e ( % )

S p a c e C l o s e C r o p F u l l F a c e

s h e r f a c e

4

1 4

5

7 . 3 0 . 6

L D A ( \ Q Z " ) 1 4 3 . 6 0 . 6

T a b l e 3 . E x p e r i m e n t a l r e s u l t s

o f v a r i a t i o n i n f a c i a l e x p r e s -

s i o n a n d l i g h t i n g

T h e r e s u l t s s h o w t h a t t h e L D A a p p r o a c h i m p l e m e n t e d u s i n g t h e \ Q Z " a l -

g o r i t h m a c h i e v e s b e t t e r r e s u l t s i n a l l t h r e e f a c e r e c o g n i t i o n e x p e r i m e n t s c o m -

p a r e d w i t h t h e b e s t r e s u l t s r e p o r t e d i n 1 ] .

5 C o n c l u s i o n s

I n t h i s p a p e r , a d e t a i l e d s t u d y o f t h r e e n u m e r i c a l a l g o r i t h m s f o r l i n e a r d i s c r i m -

i n a n t a n a l y s i s ( L D A ) i n t h e c o n t e x t o f f a c e v e r i c a t i o n h a s b e e n i n v e s t i g a t e d . A

4

N o d e s c r i p t i o n f o r t h e s h e r f a c e m e t h o d i m p l e m e n t a t i o n w a s g i v e n i n 1 ] .

5

T h e r e a r e o n l y 1 5 s u b j e c t s ( 1 1 i m a g e s / s u b j e c t ) i n t h e Y a l e d a t a b a s e ; t h e m a x i m u m

r e d u c e d s p a c e i s 1 4 .

8/2/2019 10.1.1.8.8687

9/9

r o b u s t a l g o r i t h m h a s b e e n p r o p o s e d a n d t e s t e d . I t a c h i e v e s a v e r y g o o d p e r -

f o r m a n c e w h e n f a c e i m a g e s a r e r e g i s t e r e d u s i n g a s e m i - a u t o m a t i c f a c e i m a g e

r e g i s t r a t i o n m e t h o d b a s e d o n e y e s p o s i t i o n s .

T h e L D A i s a p o w e r f u l c l a s s i e r , i t i s r o b u s t t o l i g h t i n g c o n d i t i o n s , f a c i a l e x -

p r e s s i o n s a n d s m a l l p o s e c h a n g e s . T h e e x p e r i m e n t s p e r f o r m e d s h o w t h a t t h e s e -

l e c t i o n o f a n a p p r o p r i a t e i m p l e m e n t a t i o n o f L D A i n u e n c e s s i g n i c a n t l y t h e v e r i -

c a t i o n p e r f o r m a n c e . T h e \ Q Z " a l g o r i t h m a l w a y s o u t p e r f o r m s o t h e r a l g o r i t h m s

r e g a r d l e s s o f t h e f a c e e n s e m b l e .

A c k n o w l e d g e m e n t s

T h e r e s e a r c h w o r k h a s b e e n c a r r i e d o u t w i t h i n t h e f r a m e w o r k o f t h e E u r o p e a n

A C T S - M 2 V T S p r o j e c t . A c k n o w l e d g e m e n t i s a l s o d u e t o t h e c e n t r e f o r C o m p u -

t a t i o n a l V i s i o n & C o n t r o l a t Y a l e U n i v e r s i t y a n d H a r v a r d R o b o t i c s L a b o r a t o r y

f o r t h e p e r m i s s i o n t o u s e t h e i r f a c e d a t a b a s e s .

R e f e r e n c e s

1 . P . B e l h u m e u r e t a l , \ E i g e n f a c e s v s . F i s h e r f a c e s : R e c o g n i t i o n U s i n g C l a s s S p e c i c

L i n e a r P r o j e c t i o n , " i n P r o c . o f E C C V ' 9 6 , p p 4 5 { 5 8 , C a m b r i d g e , U K , 1 9 9 6 .

2 . P i e r r e A . D e v i j v e r a n d J o s e f K i t t l e r . \ P a t t e r n R e c o g n i t i o n : A S t a t i s t i c a l A p -

p r o a c h , " P r e n t i c e - H a l l , E n g l e w o o d C l i s , N . J . , 1 9 8 2 .

3 . K . E t e m a d a n d R . C h e l l a p p a , \ F a c e R e c o g n i t i o n u s i n g D i s c r i m i n a n t E i g e n v e c t o r s , "

I n P r o c . o f I C A S S P ' 9 6 , p p . 2 1 4 8 - 2 1 5 1 , 1 9 9 6 .

4 . K . E t e m a d a n d R . C h e l l a p p a , \ D i s c r i m i n a n t A n a l y s i s f o r R e c o g n i t i o n o f H u m a n

F a c e I m a g e s , " I n P r o c . o f A V B P A ' 9 7 , p p . 1 2 7 - 1 4 2 , 1 9 9 7 .

5 . R . F i s h e r , \ T h e u s e o f m u l t i p l e m e a s u r e s i n t a x o n o m i c p r o b l e m s , " A n n . E u g e n i c s ,

v o l . 7 , p p . 1 7 9 - 1 8 8 , 1 9 3 6 .

6 . G . H . G o l u b , a n d C . F . V a n L o a n , M a t r i x c o m p u t a t i o n s , T h e J o h n s H o p k i n s U n i -

v e r s i t y P r e s s , B a l t i m o r e a n d L o n d o n , 1 9 8 9 .

7 . C . L i u a n d H . W e c h s l e r , \ F a c e R e c o g n i t i o n U s i n g E v o l u t i o n a r y P u r s u i t , " i n P r o c .

o f E C C V ' 9 8 , V o l . I I , p p . 5 9 6 - 6 1 2 , J u n e 1 9 9 8 .

8 . R . S . M a r t i n e t a l , \ S y m m e t r i c d e c o m p o s i t i o n o f a p o s i t i v e d e n e m a t r i x , " N u m e r .

M a t h . , V o l . 7 , p p . 3 6 2 - 3 8 3 , 1 9 6 5 .

9 . C . B . M o l e r e t a l . , \ A n a l g o r i t h m f o r g e n e r a l i z e d m a t r i x e i g e n v a l u e p r o b l e m A x =

B x , " S I A M J . N u m e r . A n a l . , V o l . 1 0 , p p . 9 9 - 1 3 0 , 1 9 7 3 .

1 0 . W i l l i a m H . P r e s s , e t a l . , N u m e r i c a l r e c i p e s i n C : t h e a r t o f s c i e n t i c c o m p u t i n g ,

C a m b r i d g e P r e s s , 1 9 8 9 .

1 1 . L . S i r o v i c h e t a l , \ L o w - d i m e n s i t i o n a l p r o c e d u r e f o r t h e c h a r a c t e r i z a t i o n o n h u m a n

f a c e s , " J . O p t . S o c . A m . A , v o l . 4 , n o . 3 , p p 5 1 9 - 5 2 4 , 1 9 8 7 .

1 2 . M . T u r k a n d A . P e n t l a n d , \ E i g e n f a c e f o r R e c o g n i t i o n , " J o u r n a l o f C o g n i t i v e N e u r -

o s c i e n c e , V o l . 3 , n o . 1 , p p . 7 0 - 8 6 , 1 9 9 1 .

1 3 . P . V a n D o o r e n , \ T h e c o m p u t a t i o n o f K r o n e c k e r ' s f o r m o f a s i n g u l a r p e n c i l , " L i n e a r

A l g e b r a a n d A p p l . , V o l . 2 7 , p p . 1 0 3 - 1 4 0 , 1 9 7 9 .

1 4 . J . W i l k i n s o n e t a l . , \ H a n d b o o k f o r A u t o m a t i c C o m p u t a t i o n V o l I I , " L i n e a r A l -

g e b r a , S p r i n g e r - V e r l a g , B e r l i n H e i d e l b e r g , N e w Y o r k , 1 9 7 1 .

1 5 . J . H . W i l k i n s o n , \ K r o n e c k e r ' s C a n o n i c a l F o r m a n d t h e Q Z A l g o r i t h m , " L i n e a r

A l g e b r a a n d A p p l . , v o l . 2 8 , p p . 2 8 5 - 3 0 3 , 1 9 7 9 .