recognition of facial expressions using hmm

8/6/2019 Recognition of Facial Expressions Using HMM

1/4

C o p y r i g h t 1 9 9 7 I E E E . P u b l i s h e d i n t h e P r o c e e d i n g s o f I C I P ' 9 7 , O c t o b e r 2 6 - 2 9 , 1 9 9 7 i n S a n t a B a r b a r a , U S A .

R e c o g n i z i n g M u l t i p l e P e r s o n s ' F a c i a l E x p r e s s i o n s

U s i n g H M M B a s e d o n A u t o m a t i c E x t r a c t i o n o f S i g n i c a n t F r a m e s

f r o m I m a g e S e q u e n c e s

T a k a h i r o O t s u k a a n d J u n O h y a

A T R M e d i a I n t e g r a t i o n & C o m m u n i c a t i o n s R e s e a r c h L a b o r a t o r i e s

S e i k a - c h o , S o r a k u - g u n , K y o t o 6 1 9 - 0 2 J a p a n

E m a i l : f o t s u k a , o h y a g @ m i c . a t r . c o . j p

A b s t r a c t

A m e t h o d t h a t c a n b e u s e d f o r f o r r e c o g n i z i n g f a c i a l

e x p r e s s i o n s o f m u l t i p l e p e r s o n s i s p r o p o s e d . I n t h i s

m e t h o d , t h e c o n d i t i o n o f f a c i a l m u s c l e s i s a s s i g n e d t o

a h i d d e n s t a t e o f a H M M f o r e a c h e x p r e s s i o n . T h e n ,

t h e p r o b a b i l i t y o f t h e s t a t e i s u p d a t e d a c c o r d i n g t o a

f e a t u r e v e c t o r o b t a i n e d f r o m i m a g e p r o c e s s i n g . I m -

a g e p r o c e s s i n g i s p e r f o r m e d i n t w o s t e p s . F i r s t , a v e -

l o c i t y v e c t o r i s e s t i m a t e d f r o m e v e r y t w o s u c c e s s i v e

f r a m e s b y u s i n g a n o p t i c a l o w a l g o r i t h m . T h e n , a

t w o - d i m e n s i o n a l F o u r i e r t r a n s f o r m i s a p p l i e d t o a v e -

l o c i t y v e c t o r e l d a t t h e r e g i o n s a r o u n d a n e y e a n d

t h e m o u t h . T h e c o e c i e n t s f o r l o w e r f r e q u e n c i e s a r e

s e l e c t e d t o f o r m a f e a t u r e v e c t o r . A m i x t u r e d e n s i -

t y i s u s e d f o r a p p r o x i m a t i n g t h e o u t p u t p r o b a b i l i t y o f

t h e H M M s o a s t o r e p r e s e n t a v a r i a t i o n i n f a c i a l e x -

p r e s s i o n s a m o n g p e r s o n s . T o c o p e w i t h t h e c a s e w h e n

t w o e x p r e s s i o n s a r e d i s p l a y e d c o n t i g u o u s l y , t h e H M M

c o m p u t a t i o n i s m o d i e d s u c h t h a t w h e n t h e p e a k o f a

f a c i a l m o t i o n i s d e t e c t e d , a n e w s e q u e n c e o f f a c i a l e x -

p r e s s i o n s i s a s s u m e d t o s t a r t f r o m t h e p r e v i o u s f r a m e

w i t h m i n i m a l f a c i a l m o t i o n . E x p e r i m e n t s s h o w t h a t

a m i x t u r e d e n s i t y i s e e c t i v e b e c a u s e r e c o g n i t i o n a c -

c u r a c y i m p r o v e s a s t h e n u m b e r o f m i x t u r e s i n c r e a s e s .

I n a d d i t i o n , t h e m e t h o d c o r r e c t l y r e c o g n i z e s a f a c i a l

e x p r e s s i o n t h a t c o n t i g u o u s l y f o l l o w s a n o t h e r o n e .

1 I n t r o d u c t i o n

F a c i a l e x p r e s s i o n r e c o g n i t i o n 1 , 2 , 3 ] i s a k e y t e c h -

n o l o g y f o r d e v e l o p i n g a n i n t e l l i g e n t c o d i n g s y s t e m t o

b e u s e d i n v i s u a l c o m m u n i c a t i o n 4 ] a n d a n a d v a n c e d

m a n - m a c h i n e i n t e r f a c e . P r e v i o u s l y , s t i m u l a t e d b y a n

e a r l i e r w o r k o f o n e o f t h e a u t h o r s 5 ] , w e p r o p o s e d a

m e t h o d 6 ] t h a t r e c o g n i z e s f a c i a l e x p r e s s i o n s f r o m i m -

a g e s e q u e n c e s b y u s i n g H i d d e n M a r k o v M o d e l s ( H -

M M s ) . T h a t m e t h o d s h o w e d g o o d r e c o g n i t i o n r e s u l t s ,

b u t i t w a s u s e f u l o n l y f o r a n i n d i v i d u a l p e r s o n , n o t

f o r m u l t i p l e p e r s o n s . I n a d d i t i o n , f a c i a l e x p r e s s i o n s i n

m o r e n a t u r a l s e t t i n g s s u c h a s m u l t i p l e e x p r e s s i o n s o c -

c u r i n g i n s u c c e s s i o n c o u l d n o t b e h a n d l e d b e c a u s e t h e

H M M w a s t r a i n e d f r o m s e q u e n c e s t h a t s t a r t e d f r o m a

n e u t r a l f a c e . I n t h i s p a p e r , w e p r o p o s e a n e w m e t h o d

t h a t c a n b e a p p l i e d t o m u l t i p l e p e r s o n s w i t h t h o s e n a t -

u r a l s e t t i n g s . T h e p r o p o s e d m e t h o d e x p l o i t s F o u r i e r

t r a n s f o r m a t i o n s o f v e l o c i t y v e c t o r s a s i m a g e f e a t u r e s

f o r t h e H M M p r o c e s s . I n a d d i t i o n , d i s t i n g u i s h a b l e

f r a m e s a r e a u t o m a t i c a l l y e x t r a c t e d f r o m t h e i m a g e s e -

q u e n c e a n d a r e a p p l i e d t o t h e r e c o g n i t i o n p r o c e s s .

2 A l g o r i t h m

I n o u r p r o p o s e d m e t h o d , t h e c o n d i t i o n o f f a c i a l

m u s c l e s i s a s s i g n e d t o a h i d d e n s t a t e o f a H M M f o r

e a c h e x p r e s s i o n . T h e n , t h e p r o b a b i l i t y o f t h e s t a t e i s

u p d a t e d a c c o r d i n g t o a f e a t u r e v e c t o r o b t a i n e d f r o m

i m a g e p r o c e s s i n g .

2 . 1 H M M b a s e d r e c o g n i t i o n f o r m u l t i -

p l e p e r s o n s

A H M M i s a n o n - d e t e r m i n i s t i c a u t o m a t o n i n w h i c h

a s t a t e t r a n s i t i o n o c c u r s w i t h a t r a n s i t i o n p r o b a b i l i -

t y d e p e n d e n t o n t h e d e s t i n a t i o n s t a t e . A s y m b o l i s

g e n e r a t e d a l o n g w i t h t h e s t a t e t r a n s i t i o n a n d h a s a n

o u t p u t p r o b a b i l i t y t h a t i s a l s o d e p e n d e n t o n t h e d e s -

t i n a t i o n s t a t e . A n e x i s t e n c e p r o b a b i l i t y o f e a c h s t a t e

i s u p d a t e d i n o r d e r o f s y m b o l s e q u e n c e b y u s i n g t h e

t w o p r o b a b i l i t i e s a s f o l l o w s .

P

t

( i ) =

2

4

N

X

j = 1

P

t ? 1

( j ) a

j i

3

5

b

i

( O

t

) ( 1 )

w h e r e P

t

( i ) i s t h e e x i s t e n c e p r o b a b i l i t y o f s t a t e S

i

a t

t i m e t , a

j i

i s t h e t r a n s i t i o n p r o b a b i l i t y f r o m s t a t e S

j

t o

S

i

, b

i

( O

t

) i s t h e o u t p u t p r o b a b i l i t y o f s y m b o l O

t

a l o n g

w i t h t h e t r a n s i t i o n t o s t a t e S

i

, a n d N i s t h e n u m b e r

o f s t a t e s . F i g . 1 s h o w s t h e s t r u c t u r e o f o n e t y p e o f

l e f t - t o - r i g h t H M M w h e r e a t r a n s i t i o n i s a l l o w e d o n l y

t o t h e r i g h t - n e i g h b o r s t a t e o r i t s e l f . W e c a l l S

1

t h e

i n i t i a l s t a t e , S

2

; : : : ; S

N ? 1

t h e i n t e r m e d i a t e s t a t e , a n d

S

N

t h e n a l s t a t e . T h e e x i s t e n c e p r o b a b i l i t y o f t h e

n a l s t a t e a t t h e e n d o f a s e q u e n c e i s d e n e d a s t h e

g e n e r a t i o n p r o b a b i l i t y o f t h e s e q u e n c e . T o f a c i l i t a t e

r e c o g n i t i o n o f t e m p o r a l p a t t e r n s , s e q u e n t i a l d a t a i s

u s e d b e f o r e h a n d t o t r a i n t h e H M M f o r e a c h c a t e g o -

r y . T h e n , t h e c a t e g o r y w i t h t h e m a x i m u m g e n e r a t i o n

p r o b a b i l i t y i s s e l e c t e d a s t h e r e c o g n i t i o n r e s u l t .

T h e o u t p u t o f a H M M c a n b e e x t e n d e d f r o m a d i s -

c r e t e s y m b o l t o a c o n t i n u o u s n u m b e r b y m a k i n g t h e


2/4

l

-

l

-

l

S

1

S

2

S

3

+ + +

b

1

( O ) b

2

( O ) b

3

( O )

C

C

CW

C

C

CW

C

C

CW

a

1 2

a

2 3

a

1 1

a

2 2

a

3 3

F i g u r e 1 : S t r u c t u r e o f t h e H M M u s e d i n t h e p r o p o s e d

m e t h o d ( N = 3 )

o u t p u t p r o b a b i l i t y a c o n t i n u o u s d i s t r i b u t i o n o n a r e a l

n u m b e r . F o r t h e d i s c r e t e c a s e t h e p r o b a b i l i t y m u s t b e

a s s i g n e d o n e a c h c o d e w o r d , t h e s i z e o f w h i c h i s u s u a l l y

l a r g e ( e x . m o r e t h a n 1 0 0 ) , s o a s t o r e d u c e q u a n t i z a -

t i o n e r r o r . C o n s e q u e n t l y , t h e d e g r e e o f f r e e d o m h a s

a l a r g e n u m b e r t h a t w o u l d r e q u i r e a l a r g e a m o u n t o f

t r a i n i n g d a t a . O n t h e o t h e r h a n d , f o r t h e c o n t i n u o u s

c a s e t h e p r o b a b i l i t y i s s p e c i e d b y a f e w p a r a m e t e r s .

T h e r e f o r e , a s m a l l a m o u n t o f t r a i n i n g d a t a i s s u c i e n t

w h e n a p a r a m e t e r i z e d p r o b a b i l i t y d e n s i t y i s a p p r o p r i -

a t e f o r a p p r o x i m a t i o n . I n o u r n e w m e t h o d , t h e o u t p u t

p r o b a b i l i t y i s a p p r o x i m a t e d b y u s i n g a m i x t u r e d e n s i -

t y t o c o p e w i t h m u l t i p e a k s h a p e s c a u s e d b y a v a r i a t i o n

o f f a c i a l e x p r e s s i o n s d i s p l a y e d b y m u l t i p l e p e r s o n s a s

f o l l o w s .

b

j

( O ) =

1

p

2

M

X

k = 1

c

j k

j k

e x p

h

? ( O ?

j k

)

2

= 2

2

j k

i

( 2 )

w h e r e c

j k

,

j k

, a n d

j k

a r e t h e w e i g h t , a v e r a g e , a n d s -

t a n d a r d d e v i a t i o n o f t h e k t h G a u s s i a n p r o b a b i l i t y d e n -

s i t y f u n c t i o n ( p d f ) o f s t a t e S

j

, a n d M i s t h e n u m b e r

o f m i x t u r e s . T h i s e q u a t i o n i s f o r a o n e - d i m e n s i o n a l

c a s e , h o w e v e r t h e e x t e n s i o n t o m u l t i p l e d i m e n s i o n s i s

t r i v i a l .

T o e s t i m a t e t h e p a r a m e t e r s o f a H M M , t h e B a u m -

W e l c h a l g o r i t h m i s u s e d ; h e r e , r e - e s t i m a t i o n i s r e p e a t -

e d l y p e r f o r m e d s o a s t o m a x i m i z e t h e g e n e r a t i o n p r o b -

a b i l i t y o f t h e t r a i n i n g d a t a . F o r t h e d i s c r e t e c a s e a r e a -

s o n a b l e p r o b a b i l i t y c a n b e o b t a i n e d f r o m i n i t i a l v a l u e s

t h a t a r e s e t a t r a n d o m . H o w e v e r , f o r t h e c o n t i n u -

o u s c a s e t h e c o n s t r a i n t s o f t h e p a r a m e t e r i z e d d e n s i t y

w o u l d l i m i t t h e r a n g e o f p a r a m e t e r s r e a c h a b l e f r o m

a i n i t i a l v a l u e . T h e r e f o r e , t h e r a n d o m s e t t i n g o f i n i -

t i a l v a l u e s w i l l c o n v e r g e i n t o a l o c a l m a x i m u m i n t h e

g e n e r a t i o n p r o b a b i l i t y , w h i c h i s f a r a w a y f r o m t h e r e a l

m a x i m u m t o b e a i m e d a t . T o s o l v e t h i s p r o b l e m , w e

a p p l y a c l u s t e r i n g o p e r a t i o n o n t h e t r a i n i n g d a t a a n d

t h e s t a t i s t i c a l p a r a m e t e r s o f e a c h c l u s t e r a r e u s e d a s

a n i n i t i a l v a l u e f o r t h e p a r a m e t e r o f t h e o u t p u t p r o b -

a b i l i t y d e n s i t y .

2 . 2 I m a g e P r o c e s s i n g f o r F e a t u r e E x -

t r a c t i o n

I m a g e p r o c e s s i n g i s p e r f o r m e d i n t w o s t e p s . I n t h e

r s t s t e p , a v e l o c i t y v e c t o r i s o b t a i n e d f r o m e v e r y t -

w o s u c c e s s i v e f r a m e s b y u s i n g a g r a d i e n t b a s e d o p t i c a l

o w a l g o r i t h m 7 ] . T o i m p r o v e p e r f o r m a n c e , t h e r e g i o n

f o r p r o c e s s i n g i s c o n n e d t o a s m a l l a r e a a n d d a t a

s i z e i s r e d u c e d t o b e a o n e - e i g h t h i n t h e h o r i z o n t a l

a n d v e r t i c a l d i r e c t i o n s . T h i s r e d u c e d s i z e i s t h e l o w e r

l i m i t f o r a v o i d i n g d e g r a d a t i o n o f r e c o g n i t i o n a c c u r a c y .

I n a d d i t i o n , t h e p r o p a g a t i o n s t e p i n t h e o p t i c a l o w

c o m p u t a t i o n i s o m i t t e d . T h i s s t e p i s a p p l i e d s o a s t o

r e d u c e n o i s e i n a v e l o c i t y v e c t o r b y i m p o s i n g a c o n t i -

n u i t y c o n s t r a i n t . A l t h o u g h t h e n o i s e i s h i g h e r o w i n g

t o t h e o m i s s i o n o f t h e p r o p a g a t i o n s t e p , e r r o r o f t h e

f e a t u r e v e c t o r d e n e d b e l o w i s n o t s o h i g h . T h e r e a s o n

m i g h t b e t h a t t h e n o i s e i s c o n c e n t r a t e d m a i n l y i n t h e

h i g h e r f r e q u e n c y c o m p o n e n t o f t h e v e l o c i t y v e c t o r .

I n t h e s e c o n d s t e p , a t w o - d i m e n s i o n a l F o u r i e r t r a n s -

f o r m i s a p p l i e d t o a v e r t i c a l a n d a h o r i z o n t a l c o m p o -

n e n t o f t h e v e l o c i t y v e c t o r e l d a t t h e r e g i o n s a r o u n d

a n e y e a n d t h e m o u t h . T h e n , t h e l o w e r f r e q u e n c y

c o m p o n e n t s o f t h e F o u r i e r c o e c i e n t s a r e e x t r a c t e d ,

i . e . , s e v e n c o m p o n e n t s f r o m t h e e y e r e g i o n a n d e i g h t

c o m p o n e n t s f r o m t h e m o u t h r e g i o n .

A s t h e f e a t u r e v e c t o r i s l i n e a r l y d e p e n d e n t o n t h e

v e l o c i t y v e c t o r , i t s v a l u e a p p r o a c h e s z e r o w h e n a f a c e

i s i n a s t a t i c s t a t e w i t h o u t f a c i a l m o t i o n s . T h e r e f o r e ,

f o r c l u s t e r i n g d u r i n g t h e t r a i n i n g o f a H M M , t h e r s t

a n d l a s t p a r t s o f a f e a t u r e v e c t o r s e q u e n c e c a n n o t b e

s e g m e n t e d i n t o d i e r e n t c l u s t e r s a s w a s i n t e n d e d . T o

s o l v e t h i s p r o b l e m , w e a d d e d a n a n o t h e r v a l u e s u c h a s

t h e i n t e g r a t i o n o f t h e s q u a r e d s u m o f e a c h c o m p o n e n t

o f t h e o r i g i n a l f e a t u r e v e c t o r i n t o t h e f e a t u r e v e c t o r .

A s t h i s v a l u e i n c r e a s e s m o n o t o n i c a l l y o n t h e t i m e a x i s ,

t h e r s t a n d t h e l a s t p a r t o f a f e a t u r e v e c t o r s e q u e n c e

c a n b e d i s t i n g u i s h e d a n d s e g m e n t e d i n t o d i e r e n t c l u s -

t e r s . T h i s c o m p o n e n t i s o n l y u s e d f o r c l u s t e r i n g o f

t r a i n e d d a t a , n o t f o r r e c o g n i t i o n , b e c a u s e t h i s v a l u e

i n c r e a s e s e v e n i f f a c i a l m o t i o n s a r e n o t o c c u r i n g .

2 . 3 A u t o m a t i c E x t r a c t i o n o f S i g n i -

c a n t F r a m e s

A f t e r t h e f e a t u r e v e c t o r i s o b t a i n e d f r o m i m a g e p r o -

c e s s i n g , r e c o g n i t i o n i s p e r f o r m e d a s f o l l o w s . F i r s t ,

t h e p r o b a b i l i t y o f t h e s t a t e i s u p d a t e d u s i n g E q . ( 1 ) .

T h e n , t h e s t a t e w i t h t h e l a r g e s t p r o b a b i l i t y i s o b -

t a i n e d . I f t h e s t a t e i s t h e n a l s t a t e o f a H M M , t h e

c a t e g o r y o f a f a c i a l e x p r e s s i o n c o r r e s p o n d i n g t o t h e

H M M i s s e l e c t e d a s t h e r e s u l t .

U s i n g t h e m e t h o d m e n t i o n e d a b o v e , a f a c i a l e x p r e s -

s i o n t h a t i s s u c i e n t l y i s o l a t e d f r o m n e i g h b o r i n g o n e s

c a n b e a c c u r a t e l y r e c o g n i z e d . H o w e v e r , w h e n a f a -

c i a l e x p r e s s i o n s t a r t s i n t h e m i d d l e o f a n o t h e r f a c i a l

e x p r e s s i o n , o r w h e n t h e i n t e r v a l o f a n e u t r a l f a c e b e -

t w e e n t w o s u c c e s s i v e f a c i a l e x p r e s s i o n s i s t o o s h o r t , a

c o r r e c t r e c o g n i t i o n c a n n o t b e r e a l i z e d . T h e r e f o r e , t h e

r e c o g n i t i o n p r o c e d u r e i s m o d i e d a s f o l l o w s . T h e p e a k

o f a f a c i a l m o t i o n i s d e t e c t e d b y u s i n g t h e s q u a r e d

s u m o f t h e f e a t u r e v e c t o r c o m p o n e n t a s a p a r a m e t e r .

W h e n t h e p e a k i s d e t e c t e d , a n e w f a c i a l e x p r e s s i o n i s

a s s u m e d t o h a v e s t a r t e d f r o m t h e p r e v i o u s f r a m e w i t h

m i n i m a l f a c i a l m o t i o n .


3/4

S a d n e s s H a p p i n e s s S u r p r i s e

N e u t r a l A n g e r D i s g u s t F e a r

F i g u r e 2 : E x a m p l e s o f s u b i m a g e s d i s p l a y i n g e a c h f a -

c i a l e x p r e s s i o n

F i g u r e 3 : E x a m p l e o f v e l o c i t y v e c t o r s ( 4 )

3 E x p e r i m e n t a l r e s u l t s a n d d i s c u s s i o n

F i r s t , w e e x a m i n e d t h e r e c o g n i t i o n a c c u r a c y o f t h e

p r o p o s e d m e t h o d b y o - l i n e . N e x t , t h e e e c t i v e n e s s o f

t h e m e t h o d w a s t e s t e d i n r e a l t i m e o n a I n d y w o r k s t a -

t i o n b y u s i n g i m a g e s e q u e n c e s t a k e n f r o m i t s a t t a c h e d

v i d e o c a m e r a .

T h e o - l i n e e x p e r i m e n t s w e r e p e r f o r m e d u s i n g 2 4 0

s e q u e n c e s f r o m f o u r s u b j e c t s ( t h r e e m a l e s a n d o n e f e -

m a l e ) , e a c h o f w h o m d i s p l a y e d s i x p r i n c i p a l e x p r e s -

s i o n s ( a n g e r , d i s g u s t , f e a r , s a d n e s s , h a p p i n e s s , a n d

s u r p r i s e ) f r o m a n e u t r a l f a c i a l p o s i t i o n . T h e a v e r -

a g e n u m b e r o f f r a m e s i n i m a g e s e q u e n c e s w a s 5 0 t o

6 0 a t 3 0 f r a m e s p e r s e c o n d . E x a m p l e s o f s u b i m a g e s

f o r e a c h f a c i a l e x p r e s s i o n a r e s h o w n i n F i g . 2 . T w o

r e g i o n s ( b o t h 2 5 6 2 5 6 p i x e l s ) , o n e f o r t h e r i g h t e y e

a n d o n e f o r t h e m o u t h w e r e e x t r a c t e d a n d p r o c e s s e d

a s m e n t i o n e d i n t h e p r e v i o u s s e c t i o n . A n e x a m p l e o f

a v e l o c i t y v e c t o r e l d i s s h o w n i n F i g . 3 , w h e r e t h e

v e c t o r i s r e p r e s e n t e d a s t h e d i s p l a c e m e n t i n a g r i d .

T w e l v e s e q u e n c e s f r o m e a c h s u b j e c t w e r e u s e d t o

t r a i n t h e H M M . A n e x a m p l e o f t h e e s t i m a t e d o u t p u t

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

0.15

0.2

-1 -0.5 0 0.5 1 1.5 2Averageverticalvelocityint

heeyeregion(pixels/second)

Average vertical velocity in the mouth region (pixels/second)

DisgustSadness

F i g u r e 4 : E x a m p l e o f o u t p u t p r o b a b i l i t i e s

p r o b a b i l i t y f o r s o m e e x p r e s s i o n i s s h o w n i n F i g . 4 . T h e

h o r i z o n t a l ( v e r t i c a l ) a x i s p l o t s t h e a v e r a g e v e l o c i t y o f

t h e m o u t h ( r i g h t e y e ) r e g i o n . T h e s e t w o f e a t u r e s c o r -

r e s p o n d t o t h e r s t a n d s e c o n d p r i n c i p a l c o m p o n e n t s

o f a f e a t u r e v e c t o r . H e r e , t h e o u t p u t p r o b a b i l i t y w a s

a p p r o x i m a t e d b y t h e m i x t u r e d e n s i t y u s i n g t w o m i x -

t u r e s , a n d t h o s e f o r a n i n t e r m e d i a t e s t a t e w e r e p l o t t e d

a s a n e l l i p s e . T h e m a j o r a n d m i n o r a x e s c o r r e s p o n d

t o t h e s t a n d a r d d e v i a t i o n f o r e a c h a x i s . F i g . 4 s h o w s

t h e m u l t i p l e - p e a k s h a p e o f t h e o u t p u t p r o b a b i l i t i e s f o r

d i s g u s t a n d s a d n e s s c a u s e d b y a v a r i a t i o n a m o n g p e r -

s o n s . F o r e x a m p l e , o n e s u b j e c t w a s d e p r e s s i n g h i s l i p

c o r n e r s w h i l e d i s p l a y i n g s a d n e s s . O n t h e o t h e r h a n d ,

a n o t h e r s u b j e c t w a s r a i s i n g t h e m w h i l e d i s p l a y i n g s a d -

n e s s .

T h e r e m a i n i n g t w e n t y - e i g h t s e q u e n c e s w e r e u s e d f o r

r e c o g n i t i o n . T h e n u m b e r o f m i x t u r e s M i n E q . ( 2 )

a n d t h e l e n g t h o f e a c h s u b s e q u e n c e w e r e v a r i e d t o d e -

t e r m i n e o p t i m u m c o n d i t i o n s . T h e r e s u l t s a r e s h o w n

i n F i g . 5 . T h e r e c o g n i t i o n r a t e i m p r o v e s a s t h e n u m -

b e r o f m i x t u r e s i n c r e a s e s . H o w e v e r , a h i g h r e c o g n i t i o n

r a t e c a n b e o b t a i n e d e v e n i f t h e n u m b e r o f m i x t u r e s

M i s t w o . A s f o r t h e s e q u e n c e l e n g t h , t h e r e c o g n i t i o n

r a t e d e c l i n e d w h e n t h e s e q u e n c e l e n g t h b e c a m e l e s s

t h a n 1 5 f r a m e s ( 0 . 5 s e c o n d s ) . T h e r e f o r e , t h e s e q u e n c e

l e n g t h m u s t b e s e t a t m o r e t h a n 0 . 5 s e c o n d s . A s i t

w o u l d b e q u i t e u n u s u a l f o r m o r e t h a n o n e e x p r e s s i o n

t o b e s h o w n w i t h i n 0 . 5 s e c o n d s , t h i s s e t t i n g s h o u l d b e

a p r a c t i c a l o n e .

I n T a b l e s 1 a n d 2 w e c o m p a r e t h e r e c o g n i t i o n r a t e

f o r o u r p r o p o s e d m e t h o d a n d t h e p r e v i o u s m e t h o d ;

f e a t u r e s a r e e x t r a c t e d f r o m d i s p l a c e m e n t v e c t o r s . T h e

a v e r a g e r e c o g n i t i o n r a t e i m p r o v e d f r o m 9 2 . 5 % t o

9 3 . 3 % b y u s i n g o u r p r o p o s e d m e t h o d w h e r e t h e s e -

q u e n c e l e n g t h w a s 0 . 7 s e c o n d s .

T h e p r o p o s e d m e t h o d c a n b e e x e c u t e d i n n e a r l y

r e a l t i m e o n I n d y . A s t h e f r a m e r a t e o f 1 0 H z i s n o t

h i g h e n o u g h f o r a c c u r a t e r e c o g n i t i o n , f a c i a l e x p r e s -

s i o n s w e r e d i s p l a y e d s l o w e r t h a n n o r m a l i n t h e f o l l o w -

i n g e x p e r i m e n t s . I s o l a t e d f a c i a l e x p r e s s i o n s w e r e r e c -

o g n i z e d w i t h g o o d a c c u r a c y . I n a d d i t i o n , m u l t i p l e e x -

p r e s s i o n s i n s u c c e s s i o n w e r e a l s o r e c o g n i z e d . I n F i g . 6 ,

a n e x a m p l e i s s h o w n i n w h i c h t h e e x i s t e n c e p r o b a b i l i -

t y o f a h a p p i n e s s e x p r e s s i o n f o r a i m m e d i a t e a n d n a l


4/4

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 1 1.2 1.4

Recognitionra

te

Sequence length (seconds)

M=1M=2M=3M=4

F i g u r e 5 : D e p e n d e n c e o f r e c o g n i t i o n r a t e o n t h e n u m -

b e r o f m i x t u r e s a n d t h e s e q u e n c e l e n g t h

0

0.5

1

1.5

2

165 170 175 180 185 190

ProbabilityorMotionMagnitude

Frame number

P1 for happinessP2 for happiness

Squared sum

1 7 0 1 7 3 1 7 6 1 7 9 1 8 2

F i g u r e 6 : E x a m p l e o f r e c o g n i t i o n r e s u l t s

s t a t e , a n d t h e m a g n i t u d e o f f a c i a l m o t i o n a r e p l o t -

t e d . T h i s i s a r e s u l t o f a s e q u e n c e i n w h i c h a h a p p i -

n e s s e x p r e s s i o n f o l l o w s a f e a r e x p r e s s i o n c o n t i g u o u s l y .

T h e p e a k o f a f a c i a l m o t i o n w a s d e t e c t e d a t t h e 1 7 8 t h

f r a m e , a n d t h e c o m p u t a t i o n s t a r t e d f r o m t h e 1 7 1 t h

f r a m e . T h e g u r e s h o w s t h e g o o d p e r f o r m a n c e o f o u r

p r o p o s e d m e t h o d .

4 C o n c l u s i o n

A m e t h o d t h a t i s u s e d t o r e c o g n i z e t h e f a c i a l e x -

p r e s s i o n s o f m u l t i p l e p e r s o n s h a s b e e n p r o p o s e d i n

w h i c h a H M M w a s u s e d a s a m o d e l f o r t e m p o r a l s e -

q u e n c e o f a f e a t u r e v e c t o r o b t a i n e d f r o m i m a g e p r o -

c e s s i n g . T o i m p r o v e r e c o g n i t i o n p e r f o r m a n c e , w e h a v e

p r o p o s e d t h r e e t e c h n i q u e s , i . e . , a n a p p r o x i m a t i o n o f

o u t p u t p r o b a b i l i t y b y t h e m i x t u r e d e n s i t y , a f e a t u r e

e x t r a c t i o n f r o m t h e v e l o c i t y v e c t o r , a n d a n a u t o m a t -

i c e x t r a c t i o n o f s i g n i c a n t f r a m e s . E x p e r i m e n t s h a v e

s h o w n t h e e e c t i v e n e s s o f o u r p r o p o s e d m e t h o d , e s p e -

c i a l l y f o r t h e r e c o g n i t i o n o f c o m p l e x s e q u e n c e s .

T a b l e 1 : R e c o g n i t i o n r e s u l t s u s i n g d i s p l a c e m e n t v e c -

t o r s f o r f e a t u r e e x t r a c t i o n ( M = 4 )

I n p u t s A n . D i . F e . S a . H a . S u .

R e s u l t s ( % )

A n g e r 8 9 0 0 0 0 0

D i s g u s t 1 1 8 9 0 0 4 0

F e a r 0 0 9 3 0 0 0

S a d n e s s 0 1 1 0 9 6 8 0

H a p p i n e s s 0 0 0 4 8 8 0

S u r p r i s e 0 0 7 0 0 1 0 0

T a b l e 2 : R e c o g n i t i o n r e s u l t s u s i n g v e l o c i t y v e c t o r s f o r

f e a t u r e e x t r a c t i o n ( M = 4 )

I n p u t s A n . D i . F e . S a . H a . S u .

R e s u l t s ( % )

A n g e r 9 6 4 0 0 0 0

D i s g u s t 0 8 9 0 0 0 0

F e a r 0 3 8 6 7 0 0

S a d n e s s 4 4 4 9 3 4 0

H a p p i n e s s 0 0 0 0 9 6 0

S u r p r i s e 0 0 1 0 0 0 1 0 0

R e f e r e n c e s

1 ] K . M a s e , \ R e c o g n i t i o n o f f a c i a l e x p r e s s i o n f r o m

o p t i c a l o w , " I E I C E T r a n s . , v o l . E 7 4 , n o . 1 0 , p p .

3 4 7 4 - 3 4 8 3 , 1 9 9 1 .

2 ] I . A . E s s a , \ A n a l y s i s , i n t e r p r e t a t i o n , a n d s y n t h e -

s i s o f f a c i a l e x p r e s s i o n s , " M . I . T . M e d i a L a b o r a t o -

r y , P e r c e p t u a l C o m p u t i n g G r o u p R e p o r t N o . 3 0 3 ,

1 9 9 4 .

3 ] Y . Y a c o o b a n d L . S . D a v i s , \ R e c o g n i z i n g h u m a n

f a c i a l e x p r e s s i o n s f r o m l o n g i m a g e s e q u e n c e s u s -

i n g o p t i c a l o w , " I E E E T r a n s . o n P a t t e r n A n a l y -

s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 8 , n o . 6 , 1 9 9 6 .

4 ] H . H a r a s h i m a a n d F . K i s h i n o , \ I n t e l l i g e n t i m a g e

c o d i n g a n d c o m m u n i c a t i o n s w i t h r e a l i s t i c s e n s a -

t i o n s { r e c e n t t r e n d s { , " I E I C E T r a n s . , v o l . E 7 4 ,

n o . 6 , p p . 1 5 8 2 - 1 5 9 2 , 1 9 9 1 .

5 ] T . S a k a g u c h i , J . O h y a a n d F . K i s h i n o , \ F a c i a l

e x p r e s s i o n r e c o g n i t i o n f r o m i m a g e s e q u e n c e u s i n g

H i d d e n M a r k o v M o d e l , " V L B V 9 5 , A - 5 , 1 9 9 5 .

6 ] T . O t s u k a a n d J . O h y a , \ R e c o g n i t i o n o f f a c i a l

e x p r e s s i o n s u s i n g H M M w i t h c o n t i n u o u s o u t p u t

p r o b a b i l i t i e s , " P r o c . o f 5 t h I E E E I n t e r n a t i o n a l

w o r k s h o p o n R o b o t a n d H u m a n C o m m u n i c a t i o n

R O - M A N , p p . 3 2 3 - 3 2 8 , 1 9 9 6 .

7 ] B . K . P . H o r n a n d B . B . S c h u n c k , \ D e t e r m i n i n g

o p t i c a l o w " , A r t i c i a l I n t e l l i g e n c e , v o l . 1 7 , p p .

1 8 5 - 2 0 3 , 1 9 8 1 .

recognition of facial expressions using hmm

Documents