8/6/2019 Image Processing Challenges

1/4

P r o c . N a t l . A c a d . S c i . USAV o l . 9 0 , p p . 9 7 6 6 - 9 7 6 9 , November 1 9 9 3C o l l o q u i u m P a p e r

T h i s p a p e r w a s p r e s e n t e d a t a c o U l o q u i u m e n t i t l e d " I m a g e s o f S c i e n c e : S c i e n c e o f I m a g e s , " o r g a n i z e d b y A l b e r t V .C r e w e , h e l d J a n u a r y 1 3 a n d 1 4 , 1 9 9 2 , a t t h e N a t i o n a l A c a d e m y o f S c i e n c e s , W a s h i n g t o n , D C .

I m a g e p r o c e s s i n g : Some c h a l l e n g i n g p r o b l e m sT . S . HUANG AN D K . AIZAWAC o o r d i n at e d S c i e n c e L a b o r a t o r y a n d B e c k m a n I n s t i t u t e , U n i v e r s i t y o f I l l i n o i s a t U r b a n a - C h a m p a i g n , 4 0 5 N o r t h M a t h e w s A v e n u e , U r b an a , I L 6 1 8 0 1ABSTRACT I m a g e p r o c e s s i n g c a n b e b r o a d l y d e f i n e d a st h e m a n i p u l a t i o n o f s i g n a l s w h i c h a r e i n h e r e n t l y m u l t i d i m e n -s i o n a l . T h e m o s t common s u c h s i g n a l s a r e p h o t o g r a p h s a n dv i d e o s e q u e n c e s . T h e g o a l s o f p r o c e s s i n g o r m a n i p u l a t i o n c a nb e ( i ) c o m p r e s s i o n f o r s t o r a g e o r t r a n s m i s s i o n ; ( i i ) e n h a n c e -m e n t o r r e s t o r a t i o n ; ( i i i ) a n a l y s i s , r e c o g n i t i o n , a n d u n d e r -s t a n d i n g ; o r ( i v ) v i s u a l i z a t i o n f o r h u m a n o b s e r v e r s . T h e u s e o fi m a g e p r o c e s s i n g t e c h n i q u e s h a s b e c o m e a l m o s t u b i q u i t o u s ;t h e y f i n d a p p l i c a t i o n s i n s u c h d i v e r s e a r e a s a s a s t r o n o m y ,a r c h a e o l o g y , m e d i c i n e , v i d e o c o m m u n i c a t i o n , a n d e l e c t r o n i cg a m e s . N o n e t h e l e s s , m a n y i m p o r t an t p r o b l e m s i n i m a g e p r o -c e s s i n g r e m a i n u n s o l v e d . I t i s t h e g o a l o f t h i s p a p e r t o d i s c u s ss o m e o f t h e s e c h a U l e n g i n g p r o b l e m s . I n S e c t i o n 1 , w e m e n t i o na n u m b e r o f o u t s t a n d i n g p r o b l e m s . T h e n , i n t h e r e m a i n d e r o ft h i s p a p e r , w e c o n c e n t r a t e o n o n e o f t h e m : v e r y - l o w - b i t - r a t ev i d e o c o m p r e s s i o n . T h i s i s c h o s e n b e c a u s e i t i n v o l v e s a l m o s t a l la s p e c t s o f i m a g e p r o c e s s i n g .I . S o m e C h a l l e n g i n g P r o b l e m s

C o m p r e s s i o n . A m o d e r n t r e n d i n i m a g e s t o r a g e a n d t r a n s -m i s s i o n i s t o u s e d i g i t a l t e c h n i q u e s . D i g i t i z i n g a t e l e v i s i o ns i g n a l r e s u l t s i n - 1 0 0 m e g a b i t s p e r s e c o n d . B u t c h a n n e lb a n d w i d t h i s e x p e n s i v e . S o f o r a p p l i c a t i o n s s u c h a s t e l e c o n -f e r e n c i n g , o n e w a n t s t o u s e a c h a n n e l o f 6 4 k i l o b i t s p e rs e c o n d . F o r o t h e r a p p l i c a t i o n s s u c h a s v i d e o p h o n e a n dm o b i l e v i d e o p h o n e , e v e n l o w e r c h a n n e l b a n d w i d t h s ( e . g . , 9k i l o b i t s p e r s e c o n d ) a r e d e s i r a b l e . Ho w c a n o n e c o m p r e s s t h eb i t r a t e f r o m 1 0 0 m e g a b i t s p e r s e c o n d t o 1 k i l o b i t p e r s e c o n dw i t h o u t s e v er e l o s s o f i m a g e q u a l i t y ? O n e a p p r o a c h t os o l v i n g t h i s p r o b l e m w i l l b e d e s c r i b e d i n S e c t i o n s I l - V I .E n h a n c e m e n t . I n e n h a n c e m e n t , o n e a i m s t o p r o c e s s i m a g e st o i m p r o v e t h e i r q u a l i t y . An i m a g e may b e o f p o o r q u a l i t yb e c a u s e i t s c o n t r a s t i s l o w , o r i t i s n o i s y , o r i t i s b l u r r e d , e t c .Many a l g o r i t h m s h a v e b e e n d e v i s e d t o r e m o v e t h e s e d e g r a -d a t i o n s . T h e d i f f i c u l t p r o b l e m i s how t o r e m o v e d e g r a d a t i o n sw i t h o u t h u r t i n g t h e s i g n a l . F o r e x a m p l e , n o i s e - r e d u c t i o na l g o r i t h m s t y p i c a l l y i n v o l v e l o c a l , a v e r a g i n g o r s m o o t h i n gw h i c h , u n f o r t u n a t e l y , w i l l b l u r t h e e d g e s i n t h e i m a g e .A d a p t i v e m e t h o d s h a v e b e e n i n v e s t i g a t e d - e . g . , s m o o t h i n gl e s s n e a r t h e e d g e s . H o w e v e r , t h e y a r e g e n e r a l l y e f f e c t i v eo n l y i f t h e d e g r a d a t i o n i s s l i g h t . A c h a l l e n g i n g p r o b l e m i s t h e nhow t o e n h a n c e s e v e r e l y d e g r a d e d i m a g e s .R e c o g n i t i o n . T y p i c a l l y , a r e c o g n i t i o n s y s t e m n e e d s t oc l a s s i f y a n u n k n o w n i n p u t p a t t e r n i n t o o n e o f a s e t o fp r e s p e c i f i e d c l a s s e s . T h e t a s k i s f a i r l y e a s y i f t h e n u m b e r o fc l a s s e s i s s m a l l a n d i f a l l m e m b e r s i n t h e s a m e c l a s s a r e a l m o s te x a c t l y t h e s a m e . H o w e v e r , t h e p r o b l e m c a n b e c o m e v e r yd i f f i c u l t i f t h e n u m b e r o f c l a s s e s i s v e r y l a r g e o r i f m e m b e r si n t h e s a m e c l a s s c a n l o o k v e r y d i f f e r e n t . T h u s , a m o s tT h e p u b l i c a t i o n c o s t s o f t h i s a r t i c l e w e r e d e f r a y e d i n p a r t b y p a g e c h a r g ep a y m e n t . T h i s a r t i c l e m u s t t h e r e f o r e b e h e r e b y m a r k e d " a d v e r t i s e m e n t "i n a c c o r d a n c e w i t h 1 8 U . S . C . 1 7 3 4 s o l e l y t o i n d i c a t e t h i s f a c t .

c h a l l e n g i n g p r o b l e m i s how t o r e c o g n i z e g e n e r i c o b j e c t s . F o re x a m p l e , how c a n o n e c o n s t r u c t a s y s t e m t o r e c o g n i z e" c h a i r s " ?V i s u a l i z a t i o n . C o m m o n l y , v i s u a l i z a t i o n i s c o n s i d e r e d a s ap a r t o f c o m p u t e r g r a p h i c s . T h e m a i n t a s k i s t o g e n e r a t ei m a g e s o r i m a g e s e q u e n c e s b a s e d o n t h r e e - d i m e n s i o n a l o b -j e c t a n d s c e n e m o d e l s . A c h a l l e n g i n g p r o b l e m i s how t om o d e l d y n a m i c s c e n e s c o n t a i n i n g n o n r i g i d o b j e c t s ( s u c h a sc l o t h i n g , h a i r , t r e e s , w a v e s , c l o u d s , e t c . ) . T h e m o d e l s h a v et o b e r e a l i s t i c , a n d y e t t h e c o m p u t a t i o n c o s t h a s t o b er e a s o n a b l e .I I . M o d e l - B a s e d V i d e o C o m p r e s s i o nI n t h e r e m a i n d e r o f t h i s p a p e r , we s h a l l d i s c u s s i n s o m e d e t a i la n a p p r o a c h t o a c h i e v i n g v e r y - l o w - b i t - r a t e v i d e o t r a n s m i s -s i o n o r s t o r a g e . We p r e s e n t s o m e p r e l i m i n a r y r e s u l t s o f o u rw o r k o n m o d e l - b a s e d c o m p r e s s i o n o f v i d e o s e q u e n c e s o f ap e r s o n ' s f a c e , i n t h e c o n t e x t o f t e l e c o n f e r e n c i n g a n d v i d e o -p h o n e a p p l i c a t i o n s . T h e e m p h a s i s i s o n t h e d i f f i c u l t a n dc h a l l e n g i n g p r o b l e m o f a n a l y s i s . A l g o r i t h m s a r e p r e s e n t e d f o re x t r a c t i n g a n d t r a c k i n g k e y f e a t u r e p o i n t s o n t h e f a c e a n d f o re s t i m a t i n g t h e g l o b a l a n d l o c a l m o t i o n o f t h e h e a d / f a c e .H i s t o r i c a l l y , p r o g r e s s i n i m a g e c o d i n g t e c h n i q u e s h a s b e e nt h r o u g h i n c o r p o r a t i n g r e s u l t s f r o m o t h e r f i e l d s s u c h a s i n f o r -m a t i o n t h e o r y . M o s t o f t h e e x i s t i n g c o d i n g m e t h o d s s u c h a sp r e d i c t i v e c o d i n g , t r a n s f o r m c o d i n g , a n d v e c t o r q u a n t i z a t i o nb e l o n g t o i n f o r m a t i o n - t h e o r y - b a s e d m e t h o d s , i n w h i c h i m a g es i g n a l s a r e c o n s i d e r e d a s r a n d o m s i g n a l s a n d c o m p r e s s e d b ye x p l o i t i n g t h e i r s t o c h a s t i c p r o p e r t i e s .A p a r t f r o m t h e s e i n f o r m a t i o n - t h e o r e t i c c o di n g m e t h o d s ,r e s e a r c h o n n e w a p p r o a c h e s t o i m a g e c o d i n g w h i c h a r er e l a t e d t o b o t h i m a g e a n a l y s i s a n d c o m p u t e r g r a p h i c s h a sr e c e n t l y i n t e n s i f i e d . T h i s t y p e o f c o d i n g m e t h o d t a k e s i n t oa c c o u n t t h e t h r e e - d i m e n s i o n a l n a t u r e o f t h e s c e n e . C o n t r a r yt o c o n v e n t i o n a l c o d i n g m e t h o d s w h i c h e f f i c i e n t l y r e p r e s e n tw a v e f o r m s o f i m a g e s i g n a l s , t h e s e n e w a p p r o a c h e s r e p r e s e n ti m a g e s i g n a l s b y u s i n g s t r u c t u r a l i m a g e m o d e l s . An e s s e n t i a ld i f f e r e n c e b e t w e e n c o n v e n t i o n a l c o d i n g m e t h o d s a n d t h e s enew a p p r o a c h e s i s t h e i m a g e m o d e l t h e y a s s u m e . A m a j o ra d v a n t a g e o f t h i s new c o d i n g m e t h o d i s t h a t i t d e s c r i b e si m a g e c o n t e n t i n a s t r u c t u r a l w a y . I t s a p p l i c a t i o n a r e a s a r en a t u r a l l y d i f f e r e n t f r o m t h o s e o f w a v e f o r m c o d i n g .O u r m o d e l - b a s e d c o d i n g s y s t e m c o n s i s t s o f t h r e e m a i nc o m p o n e n t s : a t h r e e - d i m e n s i o n a l f a c i a l m o d e l , a n e n c o d e r ,a n d a d e c o d e r . T h e e n c o d e r s e p a r a t e s t h e o b j e c t f r o m t h eo b j e c t ' s b a c k g r o u n d , e s t i m a t e s t h e m o t i o n o f t h e p e r s o n ' sf a c e , a n a l y z e s t h e f a c i a l e x p r e s s i o n s , a n d t h e n t r a n s m i t s t h en e c e s s a r y a n a l y s i s p a r a m e t e r s . T h e e n c o d e r w i l l a d a p t newd e p t h i n f o r m a t i o n a n d i n i t i a l l y u n s e e n p o r t i o n s o f t h e o b j e c ti n t o t h e m o d e l b y u p d a t i n g a n d c o r r e c t i n g i t i f r e q u i r e d . T h ed e c o d e r s y n t h e s i z e s a n d g e n e r a t e s t h e o u t p u t i m a g e s b yu s i n g a t h r e e - d i m e n s i o n a l f a c i a l m o d e l a n d t h e r e c e i v e da n a l y s i s p a r a m e t e r s .M o d e l i n g a P e r s o n ' s F a c e . M o d e l i n g a n o b j e c t i s t h e m o s ti m p o r t a n t p a r t i n m o d e l - b a s e d c o d i n g b e c a u s e b o t h a n a l y s i s

9 7 6 6

8/6/2019 Image Processing Challenges

2/4

8/6/2019 Image Processing Challenges

3/4

9 7 6 8 C o l l o q u i u m P a p e r : Huang a n d A i z a w aF e a t u r e s a n d C o n t r o l P o i n t s . T h e f e a t u r e s t h a t a r e t r a c k e d

a r e n a t u r a l f a c i a l f e a t u r e s - i . e . , t h e e y e s , e y e b r o w s , t h en o s e , a n d t h e l i p s . T h e c o n t r o l p o i n t s , t h e t r a c k i n g o f w h i c hd e t e r m i n e s t h e g l o b a l a n d l o c a l m o t i o n , a r e p o i n t s w h i c h l i eo n t h e e d g e s o f t h e s e n a t u r a l f a c i a l f e a t u r e s . H e n c e , i t i ss u f f i c i e n t t h a t t h e e d g e s o f t h e s e n a t u r a l f a c i a l f e a t u r e s b e t h ef e a t u r e s t h a t a r e t r a c k e d o v e r t h e s e q u e n c e o f i m a g e s ( e . g . ,t h e c o r n e r s o f t h e e y e s a n d t h e l i p s , w h i c h l i e o n t h e e d g e s o ft h e e y e s a n d t h e l i p s c o r r e s p o n d i n g l y ) . T h e c o r n e r s a r e t h ec o n t r o l p o i n t s a n d t h e e d g e s a r e t h e f e a t u r e s .E a c h o f t h e f e a t u r e s i s r e p r e s e n t e d b y a s p l i n e , w h o s ei n t e r n a l e n e r g y s e r v e s t o i m p o s e a s m o o t h n e s s c o n s t r a i n t a n dp u s h e s t h e s p l i n e t o w a r d i m a g e f e a t u r e s s u c h a s l i n e s , e d g e s ,a n d c o n t o u r s . T h e i n t e r n a l s p l i n e e n e r g y ( 1 3 ) i s r e p r e s e n t e da s

S i n t = [ a ( s ) I v s ( s ) j 2 + 1 3 ( S ) I V S S ( s ) j 2 ] / 2 ,w h e r e a ( s ) i s a f i r s t - o r d e r t e r m , 8 3 ( s ) i s a s e c o n d - o r d e r t e r mc o n s t i t u t i n g t h e i n t e r n a l e n e r g y , v ( s ) = [ x ( s ) , y ( s ) ] i s t h ep a r a m e t r i c r e p r e s e n t a t i o n o f t h e s p l i n e , v , = d v / d s , a n d v s s= d 2 v / d s 2 . S e t t i n g , 3 ( s ) t o z e r o a t a p o i n t a l l o w s t h e s p l i n e t od e v e l o p a c o r n e r . I n d e f i n i n g a s p l i n e t h a t c o r r e s p o n d s t o af e a t u r e i n t h e i m a g e , a d i s c r e t e f o r m u l a t i o n i s a d o p t e d . T h ea b o v e e x p r e s s i o n i s d i s c r e t i z e d b y a p p r o x i m a t i n g t h e d e r i v -a t i v e s w i t h f i n i t e d i f f e r e n c e s a n d c o n v e r t i n g t o a v e c t o rn o t a t i o n w i t h v i = ( x i , y , ) = [ x ( i h ) , y ( i h ) ] . By g i v i n g d i f f e r e n tw e i g h t s t o t h e a a n d / 3 f a c t o r s , t h e s h a p e o f t h e s p l i n e i s m a d et o c o r r e s p o n d w i t h t h e e d g e o f t h e f e a t u r e . H e n c e , s e t t i n g , 3 jt o z e r o w i l l i m p l y t h a t v j w i l l a l w a y s c o r r e s p o n d t o a c o r n e r .T h e d i s c r e t e i n t e r n a l s p l i n e e n e r g y ( 1 3 ) o f t h i s f e a t u r e i s

S i n t a i l v i - v i _ 1 1 2 / 2 h 2 + i l v i - l - 2 v i + v , + 1 I 2 / 2 h 4 .A l s o v o = v , s i n c e t h e c o n t o u r s d e f i n e d a r e c l o s e d c o n t o u r s .T r a c k i n g . T h e m e t h o d o l o g y we h a v e d e v e l o p e d t r a c k sf e a t u r e s t h a t may o r ma y n o t b e v i s i b l e t o t h e c a m e r a i n t h ee n t i r e i m a g e s e q u e n c e . T h e s p l i n e s d e f i n e d i n t h e p r e v i o u ss e c t i o n a r e u s e d f o r t r a c k i n g t h e f e a t u r e s w h e n t h e y a r ev i s i b l e , i n w h o l e , a n d " s e a r c h r e g i o n s " a r e t h e t o o l s f o rt r a c k i n g t h e f e a t u r e s t h a t a r e w h o l l y o r p a r t l y h i d d e n f r o m t h ec a m e r a . T h e s p l i n e s , i n a d d i t i o n t o b e i n g c o n s t r a i n e d b y t h e i ri n t e r n a l e n e r g y , a r e c o n s t r a i n e d b y t h e e x t e r n a l f o r c e s , t h ei m a g e I ( x , y ) . We n e e d t o c o n s t r a i n t h e s p l i n e t o b e d r i v e nt o w a r d t h e e d g e s i n t h e i m a g e . H e n c e , i f we s e t t h e e x t e r n a ls p l i n e e n e r g y S e d g e = S e x t = - l 1 a p l a c i a n o f I ( x , y ) 1 2 , t h e n t h es p l i n e i s a t t r a c t e d t o c o n t o u r s w i t h a l a r g e i m a g e g r a d i e n t .T h e p a r t i a l d e r i v a t i v e s o f S e d g e a r e a p p r o x i m a t e d b y f i n i t ed i f f e r e n c e s . T h e s p l i n e i s m a d e t o t r a c k t h e f e a t u r e b ym i n i m i z i n g t h e s p l i n e e n e r g y S s p l i n e = X : [ S e d g e ( i ) + S i n t ( i ) ]T h i s m i n i m i z a t i o n c o r r e s p o n d s t o s o l v i n g t w o i n d e p e n d e n tE u l e r e q u a t i o n s ( 1 3 ) . T h e r e s u l t o f t h i s m i n i m i z a t i o n i s t h a tt h e s p l i n e c o r r e s p o n d s t o t h e f e a t u r e b e i n g t r a c k e d a n d t h a tt h e c o n t r o l p o i n t s , c o r r e s p o n d i n g t o k n o w n a a n d , 8 i , a r e a l s od e t e c t e d .A d a t a b a s e o f v e c t o r s , c a l l e d a c t i o n v e c t o r s ( 1 ) , e a c hc o r r e s p o n d i n g t o t h e maximum p o s s i b l e l o c a l m o t i o n o f o n eo f t h e 2 6 c o n t r o l p o i n t s , i s c r e a t e d . I t i s t h i s d a t a b a s e t h a tf o r m s a p a r t o f t h e m o t i o n p r e d i c t i o n p r o c e d u r e .A c u b o i d a l r e g i o n i s d e f i n e d a b o u t t h e v e r t i c e s i n t h e m o d e lt h a t c o r r e s p o n d t o a f e a t u r e i n t h e i m a g e . I t i s o r i e n t e d i n t h ed i r e c t i o n o f t h e n o r m a l t o t h e p l a n a r p a t c h o f t h e f e a t u r e . T h el e n g t h o f t h e e d g e o f t h i s c u b e i s s u c h t h a t i t w o u l d i n c l u d et h e c o n t r o l p o i n t s i n t h i s r e g i o n , w h i c h c o r r e s p o n d t o a 1 0 0 %d i s p l a c e m e n t a l o n g t h e a c t i o n v e c t o r s . T h i s e n s u r e s t h a t t h ef e a t u r e w i l l a l w a y s l i e w i t h i n t h i s r e g i o n a s t h e r e g i o n i s l a r g ee n o u g h t o a c c o u n t f o r b o t h t h e l o c a l a n d t h e g l o b a l m o t i o nb e t w e e n c o n s e c u t i v e f r a m e s o f t h e s e q u e n c e . D u r i n g t r a c k -i n g , t h e r e c t a n g u l a r r e g i o n c o n t a i n i n g t h e o r t h o g r a p h i c p r o -j e c t i o n o f t h i s c u b o i d a l r e g i o n i s t h e r e g i o n i n w h i c h t h e

s e a r c h f o r t h e e n t i r e f e a t u r e i s d o n e . I f t h e f e a t u r e i s n o td e t e c t e d , i t i s l a b e l e d a s h i d d e n . I n r e a l i t y t h i s f e a t u r e mayo n l y b e p a r t i a l l y h i d d e n f r o m t h e c a m e r a , b u t t h e n t h e s p l i n ew i l l n o t b e a b l e t o d e t e c t t h i s . T h e a c t i o n v e c t o r s s p e c i f y t h ed i r e c t i o n i n w h i c h t h e s p l i n e m o v e s i n i t i a l l y w h e n t r y i n g t om i n i m i z e t h e s p l i n e e n e r g y S s p l i n e . E a c h s e t o f e i g h t v e r t i c e sc o r r e s p o n d i n g t o t h e v e r t i c e s o f t h e c u b e i s a p p e n d e d t o v ( x ' ,y ' , z , t e x t u r e ) , w i t h t h e v e r t e x t e x t u r e i n f o r m a t i o n f o r t h e s ea p p e n d e d v e r t i c e s s e t t o z e r o . An y t r a n s f o r m a t i o n p e r f o r m e do n t h e v e r t i c e s o f t h e t h r e e - d i m e n s i o n a l m o d e l w i l l a l s ot r a n s f o r m t h e c u b o i d a l s e a r c h r e g i o n s . H e n c e , we a l w a y sknow t h e r e g i o n i n w h i c h t o l o o k f o r t h e f e a t u r e s . E v e n i f t h ef e a t u r e w e r e c o m p l e t e l y h i d d e n f r o m t h e c a m e r a , t h e v e r t i c e sw i l l d e f i n e t h e r e g i o n i n w h i c h t o l o o k f o r t h e f e a t u r e a n d , i fi t i s n o t f o u n d , i t w i l l l a b e l t h e f e a t u r e a s h i d d e n . A s a r e s u l t ,a f t e r s e v e r a l t r a n s f o r m a t i o n a l o p e r a t i o n s o n t h e s e t o f v e r t i -c e s v ( x ' , y ' , z , t e x t u r e ) , i f a h i d d e n f e a t u r e i s now c o m p l e t e l yv i s i b l e , t h e n t h e r e g i o n i n w h i c h i t c a n b e f o u n d i s i m m e d i -a t e l y k n o w n .M o t i o n E s t i m a t i o n . F o r t h e p u r p o s e o f m o t i o n e s t i m a t i o n ,o n l y 5 o f t h e 2 6 c o n t r o l p o i n t s n e e d b e f o u n d . Some o f t h ec o n t r o l p o i n t s h a v e " z e r o " a c t i o n v e c t o r s ; i . e . , t h e y a r e f i x e dp o i n t s o n t h e f a c e . T h e s e a r e f i x e d c o n t r o l p o i n t s . F o r t h ep u r p o s e o f g l o b a l m o t i o n e s t i m a t i o n i t i s s u f f i c i e n t t h a t f i v e o ft h e f i x e d c o n t r o l p o i n t s b e d e t e c t e d . B u t i f f e w e r t h a n f i v ef i x e d c o n t r o l p o i n t s a r e d e t e c t e d , t h e n o f t h e c o n t r o l p o i n t sd e t e c t e d , t h e o n e s w i t h t h e s m a l l e s t m a g n i t u d e o f t h e a c t i o nv e c t o r a r e a s s u m e d a s f i x e d c o n t r o l p o i n t s .L e t ' y i ( x , y , z ) b e t h e c o o r d i n a t e s o f t h e v e r t i c e s i n t h em o d e l c o r r e s p o n d i n g t o t h e i m a g e I i ( x , y ) , a p p e n d e d w i t h t h ec o o r d i n a t e s o f t h e s e a r c h r e g i o n s - i . e . , v ( x ' , y ' , z , t e x t u r e ) .T h e t h r e e c o o r d i n a t e v a l u e s f o r f i v e f i x e d c o n t r o l p o i n t s P ( x i ,y i , z i ) a r e k n o w n , a s t h e p o s i t i o n o f t h e s p l i n e s i s k n o w n a n ds o i s t h e c o r r e s p o n d i n g p o s i t i o n o n t h e m o d e l , w h i c h e s s e n -t i a l l y a d d s t h e v a l u e o f t h e d e p t h a t e a c h p o i n t o n t h e s p l i n e .T h e i n i t i a l d i r e c t i o n o f s p l i n e m o v e m e n t i s p r e d i c t e d i n t h ei m a g e I i + i ( x , y ) , b y u s i n g t h e a c t i o n v e c t o r d i r e c t i o n , w i t h i nt h e s e a r c h r e g i o n . I f t h e f e a t u r e i s n o t d e t e c t e d i n t h i sd i r e c t i o n t h e n t h e s p l i n e i s m o v e d i n t h e o p p o s i t e d i r e c t i o na n d t h e n i n t h e p e r p e n d i c u l a r d i r e c t i o n s . T h e p r o p e r t i e s o ft h e s p l i n e w i l l c a u s e t h e s p l i n e t o f i n d t h e f e a t u r e e d g e i f i t c a nb e f o u n d i n w h o l e , a n d i f i t f a i l s t o f i n d t h e f e a t u r e i n e a c h o ft h e s e d i r e c t i o n s t h e n t h e f e a t u r e i s p a r t l y o r w h o l l y h i d d e n .A s p l i n e c o r r e s p o n d i n g t o a n o t h e r f e a t u r e i s now i n i t i a l i z e da n d t h e f i x e d c o n t r o l p o i n t s a r e d e t e c t e d .A s m a l l n u m b e r A z c o r r e s p o n d s t o a n i n i t i a l g u e s s o n t h ec h a n g e a l o n g t h e z a x i s o f t h e d e t e c t e d f i x e d c o n t r o l p o i n t s i nI i + i ( x , y ) . T h e f i x e d c o n t r o l p o i n t s c o r r e s p o n d i n g t o t h o s ed e t e c t e d i n I i + i ( x , y ) n e e d n o t h a v e a l l b e e n d e t e c t e d i n I i ( x ,y ) . T h i s i s o b v i o u s , s i n c e t h e c o o r d i n a t e s o f t h e s e p o i n t s mayh a v e b e e n c o m p u t e d f r o m t h e i m a g e s I i + i ( x , y ) a n d I , { x , y )a n d a l s o s i n c e t h e s e p o i n t s u n d e r g o n o l o c a l m o t i o n . W e n owh a v e f i v e f i x e d c o n t r o l p o i n t s P ( x i + 1 , Y i + i , z i + A z ) o f I i + i ( x ,y ) w h i c h c o r r e s p o n d t o P ( x i , y i , z d ) o f I i ( x , y ) .S o l v i n g f o r t h e g l o b a l e s t i m a t i o n i s d o n e i n a n i t e r a t i v ef a s h i o n i n v o l v i n g t w o r e c u r s i v e s t e p s : ( i ) d e t e r m i n a t i o n o fm o t i o n p a r a m e t e r s u s i n g g i v e n d e p t h v a l u e s a n d ( i i ) d e t e r -m i n a t i o n o f d e p t h v a l u e s u s i n g g i v e n m o t i o n p a r a m e t e r s .F o r a d e t a i l e d d e s c r i p t i o n o n t h e c o m p u t a t i o n i n v o l v e d i nc o m p u t i n g ' y i + 1 ( x , y , z ) s e e r e f . 6 . T h e r e s u l t o f t h i s p r o c e s si s t h a t t h e v e r t i c e s o f t h e m o d e l a n d t h e s e a r c h r e g i o n sc o r r e s p o n d i n g t o t h e i m a g e I i + i ( x , y ) a r e k n o w n a n d t h em a t r i x t r a n s f o r m a t i o n T i o f y i + 1 ( x , y , z , 1 ) = T j y , ( x , y , z , 1 ) i sa l s o k n o w n f o r a l l t h e v e r t i c e s , b u t t h e x a n d y c o o r d i n a t e s a r er e p l a c e d w i t h t h e d e t e c t e d c o o r d i n a t e s f o r t h e d e t e c t e dc o n t r o l p o i n t s . We now h a v e ' y i + 1 ( x ' , y ' , z ) .T h e m a t r i x T- I i s c o m p u t e d a n d y ( x ' , y ' , z ) = T - 7 ' y i + 1 ( x ' ,y ' , z ) i s c o m p u t e d . T h e t w o - d i m e n s i o n a l l o c a l m o t i o n i s nowe a s i l y c o m p u t e d a s t h e d i s p l a c e m e n t b e t w e e n t h e d e t e c t e d

P r o c . N a t l . A c a d . S c i . USA 9 0 ( 1 9 9 3 )

8/6/2019 Image Processing Challenges

4/4

P r o c . N a t l . A c a d . S c i . USA 9 0 ( 1 9 9 3 ) 9 7 6 9n o n f i x e d c o n t r o l p o i n t s o f I i + 1 ( x , y ) i n y j ( x ' , y ' , z ) a n d - y i ( x ,y , z ) .V . R e s u l t s o f A n a l y s i sT h e m e t h o d f o r f a c i a l m o t i o n a n a l y s i s o u t l i n e d a b o v e i s v e r ys u c c e s s f u l , w i t h h i g h l y a c c u r a t e r e s u l t s . T h e g l o b a l m o t i o np a r a m e t e r s w e r e e s t i m a t e d w i t h a maximum e r r o r o f 2 5 % .T h e l o c a l m o t i o n w a s a l s o e s t i m a t e d w i t h a h i g h d e g r e e o fa c c u r a c y ; t h e l a r g e r t h e n u m b e r o f c o n t r o l p o i n t s d e t e c t e d ,t h e b e t t e r t h e a c c u r a c y . T h e r e s u l t s w e r e n o t v e r y e n c o u r -a g i n g w h e n f e w e r t h a n f i v e f i x e d c o n t r o l p o i n t s w e r e d e t e c t e da n d w h e n t h e s p l i n e s w e r e u n a b l e t o d e t e c t t h e f e a t u r e s . T h i sr e s u l t e d i n t h e e r r o r s a c c u m u l a t i n g a n d f i n a l l y l e a d i n g t o l a r g ee r r o r s a n d d e g e n e r a t i o n o f t h e m o d e l . C a r e f u l a n d a c c u r a t em a p p i n g o f t h e i m a g e o n t o t h e m o d e l i s v e r y i m p o r t a n t t oo b t a i n a c c u r a t e r e s u l t s . T h e c o m p u t e d m o t i o n p a r a m e t e r sw e r e u s e d t o s y n t h e s i z e t h e a n a l y z e d m o t i o n .S i g n i f i c a n t a s p e c t s o f t h i s m e t h o d o l o g y a r e t h e s u c c e s s f u lu s e o f t h e a c t i o n v e c t o r s t o p r e d i c t t h e l o c a l m o t i o n a n d t h et r a c k i n g o f f e a t u r e s i n t h r e e d i m e n s i o n s , f e a t u r e s w h i c h mayb e h i d d e n t o t h e c a m e r a i n t h e i m a g e s e q u e n c e . T h e r e s u l t sc o m p a r e v e r y w e l l w i t h t h e r e s e a r c h d o n e i n t h e p a s t .V I . D i s c u s s i o nM o d e l - b a s e d c o d i n g i s i n i t s i n f a n c y a n d m a n y p r o b l e m sr e m a i n t o b e s o l v e d . T h e f o l l o w i n g a r e , i n o u r o p i n i o n , s o m eo f t h e d i f f i c u l t i s s u e s i n m o d e l - b a s e d c o d i n g .M o d e l i n g o f O b j e c t s . M o d e l i n g o f o b j e c t s i s t h e m o s ti m p o r t a n t i s s u e i n m o d e l - b a s e d c o d i n g . C o m p l e x i t y o f a n a l -y s i s a n d s y n t h e s i s d e p e n d s o n t h e m o d e l a d o p t e d .C u r r e n t l y , w e l l - a p p r o x i m a t e d t h r e e - d i m e n s i o n a l m o d e l sw h i c h a r e o b t a i n e d f r o m a p r i o r i k n o w l e d g e a r e u s e d b y m o s tr e s e a r c h e r s . A d i f f i c u l t p r o b l e m i s how t o d e a l w i t h u n k n o w no b j e c t s . I t s e e m s n e c e s s a r y t h a t a h i e r a r c h y o f m o d e l s i nt e r m s o f a p p r o x i m a t i o n d e g r e e s h o u l d b e u s e d . I n t h i sh i e r a r c h i c a l m o d e l i n g, e v e r y o b j e c t i s r o u g h l y m o d e l e d , a n da p r i o r i t h r e e - d i m e n s i o n a l m o d e l s a r e f u r t h e r a p p l i e d t ok n o w n o b j e c t s . C o m b i n a t i o n o f m o d e l - b a s e d c o d i n g a n dw a v e f o r m c o d i n g ( 3 - 5 ) , w h i c h i s p r o p o s e d a s a s o l u t i o n f o rt h e p r o b l e m o f u n k n o w n o b j e c t , i s c o n s i d e r e d a s a k i n d o fb i - l e v e l h i e r a r c h i c a l m o d e l .A n o t h e r p r o b l e m i s c a u s e d b y t h e c o m p l e x i t y o f t h ew e l l - a p p r o x i m a t e d m o d e l . I f a m o d e l h a s f i n e r d e t a i l s , i t i sm o r e r e a l i s t i c f o r s y n t h e s i s b u t m o r e c o m p l e x f o r a n a l y s i s . I td o e s n ' t s e e m w i s e t o u s e a c o m p l e x m o d e l f o r e v e r y o b j e c t .S o m e o b j e c t s s u c h a s f a c e s w o u l d b e t t e r b e m o d e l e d b y u s i n ga w e l l - a p p r o x i m a t e d c o m p l e x m o d e l , w h e r e a s o t h e r o b j e c t sw o u l d b e t t e r b e c o d e d b a s e d o n i m p r e c i s e m o d e l s . M o d e lh i e r a r c h y w i l l b e h e l p f u l f o r t h i s p r o b l e m a l s o .E v a l u a t i o n P r o b l e m . F o r c o n v e n t i o n a l w a v e f o r m c o d i n gt e c h n i q u e s , a common e v a l u a t i o n m e a s u r e i s t h e means q u a r e d e r r o r . T h o u g h i t h a s o f t e n b e e n c l a i m e d t h a t i t i s n o ta l w a y s a g o o d c r i t e r i o n , i t h a s b e e n a f o r c e w h i c h g u i d e s t h ep r o g r e s s o f w a v e f o r m c o d i n g i n t h e r i g h t w a y . W h a t i s a g o o dq u a l i t y c r i t e r i o n f o r m o d e l - b a s e d c o d i n g ? T h e r e h a s b e e n n o

d i s c u s s i o n o n t h i s p o i n t . T h o u g h P e a r s o n ( 1 5 ) d e a l s w i t hd i f f e r e n c e s b e t w e e n a n o r i g i n a l i m a g e a n d a n i m a g e s y n t h e -s i z e d b y t e x t u r e - m a p p e d m o d e l , s q u a r e d e r r o r i s s t i l l u s e d f o rt h e q u a l i t y m e a s u r e . O n e o f t h e a t t r a c t i v e p o i n t s o f m o d e l -b a s e d c o d i n g i s t h a t i t i s f r e e f r o m s q u a r e d e r r o r m e a s u r e .T h e r e i s n o g u i d a n c e a t t h e p r e s e n t t i m e o n how t o q u a n t i -t a t i v e l y e v a l u a t e t h e g o o d n e s s o f m o d e l - b a s e d c o d i n g s y s -t e m s .P r o m i s i n g A p p l i c a t i o n s . C u r r e n t l y , r e s e a r c h i s b e i n g d o n eo n m o d e l - b a s e d c o d i n g w i t h o u t s e r i o u s l y c o n s i d e r i n g w h a t i sp r o m i s i n g a p p l i c a t i o n s m i g h t b e . I n v o k i n g t h i s q u e s t i o n i sn e c e s s a r y f o r d e c i d i n g t h e f u t u r e d i r e c t i o n o f m o d e l - b a s e dc o d i n g . A t t h e b e g i n n i n g , i t w a s t h o u g h t t h a t m o d e l - b a s e dc o d i n g w o u l d b e u s e d f o r i m a g e c o m m u n i c a t i o n . H o w e v e r ,w h e n we t h i n k o f i t s h i g h a s y m m e t r y ( a n a l y s i s i s f a r m o r ed i f f i c u l t t h a n s y n t h e s i s ) a n d t h e g r o wi n g b a n d w i d t h i n f u t u r ec o m m u n i c a t i o n s y s t e m s , i m a g e c o m p r e s s i o n f o r r e a l - t i m et e l e c o m m u n i c a t i o n w i l l n o t b e a g o o d a p p l i c a t i o n f o r t h em o d e l - b a s e d c o d i n g .I n s t e a d , o n e - w a y - c o m m u n i c a t i o n - t y p e a p p l i c a t i o n s m a yb e i m p o r t a n t a p p l i c a t i o n a r e a s , i n w h i c h d a t a b a s e a p p l i c a -t i o n s , b r o a d c a s t i n g - t y p e c o m m u n i c a t i o n a p p l i c a t i o n s , a n dm a c h i n e i n t e r f a c e a p p l i c a t i o n s a r e i n c l u d e d . T h e m a j o r a d -v a n t a g e o f m o d e l - b a s e d c o d i n g i s n o t i n c o m p r e s s i o n , b u t i nd e s c r i b i n g s c e n e s i n a s t r u c t u r a l w a y i n t o c o d e s w h i c h c a n b ee a s i l y o p e r a t e d o n a n d e d i t e d . T h u s m o d e l - b a s e d c o d i n g c a nb e a p p l i e d t o c r e a t i n g n e w i m a g e s e q u e n c e s b y m o d e l i n g a n da n a l y z i n g s t o r e d o l d i m a g e s e q u e n c e s . S u c h m a n i p u l a t i o n s o fi m a g e c o n t e n t may b e t h e m o s t i m p o r t a n t a p p l i c a t i o n o fm o d e l - b a s e d c o d i n g .

T h i s r e s e a r c h w a s s u p p o r t e d i n p a r t b y N a t i o n a l S c i e n c e F o u n -d a t i o n G r a n t I R I - 8 9 - 0 8 2 5 5 a n d i n p a r t b y a g r a n t f r o m S u m i t o m oE l e c t r i c I n d u s t r i e s , J a p a n .1 . E k m a n , P . & F r i e s e n , W. V . ( 1 9 7 7 ) i n F a c i a l A c t i o n C o d i n gS y s t e m ( C o n s u l t i n g P s y c h o l o g i s t s P r e s s , P a l o A l t o , C A ) .2 . K a n e k o , M . , K o i k e , A . & H a t o r i , Y . ( 1 9 9 1 ) P i c t u r e C o d i n gS y m p . 9 1 .3 . M i n a m i , T . , S o , I . , M i z u n o , T . & N a k a m u r a , 0 . ( 1 9 9 0 ) P i c t u r eC o d i n g S y m p . 9 0 .4 . N a k a y a , Y . , A i z a w a , K . & H a r a s h i m a , H . ( 1 9 9 0 ) P i c t u r eC o d i n g S y m p . 9 0 .5 . F u k u h a r a , T . , A s a i , K . & M u r a k a m i , T . ( 1 9 9 0 ) P i c t u r e C o d i n gS y m p . 9 0 .6 . A i z a w a , K . , H a r a s h i m a , H . & S a i t o , T . ( 1 9 8 9 ) S i g n a l P r o c e s s -i n g : I m a g e C o m m u n . 1 , 1 3 9 - 1 5 2 .7 . C h o i , C . S . , A i z a w a , K . , H a r a s h i m a , H . & T a k e b e , T . ( 1 9 9 0 )P r o c . P C S - 9 0 9 . 1 5 , 1 - 2 .8 . F o r c h h e i m e r , R . ( 1 9 8 7 ) P r o c . P C S - 8 7 , 1 7 1 - 1 7 2 .9 . F o r c h h e i m e r , R . & K r o n a n d e r , T . ( 1 9 8 9 ) IEEE T r a n s . ASSP 3 7 ,2 0 0 8 - 2 0 2 3 .1 0 . K a n e k o , M . , K o i k e , A . & H a t o r i , Y . ( 1 9 8 7 ) P C S - 8 7 , 1 2 . 3 .1 1 . K a n e k o , M . , K o i k e , A . & H a t o r i , Y . ( 1 9 9 0 ) P r o c . P C S - 9 0 9 . 5 ,1 - 2 .1 2 . K e p p e i , F . & L i e d t k e , C . - E . ( 1 9 8 7 ) P r o c . S P I E 8 6 0 , 1 2 6 - 1 3 2 .1 3 . K a s s , M . , T e r z o p o u l o s , A . , e t a l . ( 1 9 8 7 ) ICCV 1 , 2 5 9 - 2 6 7 .1 4 . R y d f a l k , M . ( 1 9 8 9 ) CANDIDE: A P a r a m e t e r i z e d F a c e ( L i n -

k o p i n g U n i v e r s i t y , L i n k o p i n g , S w e d e n ) .1 5 . P e a r s o n , D . E . ( 1 9 9 0 ) I m a g e Commun. 2 . 4 , 3 7 7 - 3 9 6 .

C o l l o q u i u m P a p e r : H u a n g a n d A i z a w a