8/22/2019 Schmid Pami97

1/6

I E E E T R A N S . O N P A T T E R N A N A L Y S I S A N D M A C H I N E I N T E L L I G E N C E 1

L o c a l G r e y v a l u e I n v a r i a n t s f o r I m a g e R e t r i e v a l

C o r d e l i a S c h m i d a n d R o g e r M o h r

A b s t r a c t | T h i s p a p e r a d d r e s s e s t h e p r o b l e m o f r e t r i e v i n g

i m a g e s f r o m l a r g e i m a g e d a t a b a s e s . T h e m e t h o d i s b a s e d

o n l o c a l g r e y v a l u e i n v a r i a n t s w h i c h a r e c o m p u t e d a t a u t o -

m a t i c a l l y d e t e c t e d i n t e r e s t p o i n t s . A v o t i n g a l g o r i t h m a n d

s e m i - l o c a l c o n s t r a i n t s m a k e r e t r i e v a l p o s s i b l e . I n d e x i n g a l -

l o w s f o r e c i e n t r e t r i e v a l f r o m a d a t a b a s e o f m o r e t h a n 1 0 0 0

i m a g e s . E x p e r i m e n t a l r e s u l t s s h o w c o r r e c t r e t r i e v a l i n t h e

c a s e o f p a r t i a l v i s i b i l i t y , s i m i l a r i t y t r a n s f o r m a t i o n s , e x t r a -

n e o u s f e a t u r e s , a n d s m a l l p e r s p e c t i v e d e f o r m a t i o n s .

K e y w o r d s | i m a g e r e t r i e v a l , i m a g e i n d e x i n g , g r e y l e v e l i n -

v a r i a n t s , m a t c h i n g

I . I n t r o d u c t i o n

T h i s p a p e r a d d r e s s e s t h e p r o b l e m o f m a t c h i n g a n i m a g e

t o a l a r g e s e t o f i m a g e s . T h e q u e r y i m a g e i s a n e w ( p a r t i a l )

i m a g e o f a n o b j e c t i m a g e d i n t h e d a t a b a s e . T h e i m a g e

m a y b e t a k e n f r o m a d i e r e n t v i e w i n g a n g l e ( m a d e p r e c i s e

b e l o w ) .

A . E x i s t i n g r e c o g n i t i o n m e t h o d s

E x i s t i n g a p p r o a c h e s i n t h e l i t e r a t u r e a r e o f t w o t y p e s :

t h o s e t h a t u s e g e o m e t r i c f e a t u r e s o f a n o b j e c t ; a n d t h o s e

t h a t r e l y o n t h e l u m i n a n c e s i g n a t u r e o f a n o b j e c t .

G e o m e t r i c a p p r o a c h e s m o d e l o b j e c t s b y 3 D p r o p e r t i e s

s u c h a s l i n e s , v e r t i c e s a n d e l l i p s e s a n d t r y t o e x t r a c t t h e s e

f e a t u r e s i n o r d e r t o r e c o g n i s e t h e o b j e c t s . G e n e r a l s u r -

v e y s o n s u c h m o d e l - b a s e d o b j e c t r e c o g n i t i o n s y s t e m s a r e

p r e s e n t e d i n 1 ] , 2 ] . T h e s e m e t h o d s g e n e r a l l y c o m p r i s e

t h r e e c o m p o n e n t s : m a t c h i n g , p o s e c o m p u t a t i o n , a n d v e r -

i c a t i o n . T h e k e y c o n t r i b u t i o n o f s e v e r a l r e c o g n i t i o n s y s -

t e m s h a s b e e n a m e t h o d o f c u t t i n g d o w n t h e c o m p l e x i t y o f

m a t c h i n g . F o r e x a m p l e t r e e s e a r c h i s u s e d i n 3 ] a n d r e c u r -

s i v e e v a l u a t i o n o f h y p o t h e s e s i n 4 ] . I n i n d e x i n g , t h e f e a t u r e

c o r r e s p o n d e n c e a n d s e a r c h o f t h e m o d e l d a t a b a s e a r e r e -

p l a c e d b y a l o o k - u p t a b l e m e c h a n i s m 5 ] , 6 ] , 7 ] . T h e m a j o r

d i c u l t y o f t h e s e g e o m e t r y b a s e d a p p r o a c h e s i s t h a t t h e y

u s e h u m a n - m a d e m o d e l s o r r e q u i r e C A D - l i k e r e p r e s e n t a -

t i o n s . T h e s e r e p r e s e n t a t i o n s a r e n o t a v a i l a b l e f o r o b j e c t s

s u c h a s t r e e s o r p a i n t i n g s ; i n t h e c a s e o f \ g e o m e t r i c " o b -

j e c t s t h e s e C A D - l i k e r e p r e s e n t a t i o n s a r e d i c u l t t o e x t r a c t

f r o m t h e i m a g e .

A n a l t e r n a t i v e a p p r o a c h i s t o u s e t h e l u m i n a n c e i n f o r m a -

t i o n o f a n o b j e c t . T h e i d e a i s n o t t o i m p o s e w h a t h a s t o b e

s e e n i n t h e i m a g e ( p o i n t s , l i n e s . . . ) b u t r a t h e r t o u s e w h a t

i s r e a l l y s e e n i n t h e i m a g e t o c h a r a c t e r i s e a n o b j e c t . T h e

r s t i d e a w a s t o u s e c o l o u r h i s t o g r a m s 8 ] . S e v e r a l a u t h o r s

h a v e i m p r o v e d t h e p e r f o r m a n c e o f t h e o r i g i n a l c o l o u r h i s -

t o g r a m m a t c h i n g t e c h n i q u e b y i n t r o d u c i n g m e a s u r e s w h i c h

a r e l e s s s e n s i t i v e t o i l l u m i n a t i o n c h a n g e s 9 ] , 1 0 ] , 1 1 ] , 1 2 ] .

I n s t e a d o f u s i n g c o l o u r , g r e y v a l u e d e s c r i p t o r s c a n a l s o b e

T h e a u t h o r s a r e w i t h G R A V I R - I M A G a n d I N R I A R h ^ o n e - A l p e s ,

6 5 5 a v e n u e d e l ' E u r o p e , 3 8 3 3 0 M o n b o n n o t S a i n t - M a r t i n , F r a n c e .

E - m a i l : c o r d e l i a . s c h m i d @ i n r i a l p e s . f r .

C o r d e l i a S c h m i d h a s b e e n p a r t i a l l y s u p p o r t e d b y t h e H C M p r o g r a m

o f t h e E u r o p e a n C o m m u n i t y .

u s e d f o r h i s t o g r a m s 1 3 ] . A n o t h e r i d e a i s t o u s e a c o l l e c t i o n

o f i m a g e s a n d r e d u c e t h e m i n a n e i g e n s p a c e . T h i s a p p r o a c h

w a s r s t u s e d i n 1 4 ] f o r f a c e r e c o g n i t i o n a n d t h e n i n 1 5 ]

f o r g e n e r a l o b j e c t s . A d i e r e n t r e d u c t i o n i s p r o p o s e d i n

1 6 ] w h o l e a r n s f e a t u r e s w h i c h b e s t d e s c r i b e t h e i m a g e . I t

i s a l s o p o s s i b l e t o c o m p u t e l o c a l g r e y v a l u e d e s c r i p t o r s a t

p o i n t s o f a g l o b a l g r i d . T h e d e s c r i p t o r s a r e e i t h e r s t e e r a b l e

l t e r s 1 7 ] o r G a b o r l t e r s 1 8 ] , 1 9 ] . I n t h e c a s e o f p a r t i a l

v i s i b i l i t y g r i d p l a c e m e n t g e t s d i c u l t , a s t h e g r i d c a n n o t

b e c e n t r e d .

B . O u r a p p r o a c h

A l l o f t h e e x i s t i n g l u m i n a n c e a p p r o a c h e s a r e g l o b a l a n d

t h e r e f o r e h a v e d i c u l t y i n d e a l i n g w i t h p a r t i a l v i s i b i l i t y

a n d e x t r a n e o u s f e a t u r e s . O n t h e o t h e r h a n d , g e o m e t r i c

m e t h o d s h a v e d i c u l t i e s i n d e s c r i b i n g \ n o n - g e o m e t r i c " o b -

j e c t s a n d t h e y h a v e p r o b l e m s d i e r e n t i a t i n g b e t w e e n m a n y

o b j e c t s . L o c a l c o m p u t a t i o n o f i m a g e i n f o r m a t i o n i s n e c -

e s s a r y w h e n d e a l i n g w i t h p a r t i a l v i s i b i l i t y ; p h o t o m e t r i c

i n f o r m a t i o n i s n e c e s s a r y w h e n d e a l i n g w i t h a l a r g e n u m -

b e r o f s i m i l a r o b j e c t s . T h e a p p r o a c h d e s c r i b e d h e r e u s e s

l o c a l g r e y v a l u e f e a t u r e s c o m p u t e d a t i n t e r e s t p o i n t s a s d i s -

p l a y e d i n g u r e 1 . I n t e r e s t p o i n t s a r e l o c a l f e a t u r e s w i t h

h i g h i n f o r m a t i o n a l c o n t e n t ( s e c t i o n I I ) .

T h e l o c a l c h a r a c t e r i s t i c s u s e d i n t h i s w o r k a r e b a s e d o n

d i e r e n t i a l g r e y v a l u e i n v a r i a n t s 2 0 ] , 2 1 ] . T h i s e n s u r e s i n -

v a r i a n c e u n d e r t h e g r o u p o f d i s p l a c e m e n t s w i t h i n a n i m a g e .

A m u l t i - s c a l e a p p r o a c h 2 2 ] , 2 3 ] m a k e s t h i s c h a r a c t e r i s a -

t i o n r o b u s t t o s c a l e c h a n g e s , t h a t i s t o s i m i l a r i t y t r a n s f o r -

m a t i o n s ( s e c t i o n I I I ) . D u e t o a s t a b l e i m p l e m e n t a t i o n o f

t h e s e i n v a r i a n t s , a r e l i a b l e c h a r a c t e r i s a t i o n o f t h e s i g n a l i s

o b t a i n e d . M o r e o v e r , t h i s c h a r a c t e r i s a t i o n i s s i g n i c a n t , a s

i t i s c o m p u t e d a t i n t e r e s t p o i n t s .

A v o t i n g a l g o r i t h m m a k e s r e t r i e v a l r o b u s t t o m i s s -

m a t c h e s a s w e l l a s o u t l i e r s . O u t l i e r s a r e c a u s e d b y

m i s s - d e t e c t i o n o f f e a t u r e p o i n t s a n d e x t r a n e o u s f e a t u r e s .

S e m i - l o c a l c o n s t r a i n t s r e d u c e t h e n u m b e r o f m i s s - m a t c h e s .

F u r t h e r m o r e , i n d e x i n g v i a a m u l t i - d i m e n s i o n a l h a s h - t a b l e

m a k e s f a s t r e t r i e v a l p o s s i b l e ( s e c t i o n I V ) .

vector of local

characteristics

F i g . 1 . R e p r e s e n t a t i o n o f a n i m a g e .

O u r a p p r o a c h a l l o w s t h e h a n d l i n g o f p a r t i a l v i s i b i l i t y

a n d t r a n s f o r m a t i o n s s u c h a s i m a g e r o t a t i o n a n d s c a l i n g

( s e c t i o n V ) . E x p e r i m e n t s h a v e b e e n c o n d u c t e d o n a s e t

o f m o r e t h a n a t h o u s a n d i m a g e s , s o m e o f t h e m v e r y s i m -

i l a r i n s h a p e o r t e x t u r e . T h e h i g h r e c o g n i t i o n r a t e i s t h e

r e s u l t o f c a r e f u l d e s i g n i n w h i c h r o b u s t n e s s t o o u t l i e r s a n d

t o l e r a n c e t o i m a g e n o i s e w e r e c o n s i d e r e d a t e a c h s t e p .

inria

00548358,

version1

20Dec2010

Author manuscript, published in "IEEE Transactions on Pattern Analysis and Machine Intelligence 19, 5 (1997) 530--534"DOI : 10.1109/34.589215

http://dx.doi.org/10.1109/34.589215http://hal.archives-ouvertes.fr/http://hal.inria.fr/inria-00548358/fr/http://dx.doi.org/10.1109/34.589215

8/22/2019 Schmid Pami97

2/6

I I . I n t e r e s t P o i n t s

C o m p u t i n g i m a g e d e s c r i p t o r s f o r e a c h p i x e l i n t h e i m a g e

c r e a t e s t o o m u c h i n f o r m a t i o n . I n t e r e s t p o i n t s a r e l o c a l f e a -

t u r e s a t w h i c h t h e s i g n a l c h a n g e s t w o - d i m e n s i o n a l l y . T h e

u s e o f i n t e r e s t p o i n t s h a s a d v a n t a g e s o v e r f e a t u r e s s u c h a s

e d g e s o r r e g i o n s , p a r t i c u l a r l y r o b u s t n e s s t o p a r t i a l v i s i b i l i t y

a n d h i g h i n f o r m a t i o n a l c o n t e n t .

A w i d e v a r i e t y o f d e t e c t o r s f o r i n t e r e s t p o i n t s e x i s t s i n

t h e l i t e r a t u r e , t h e r e a d e r i s r e f e r r e d t o 2 4 ] f o r a n e x h a u s -

t i v e o v e r v i e w . I n t h e c o n t e x t o f m a t c h i n g , d e t e c t o r s s h o u l d

b e r e p e a t a b l e . A c o m p a r i s o n o f d i e r e n t d e t e c t o r s u n d e r

v a r y i n g c o n d i t i o n s 2 5 ] h a s s h o w n t h a t m o s t r e p e a t a b l e r e -

s u l t s a r e o b t a i n e d f o r t h e d e t e c t o r o f H a r r i s 2 6 ] . T h e b a s i c

i d e a o f t h i s d e t e c t o r i s t o u s e t h e a u t o - c o r r e l a t i o n f u n c t i o n

i n o r d e r t o d e t e r m i n e l o c a t i o n s w h e r e t h e s i g n a l c h a n g e s

i n t w o d i r e c t i o n s . A m a t r i x r e l a t e d t o t h e a u t o - c o r r e l a t i o n

f u n c t i o n w h i c h t a k e s i n t o a c c o u n t r s t d e r i v a t i v e s o f t h e

s i g n a l o n a w i n d o w i s c o m p u t e d :

e x p

?

x

2

+ y

2

2

2

I

2

x

I

x

I

y

I

x

I

y

I

2

y

T h e e i g e n v e c t o r s o f t h i s m a t r i x a r e t h e p r i n c i p a l c u r -

v a t u r e s o f t h e a u t o - c o r r e l a t i o n f u n c t i o n . T w o s i g n i c a n t

v a l u e s i n d i c a t e t h e p r e s e n c e o f a n i n t e r e s t p o i n t .

F i g . 2 . I n t e r e s t P o i n t s d e t e c t e d o n t h e s a m e s c e n e u n d e r r o t a t i o n .

T h e i m a g e r o t a t i o n b e t w e e n t h e l e f t i m a g e a n d t h e r i g h t i m a g e

i s 1 5 5 d e g r e e s . T h e r e p e a t a b i l i t y r a t e i s 9 2 % .

F i g u r e 2 s h o w s i n t e r e s t p o i n t s d e t e c t e d o n t h e s a m e s c e n e

u n d e r r o t a t i o n . T h e r e p e a t a b i l i t y r a t e i s 9 2 % w h i c h m e a n s

t h a t 9 2 % o f t h e p o i n t s d e t e c t e d i n t h e r s t i m a g e a r e d e -

t e c t e d i n t h e s e c o n d o n e . E x p e r i m e n t s w i t h i m a g e s t a k e n

u n d e r d i e r e n t c o n d i t i o n s s h o w t h a t t h e a v e r a g e r e p e a t a -

b i l i t y r a t e i s a b o u t 9 0 % . M o r e o v e r , 5 0 % r e p e a t a b i l i t y i s

s u c i e n t f o r t h e r e m a i n i n g p r o c e s s i f w e u s e r o b u s t m e t h -

o d s .

I I I . M u l t i - s c a l e d d i f f e r e n t i a l g r e y v a l u e

i n v a r i a n t s

O u r c h a r a c t e r i s a t i o n i s b a s e d o n d e r i v a t i v e s w h i c h l o c a l l y

d e s c r i b e a n i m a g e . I n o r d e r t o o b t a i n i n v a r i a n c e u n d e r t h e

g r o u p S O ( 2 ) o f r i g i d d i s p l a c e m e n t s i n t h e i m a g e , d i e r -

e n t i a l i n v a r i a n t s a r e c o m p u t e d . T h e s e i n v a r i a n t s a r e t h e n

i n s e r t e d i n t o a m u l t i - s c a l e f r a m e w o r k i n o r d e r t o d e a l w i t h

s c a l e c h a n g e s . T h e r e f o r e t h e c h a r a c t e r i s a t i o n i s i n v a r i a n t

t o s i m i l a r i t y t r a n s f o r m a t i o n s w h i c h a r e a d d i t i o n a l l y q u a s i -

i n v a r i a n t t o 3 D p r o j e c t i o n ( s e e 2 7 ] ) .

A . L o c a l j e t

T h e i m a g e i n a n e i g h b o u r h o o d o f a p o i n t c a n b e d e -

s c r i b e d b y t h e s e t o f i t s d e r i v a t i v e s . T h e i r s t a b l e c o m p u t a -

t i o n i s a c h i e v e d b y c o n v o l u t i o n w i t h G a u s s i a n d e r i v a t i v e s

2 8 ] , 2 2 ] , 2 3 ] . T h i s s e t o f d e r i v a t i v e s h a s b e e n n a m e d \ l o -

c a l j e t " b y K n d e r i n k 2 0 ] a n d d e n e d a s f o l l o w s :

L e t I b e a n i m a g e a n d a g i v e n s c a l e . T h e \ l o c a l j e t "

o f o r d e r N a t a p o i n t x = ( x

1

; x

2

) i s d e n e d b y

J

N

I ] ( x ; ) = f L

i

1

: : : i

n

( x ; ) j ( x ; ) 2 I I R

+

; n = 0 ; : : : ; N g

i n w h i c h L

i

1

: : : i

n

( x ; ) i s t h e c o n v o l u t i o n o f i m a g e I w i t h

t h e G a u s s i a n d e r i v a t i v e s G

i

1

: : : i

n

( x ; ) a n d i

k

2 f x

1

; x

2

g .

T h e o f t h e G a u s s i a n f u n c t i o n d e t e r m i n e s t h e q u a n t i t y

o f s m o o t h i n g . T h i s a l s o c o i n c i d e s w i t h a d e n i t i o n o f

s c a l e - s p a c e w h i c h w i l l b e i m p o r t a n t f o r o u r m u l t i - s c a l e a p -

p r o a c h . I n t h e f o l l o w i n g , w i l l b e r e f e r r e d t o a s t h e s i z e

o f t h e G a u s s i a n .

B . C o m p l e t e s e t o f d i e r e n t i a l i n v a r i a n t s

I n o r d e r t o o b t a i n i n v a r i a n c e u n d e r t h e g r o u p S O ( 2 ) , d i f -

f e r e n t i a l i n v a r i a n t s a r e c o m p u t e d f r o m t h e l o c a l j e t . D i e r -

e n t i a l i n v a r i a n t s h a v e b e e n s t u d i e d t h e o r e t i c a l l y b y K n -

d e r i n k 2 0 ] a n d R o m e n y e t a l . 2 8 ] , 2 9 ] , 3 0 ] . A c o m p l e t e s e t

o f i n v a r i a n t s c a n b e c o m p u t e d t h a t l o c a l l y c h a r a c t e r i s e s t h e

s i g n a l . T h e s e t o f i n v a r i a n t s u s e d i n t h i s w o r k i s l i m i t e d t o

t h i r d o r d e r . T h i s s e t i s s t a c k e d i n a v e c t o r , d e n o t e d b y V .

I n e q u a t i o n 1 v e c t o r V i s g i v e n i n t e n s o r i a l n o t a t i o n { t h e

s o - c a l l e d E i n s t e i n s u m m a t i o n c o n v e n t i o n . N o t i c e t h a t t h e

r s t c o m p o n e n t o f V r e p r e s e n t s t h e a v e r a g e l u m i n a n c e , t h e

s e c o n d c o m p o n e n t t h e s q u a r e o f t h e g r a d i e n t m a g n i t u d e

a n d t h e f o u r t h t h e L a p l a c i a n .

V 0 8 ] =

2

6

6

6

6

6

6

6

4

L

L

i

L

i

L

i

L

i j

L

j

L

i i

L

i j

L

j i

"

i j

( L

j k l

L

i

L

k

L

l

? L

j k k

L

i

L

l

L

l

)

L

i i j

L

j

L

k

L

k

? L

i j k

L

i

L

j

L

k

? "

i j

L

j k l

L

i

L

k

L

l

L

i j k

L

i

L

j

L

k

3

7

7

7

7

7

7

7

5

( 1 )

w i t h L

i

b e i n g t h e e l e m e n t s o f t h e \ l o c a l j e t " a n d "

i j

t h e 2 D

a n t i s y m m e t r i c E p s i l o n t e n s o r d e n e d b y "

1 2

= ? "

2 1

= 1

a n d "

1 1

= "

2 2

= 0 .

C . M u l t i - s c a l e a p p r o a c h

T o b e i n s e n s i t i v e t o s c a l e c h a n g e s t h e v e c t o r o f i n v a r i a n t s

h a s t o b e c a l c u l a t e d a t s e v e r a l s c a l e s . A m e t h o d o l o g y t o

o b t a i n s u c h a m u l t i - s c a l e r e p r e s e n t a t i o n o f a s i g n a l h a s b e e n

p r o p o s e d i n 3 1 ] , 2 2 ] , 2 3 ] .

F o r a f u n c t i o n f , a s c a l e c h a n g e c a n b e d e s c r i b e d b y

a s i m p l e c h a n g e o f v a r i a b l e s , f ( x ) = g ( u ) w h e r e g ( u ) =

g ( u ( x ) ) = g ( x ) . F o r t h e n t h d e r i v a t i v e s o f f , w e o b t a i n

f

( n )

( x ) =

n

g

( n )

( u ) . T h e o r e t i c a l i n v a r i a n t s a r e t h e n e a s y

t o d e r i v e , f o r e x a m p l e

f

( n )

( x )

]

k

n

f

( k )

( x )

i s s u c h a n i n v a r i a n t .

2

inria

00548358,

version1

20Dec2010

8/22/2019 Schmid Pami97

3/6

H o w e v e r , i n t h e c a s e o f a d i s c r e t e r e p r e s e n t a t i o n o f t h e

f u n c t i o n , a s f o r a n i m a g e , d e r i v a t i v e s a r e r e l a t e d b y :

+ 1

Z

? 1

I

1

( ~x ) G

i

1

: : : i

n

( ~x ; ) d ~x =

n

+ 1

Z

? 1

I

2

( ~u ) G

i

1

: : : i

2

( ~u ; ) d ~u ( 2 )

w i t h G

i

1

: : : i

2

b e i n g t h e d e r i v a t i v e s o f t h e G a u s s i a n .

E q u a t i o n 2 s h o w s t h a t t h e s i z e o f t h e G a u s s i a n h a s t o b e

a d j u s t e d w h i c h i m p l i e s a c h a n g e o f t h e c a l c u l a t i o n s u p p o r t .

A s i t i s i m p o s s i b l e t o c o m p u t e i n v a r i a n t s a t a l l s c a l e s , s c a l e

q u a n t i s a t i o n i s n e c e s s a r y f o r a m u l t i - s c a l e a p p r o a c h . O f -

t e n a h a l f - o c t a v e q u a n t i s a t i o n i s u s e d . T h e s t a b i l i t y o f t h e

c h a r a c t e r i s a t i o n h a s p r o v e n t h i s n o t t o b e s u c i e n t . E x -

p e r i m e n t s h a v e s h o w n t h a t m a t c h i n g b a s e d o n i n v a r i a n t s i s

t o l e r a n t t o a s c a l e c h a n g e o f 2 0 % ( s e e 2 5 ] ) . W e h a v e t h u s

c h o s e n a s c a l e q u a n t i s a t i o n w h i c h e n s u r e s t h a t t h e d i e r -

e n c e b e t w e e n c o n s e c u t i v e s i z e s i s l e s s t h a n 2 0 % . A s w e

w a n t i t t o b e i n s e n s i t i v e t o s c a l e c h a n g e s u p t o a f a c t o r o f

2 , t h e s i z e v a r i e s b e t w e e n 0 . 4 8 a n d 2 . 0 7 , i t s v a l u e s b e i n g :

0 . 4 8 , 0 . 5 8 , 0 . 6 9 , 0 . 8 3 , 1 . 0 0 , 1 . 2 0 , 1 . 4 4 , 1 . 7 3 , 2 . 0 7 .

I V . R e t r i e v a l A l g o r i t h m

T o r e t r i e v e a n i m a g e , i t i s n e c e s s a r y t o d e c i d e i f t w o

i n v a r i a n t v e c t o r s a r e s i m i l a r . S i m i l a r i t y i s q u a n t i e d u s i n g

t h e M a h a l a n o b i s d i s t a n c e . T o d e n e t h e d i s t a n c e f o r a s e t

o f v e c t o r s w h i c h i n c l u d e s o u t l i e r s t o t h e d a t a b a s e a v o t i n g

a l g o r i t h m h a s t o b e u s e d . A n i n d e x i n g t e c h n i q u e m a k e

a c c e s s f a s t ; a n d s e m i - l o c a l c o n s t r a i n t s a l l o w t o r e d u c e m i s s -

m a t c h e s .

A . V e c t o r c o m p a r i s o n b y M a h a l a n o b i s d i s t a n c e

A s t a n d a r d m e t h o d i s t o m o d e l t h e u n c e r t a i n t i e s i n t h e

c o m p o n e n t s a s r a n d o m v a r i a b l e s w i t h G a u s s i a n d i s t r i b u -

t i o n a n d u s e t h e M a h a l a n o b i s d i s t a n c e d

M

t o c o m p a r e i n -

v a r i a n t v e c t o r s . T h i s d i s t a n c e t a k e s i n t o a c c o u n t t h e d i f -

f e r e n t m a g n i t u d e a s w e l l a s t h e c o v a r i a n c e m a t r i x o f

t h e c o m p o n e n t s . F o r t w o v e c t o r s a a n d b , d

M

( b ; a ) =

p

( b ? a )

T

? 1

( b ? a ) .

T h e s q u a r e o f t h e M a h a l a n o b i s d i s t a n c e i s a r a n d o m v a r i -

a b l e w i t h a

2

d i s t r i b u t i o n . S i n c e t h e s q u a r e r o o t f u n c t i o n

i s a b i j e c t i o n f r o m I R

+

t o I R

+

, i t i s p o s s i b l e t o u s e a t a b l e

o f t h i s d i s t r i b u t i o n t o t h r e s h o l d t h e d i s t a n c e a n d t h e n t o

r e j e c t t h e k % o f v a l u e s t h a t a r e m o s t l i k e l y t o c o r r e s p o n d

t o f a l s e m a t c h e s .

I n o r d e r t o o b t a i n a c c u r a t e r e s u l t s f o r t h e d i s t a n c e , i t i s

i m p o r t a n t t o h a v e a r e p r e s e n t a t i v e c o v a r i a n c e m a t r i x w h i c h

t a k e s i n t o a c c o u n t s i g n a l n o i s e , l u m i n a n c e v a r i a t i o n s a s w e l l

a s i m p r e c i s i o n o f t h e i n t e r e s t p o i n t l o c a t i o n . A s a t h e o r e t -

i c a l c o m p u t a t i o n s e e m s i m p o s s i b l e t o d e r i v e g i v e n r e a l i s t i c

h y p o t h e s e s , w e e s t i m a t e d i t s t a t i s t i c a l l y b y t r a c k i n g i n t e r -

e s t p o i n t s i n i m a g e s e q u e n c e s .

T h e M a h a l a n o b i s d i s t a n c e i s i m p r a c t i c a l f o r i m p l e m e n t -

i n g a f a s t i n d e x i n g t e c h n i q u e . H o w e v e r , a b a s e c h a n g e

m a k e s c o n v e r s i o n i n t o t h e s t a n d a r d E u c l i d e a n d i s t a n c e d

E

p o s s i b l e . A s t h e c o v a r i a n c e m a t r i x i s a r e a l s y m m e t r i c

( s e m i ) d e n i t e p o s i t i v e m a t r i x , i t c a n b e d e c o m p o s e d i n t o

? 1

= P

T

D P w h e r e P i s o r t h o g o n a l a n d D i s d i a g o n a l .

W e t h e n h a v e d

M

( a ; b ) = d

E

(

p

D P a ;

p

D P b ) .

B . I n d e x i n g a n d v o t i n g a l g o r i t h m

B . 1 . V o t i n g a l g o r i t h m . A d a t a b a s e c o n t a i n s a s e t f M

k

g

o f m o d e l s . E a c h m o d e l M

k

i s d e n e d b y t h e v e c t o r s o f i n -

v a r i a n t s f V

j

g c a l c u l a t e d a t t h e i n t e r e s t p o i n t s o f t h e m o d e l

i m a g e s . D u r i n g t h e s t o r a g e p r o c e s s , e a c h v e c t o r V

j

i s a d d e d

t o t h e d a t a b a s e w i t h a l i n k t o t h e m o d e l k f o r w h i c h i t h a s

b e e n c o m p u t e d . F o r m a l l y , t h e s i m p l e s t d a t a b a s e i s a t a b l e

o f c o u p l e s ( V

j

; k ) .

R e c o g n i t i o n c o n s i s t s o f n d i n g t h e m o d e l M

k

w h i c h c o r -

r e s p o n d s t o a g i v e n q u e r y i m a g e I , t h a t i s t h e m o d e l w h i c h

i s m o s t s i m i l a r t o t h i s i m a g e . F o r t h i s i m a g e a s e t o f v e c -

t o r s f V

l

g i s c o m p u t e d w h i c h c o r r e s p o n d s t o t h e e x t r a c t e d

i n t e r e s t p o i n t s . T h e s e v e c t o r s a r e t h e n c o m p a r e d t o t h e V

j

o f t h e b a s e b y c o m p u t i n g : d

M

( V

l

; V

j

) = d

l ; j

8 ( l ; j ) . I f t h i s

d i s t a n c e i s b e l o w a t h r e s h o l d t a c c o r d i n g t h e

2

d i s t r i b u -

t i o n , t h e c o r r e s p o n d i n g m o d e l g e t s a v o t e .

A s i n t h e c a s e o f t h e H o u g h t r a n s f o r m 3 2 ] , t h e i d e a o f

t h e v o t i n g a l g o r i t h m i s t o s u m t h e n u m b e r o f t i m e s e a c h

m o d e l i s s e l e c t e d . T h i s s u m i s s t o r e d i n t h e v e c t o r T ( k ) .

T h e m o d e l t h a t i s s e l e c t e d m o s t o f t e n i s c o n s i d e r e d t o b e

t h e b e s t m a t c h : t h e i m a g e r e p r e s e n t s t h e m o d e l M

k

f o r

w h i c h

k = a r g m a x

k

T ( k ) .

F i g u r e 3 s h o w s a n e x a m p l e o f a v e c t o r T ( k ) i n t h e f o r m

o f a h i s t o g r a m . I m a g e 0 i s c o r r e c t l y r e c o g n i s e d . H o w e v e r ,

o t h e r i m a g e s h a v e o b t a i n e d a l m o s t e q u i v a l e n t s c o r e s .

0

20

40

60

80

100

120

140

160

0 20 40 60 80 100

#v

otes

model

F i g . 3 . R e s u l t o f t h e v o t i n g a l g o r i t h m : t h e n u m b e r o f v o t e s a r e

d i s p l a y e d f o r e a c h m o d e l i m a g e . I m a g e 0 i s r e c o g n i s e d c o r r e c t l y .

B . 2 . M u l t i - d i m e n s i o n a l i n d e x i n g . W i t h o u t i n d e x i n g t h e

c o m p l e x i t y o f t h e v o t i n g a l g o r i t h m i s o f t h e o r d e r o f l

N

w h e r e l i s t h e n u m b e r o f f e a t u r e s i n t h e q u e r y i m a g e a n d

N t h e t o t a l n u m b e r o f f e a t u r e s i n t h e d a t a b a s e . A s N i s

l a r g e ( a b o u t 1 5 0 , 0 0 0 i n o u r t e s t s ) e c i e n t d a t a s t r u c t u r e s

n e e d t o b e u s e d .

S e a r c h s t r u c t u r e s h a v e b e e n e x t e n s i v e l y s t u d i e d . A n

o v e r v i e w o f a l l t r e e - l i k e d a t a s t r u c t u r e s t h a t a l l o w f a s t

a n d / o r c o m p a c t a c c e s s t o d a t a i s p r e s e n t e d i n 3 3 ] . T h e

d a t a s t r u c t u r e u s e d h e r e i s n o t r e f e r e n c e d i n t h e p r e v i o u s

r e v i e w ; i t c a n b e s e e n a s a v a r i a n t o f k - d t r e e s .

H e r e e a c h d i m e n s i o n o f t h e s p a c e i s c o n s i d e r e d s e q u e n -

t i a l l y . A c c e s s t o a v a l u e i n o n e d i m e n s i o n i s m a d e t h r o u g h

x e d s i z e 1 - d i m e n s i o n a l b u c k e t s . C o r r e s p o n d i n g b u c k e t s

a n d t h e i r n e i g h b o u r s c a n b e d i r e c t l y a c c e s s e d . A c c e s s i n g

n e i g h b o u r s i s n e c e s s a r y t o t a k e i n t o a c c o u n t u n c e r t a i n t y .

A b u c k e t i s e x t e n d e d i n t h e n e x t d i m e n s i o n i f t h e n u m -

b e r o f v a l u e s s t o r e d i s a b o v e a t h r e s h o l d . T h e r e f o r e t h e

3

inria

00548358,

version1

20Dec2010

8/22/2019 Schmid Pami97

4/6

d a t a s t r u c t u r e c a n b e s e e n a s a t r e e w i t h a d e p t h w h i c h

i s a t m o s t t h e n u m b e r o f d i m e n s i o n s o f t h e s t o r e d v e c t o r s .

T h e c o m p l e x i t y o f i n d e x i n g i s o f t h e o r d e r o f l ( n u m b e r o f

f e a t u r e s o f t h e q u e r y i m a g e ) .

T h i s i n d e x i n g t e c h n i q u e l e a d s t o a v e r y e c i e n t r e c o g -

n i t i o n . T h e d a t a b a s e c o n t a i n s 1 5 4 0 3 0 p o i n t s . T h e m e a n

r e t r i e v a l t i m e f o r o u r d a t a b a s e c o n t a i n i n g 1 0 2 0 o b j e c t s i s

l e s s t h a n 5 s e c o n d s o n a S p a r c 1 0 S t a t i o n . P e r f o r m a n c e

c o u l d b e f u r t h e r i m p r o v e d b y p a r a l l e l i s a t i o n , a s e a c h v e c -

t o r i s p r o c e s s e d s e p a r a t e l y .

C . S e m i - l o c a l c o n s t r a i n t s

A g i v e n f e a t u r e m i g h t v o t e f o r s e v e r a l m o d e l s . H a v i n g

a l a r g e n u m b e r o f m o d e l s o r m a n y v e r y s i m i l a r o n e s r a i s e s

t h e p r o b a b i l i t y t h a t a f e a t u r e w i l l v o t e f o r s e v e r a l m o d e l s .

C a l i f a n o 3 4 ] s u g g e s t e d t h a t u s i n g l o n g e r v e c t o r s d e c r e a s e s

t h i s p r o b a b i l i t y . Y e t t h e u s e o f h i g h e r o r d e r d e r i v a t i v e s f o r

o u r i n v a r i a n t s i s n o t p r a c t i c a l . A n o t h e r w a y t o d e c r e a s e

t h e p r o b a b i l i t y o f f a l s e m a t c h e s i s t o u s e g l o b a l f e a t u r e s .

H o w e v e r , g l o b a l c h a r a c t e r i s t i c s a r e s e n s i t i v e t o e x t r a n e o u s

f e a t u r e s a n d p a r t i a l v i s i b i l i t y .

1 2

a database entry and

its p closest featuresa match

F i g . 4 . S e m i - l o c a l c o n s t r a i n t s : n e i g h b o u r s o f t h e p o i n t h a v e t o m a t c h

a n d a n g l e s h a v e t o c o r r e s p o n d . N o t e t h a t n o t a l l n e i g h b o u r s h a v e

t o b e m a t c h e d c o r r e c t l y .

O u r s o l u t i o n i s t h e u s e o f l o c a l s h a p e c o n g u r a t i o n s , a s

i n g u r e 4 . S e m i - l o c a l c o n s t r a i n t s h a v e p r e v i o u s l y b e e n

u s e d i n 3 5 ] , 3 6 ] . F o r e a c h f e a t u r e ( i n t e r e s t p o i n t ) i n t h e

d a t a b a s e , t h e p c l o s e s t f e a t u r e s i n t h e i m a g e a r e s e l e c t e d .

I f w e r e q u i r e t h a t a l l p c l o s e s t n e i g h b o u r s a r e m a t c h e d c o r -

r e c t l y , w e s u p p o s e t h a t t h e r e i s n o m i s s - d e t e c t i o n o f p o i n t s .

T h e r e f o r e , w e r e q u i r e t h a t a t l e a s t 5 0 % o f t h e n e i g h b o u r s

m a t c h . I n o r d e r t o i n c r e a s e t h e r e c o g n i t i o n r a t e f u r t h e r ,

a g e o m e t r i c c o n s t r a i n t i s a d d e d . T h i s c o n s t r a i n t i s b a s e d

o n t h e a n g l e b e t w e e n n e i g h b o u r p o i n t s . A s w e s u p p o s e

t h a t t h e t r a n s f o r m a t i o n c a n b e l o c a l l y a p p r o x i m a t e d b y a

s i m i l a r i t y t r a n s f o r m a t i o n , t h e s e a n g l e s h a v e t o b e l o c a l l y

c o n s i s t e n t , f o r e x a m p l e t h e a n g l e s

1

a n d

2

i n g u r e 4 .

A n e x a m p l e u s i n g t h e g e o m e t r i c a l c o h e r e n c e a n d t h e s e m i -

l o c a l c o n s t r a i n t s i s d i s p l a y e d i n g u r e 5 . I t g i v e s t h e v o t e s

i f c o n s t r a i n t s a r e a p p l i e d t o t h e e x a m p l e i n g u r e 3 . T h e

s c o r e o f t h e o b j e c t t o b e r e c o g n i s e d i s n o w m u c h m o r e d i s -

t i n c t i v e .

D . M u l t i - s c a l e a p p r o a c h

T h e m u l t i - s c a l e a p p r o a c h c a n b e v e r y e a s i l y i n t e g r a t e d

i n t o t h e f r a m e w o r k p r e s e n t e d a b o v e . F o r a q u e r y i m a g e ,

i n v a r i a n t s a r e c o m p u t e d a t s e v e r a l s c a l e s ( s e e s e c t i o n I I I ) .

0

5

10

15

20

25

30

0 20 40 60 80 100

#v

otes

model

F i g . 5 . R e s u l t o f a p p l y i n g s e m i - l o c a l c o n s t r a i n t s : t h e n u m b e r o f

v o t e s a r e d i s p l a y e d f o r e a c h m o d e l i m a g e . S e m i - l o c a l c o n s t r a i n t s

d e c r e a s e t h e p r o b a b i l i t y o f f a l s e v o t e s . I m a g e 0 i s r e c o g n i s e d

m u c h m o r e d i s t i n c t i v e l y t h a n i n g u r e 3 .

I n v a r i a n t s i n t h e d a t a b a s e a r e o n l y s t o r e d f o r o n e s c a l e .

M a t c h i n g i n v a r i a n t s c o m p u t e d a t s e v e r a l s c a l e s t o i n v a r i -

a n t s c o m p u t e d a t o n e s c a l e i n c r e a s e s t h e p o s s i b i l i t y o f

w r o n g m a t c h e s a n d m a k e s s e m i - l o c a l c o n s t r a i n t s e v e n m o r e

e s s e n t i a l . T h e s e c o n s t r a i n t s i m p l i c i t l y i n c l u d e a s c a l e c o n -

s t r a i n t , a s t h e i n v a r i a n t s f o r a p o i n t a n d i t s n e i g h b o u r s

a r e c a l c u l a t e d a t t h e s a m e s c a l e . H e n c e , i f a p o i n t a n d i t s

n e i g h b o u r s m a t c h , t h e s c a l e c o n s t r a i n t i s f u l l l e d . T h u s ,

u s i n g t h e s e c o n s t r a i n t s , t h e m u l t i - s c a l e a p p r o a c h w o r k s e f -

c i e n t l y a s i s d e m o n s t r a t e d i n t h e n e x t s e c t i o n .

V . E x p e r i m e n t a l R e s u l t s

E x p e r i m e n t s h a v e b e e n c o n d u c t e d f o r a n i m a g e d a t a b a s e

c o n t a i n i n g 1 0 2 0 i m a g e s . T h e y h a v e s h o w n t h e r o b u s t n e s s

o f t h e m e t h o d t o i m a g e r o t a t i o n , s c a l e c h a n g e , s m a l l v i e w -

p o i n t v a r i a t i o n s , p a r t i a l v i s i b i l i t y a n d e x t r a n e o u s f e a t u r e s .

T h e o b t a i n e d r e c o g n i t i o n r a t e i s a b o v e 9 9 % f o r a v a r i e t y o f

t e s t i m a g e s t a k e n u n d e r d i e r e n t c o n d i t i o n s .

A . C o n t e n t o f t h e d a t a b a s e

T h e d a t a b a s e i n c l u d e s d i e r e n t k i n d s o f i m a g e s s u c h a s

2 0 0 p a i n t i n g s , 1 0 0 a e r i a l i m a g e s a n d 7 2 0 i m a g e s o f 3 D

o b j e c t s ( s e e g u r e 6 ) . 3 D o b j e c t s i n c l u d e t h e C o l u m b i a

d a t a b a s e . T h e s e i m a g e s a r e o f a w i d e v a r i e t y . H o w e v e r ,

s o m e o f t h e p a i n t i n g i m a g e s a n d s o m e o f t h e a e r i a l i m -

a g e s a r e v e r y s i m i l a r . T h i s l e a d s t o a m b i g u i t i e s w h i c h t h e

r e c o g n i t i o n m e t h o d i s c a p a b l e o f d e a l i n g w i t h .

I n t h e c a s e o f a p l a n a r 2 D o b j e c t , a n o b j e c t i s r e p r e -

s e n t e d b y o n e i m a g e i n t h e d a t a b a s e . T h i s i s a l s o t h e c a s e

f o r n e a r l y p l a n a r o b j e c t s a s f o r a e r i a l i m a g e s . A 3 D o b j e c t

h a s t o b e r e p r e s e n t e d b y i m a g e s t a k e n f r o m d i e r e n t v i e w -

p o i n t s . I m a g e s a r e s t o r e d i n t h e d a t a b a s e w i t h 2 0 d e g r e e s

v i e w p o i n t c h a n g e s .

B . R e c o g n i t i o n r e s u l t s

I n t h i s s e c t i o n s o m e e x a m p l e s i l l u s t r a t e t h e d i e r e n t c o n -

d i t i o n s u n d e r w h i c h t h e m e t h o d c a n s t i l l o p e r a t e c o r r e c t l y .

A s y s t e m a t i c e v a l u a t i o n f o r a l a r g e n u m b e r o f t e s t i m a g e s

t a k e n u n d e r d i e r e n t c o n d i t i o n s i s t h e n p r e s e n t e d . M o r e

d e t a i l s a r e g i v e n i n 2 5 ] .

B . 1 . S o m e e x a m p l e s o f c o r r e c t r e c o g n i t i o n . I n t h e f o l -

l o w i n g t h r e e e x a m p l e s a r e d i s p l a y e d , o n e f o r e a c h t y p e o f

4

inria

00548358,

version1

20Dec2010

8/22/2019 Schmid Pami97

5/6

F i g . 6 . S o m e i m a g e s o f t h e d a t a b a s e . T h e d a t a b a s e c o n t a i n s m o r e

1 0 2 0 i m a g e s .

i m a g e . F o r a l l o f t h e m , t h e i m a g e o n t h e r i g h t i s s t o r e d

i n t h e d a t a b a s e . I t i s c o r r e c t l y r e t r i e v e d u s i n g a n y o f t h e

i m a g e s o n t h e l e f t . F i g u r e 7 s h o w s r e c o g n i t i o n o f a p a i n t i n g

i m a g e i n t h e c a s e o f i m a g e r o t a t i o n a n d s c a l e c h a n g e . I t

a l s o s h o w s t h a t c o r r e c t r e c o g n i t i o n i s p o s s i b l e i f o n l y p a r t

o f a n i m a g e i s g i v e n .

F i g . 7 . T h e i m a g e o n t h e r i g h t i s c o r r e c t l y r e t r i e v e d u s i n g a n y o f t h e

i m a g e s o n t h e l e f t . I m a g e s a r e r o t a t e d , s c a l e d a n d o n l y p a r t o f

t h e i m a g e i s g i v e n .

I n g u r e 8 a n e x a m p l e o f a n a e r i a l i m a g e i s d i s p l a y e d . I t

s h o w s c o r r e c t r e t r i e v a l i n t h e c a s e o f i m a g e r o t a t i o n a n d i f

p a r t o f a n i m a g e i s u s e d . I n t h e c a s e o f a e r i a l i m a g e s w e

a l s o h a v e t o d e a l w i t h a c h a n g e i n v i e w p o i n t a n d e x t r a n e o u s

f e a t u r e s . N o t i c e t h a t b u i l d i n g s a p p e a r d i e r e n t l y b e c a u s e

v i e w i n g a n g l e s h a v e c h a n g e d a n d c a r s h a v e m o v e d .

F i g u r e 9 s h o w s r e c o g n i t i o n o f a 3 D o b j e c t . T h e o b j e c t

h a s b e e n c o r r e c t l y r e c o g n i s e d i n t h e p r e s e n c e o f r o t a t i o n ,

s c a l e c h a n g e , c h a n g e i n b a c k g r o u n d a n d p a r t i a l v i s i b i l i t y .

I n a d d i t i o n , t h e r e i s a c h a n g e o f 1 0 d e g r e e s o f v i e w p o i n t

p o s i t i o n b e t w e e n t h e t w o o b s e r v a t i o n s . N o t i c e t h a t t h e

i m a g e o f t h e o b j e c t h a s n o t o n l y b e e n r e c o g n i s e d c o r r e c t l y ,

b u t t h a t t h e c l o s e s t s t o r e d v i e w h a s a l s o b e e n r e t r i e v e d .

B . 2 . S y s t e m a t i c e v a l u a t i o n o f r e t r i e v a l . T h e m e t h o d i s

e v a l u a t e d f o r d i e r e n t t r a n s f o r m a t i o n s { i m a g e r o t a t i o n ,

F i g . 8 . T h e i m a g e o n t h e r i g h t i s c o r r e c t l y r e t r i e v e d u s i n g a n y o f t h e

i m a g e s o n t h e l e f t . I m a g e s a r e s e e n f r o m a d i e r e n t v i e w p o i n t

( c o u r t e s y o f I s t a r ) .

F i g . 9 . T h e i m a g e o n t h e r i g h t i s c o r r e c t l y r e t r i e v e d u s i n g a n y o f

t h e i m a g e s o n t h e l e f t . T h e 3 D o b j e c t i s i n f r o n t o f a c o m p l e x

b a c k g r o u n d a n d o n l y p a r t i a l l y v i s i b l e .

s c a l e c h a n g e , v i e w p o i n t v a r i a t i o n s { a s w e l l a s f o r p a r t i a l

v i s i b i l i t y .

I m a g e r o t a t i o n T o t e s t i n v a r i a n c e t o i m a g e r o t a t i o n , i m -

a g e s w e r e t a k e n b y r o t a t i n g t h e c a m e r a a r o u n d i t s o p t i c a l

a x i s . T h e r e c o g n i t i o n r a t e o b t a i n e d i s 1 0 0 % f o r d i e r e n t

r o t a t i o n s e q u a l l y d i s t r i b u t e d o v e r a c i r c l e . T h i s e x p e r i m e n t

s h o w s t h a t t h e c h a r a c t e r i s a t i o n i s c o m p l e t e l y i n v a r i a n t t o

i m a g e r o t a t i o n .

S c a l e c h a n g e E x p e r i m e n t s w e r e c o n d u c t e d o n z o o m e d

i m a g e s . U s i n g a m u l t i - s c a l e a p p r o a c h , t h e r e c o g n i t i o n r a t e

a t t a i n s a s c o r e o f 1 0 0 % u p t o a s c a l e c h a n g e o f 2 . A t

p r e s e n t , t h i s f a c t o r s e e m s t o b e t h e l i m i t f o r o u r m e t h o d .

H o w e v e r , t h i s l i m i t i s n o t d u e t o o u r i n v a r i a n t c h a r a c t e r i -

s a t i o n b u t r a t h e r t o t h e s t a b i l i t y o f t h e i n t e r e s t p o i n t d e -

t e c t o r . T h e r e p e a t a b i l i t y o f t h i s d e t e c t o r d e c r e a s e s r a p i d l y

w h e n t h e s c a l e c h a n g e i s g r e a t e r t h a n 1 . 6 .

V i e w p o i n t v a r i a t i o n T e s t i m a g e s a r e t a k e n a t a n g l e s d i f -

f e r e n t f r o m t h e i m a g e s s t o r e d i n t h e b a s e . E a c h a e r i a l i m -

a g e h a s b e e n t a k e n f r o m 4 d i e r e n t v i e w p o i n t s . V i e w p o i n t

n u m b e r o n e i s s t o r e d i n t h e b a s e . F o r i m a g e s t a k e n f r o m

d i e r e n t v i e w p o i n t s , t h e r e c o g n i t i o n r a t e i s 9 9 % . T h e o n l y

i m a g e w h i c h i s n o t r e c o g n i s e d c o r r e c t l y i s p a r t o f t h e h a r -

b o u r a n d c o n t a i n s o n l y w a t e r o n w h i c h n o r e l i a b l e i n t e r e s t

p o i n t s c a n b e i d e n t i e d .

F o r 3 D o b j e c t s , t e s t i m a g e s h a v e b e e n t a k e n a t 2 0 d e g r e e s

d i e r e n c e i n v i e w i n g a n g l e . T h e v i e w i n g a n g l e s o f t h e t e s t

i m a g e s l i e i n b e t w e e n t w o i m a g e s s t o r e d i n t h e b a s e . T h e

r e c o g n i t i o n r a t e i s 9 9 . 8 6 % . I t i s i n t e r e s t i n g t o c o n s i d e r o n l y

t h e C o l u m b i a d a t a b a s e w h i c h s e r v e s a s a b e n c h m a r k f o r

o b j e c t r e c o g n i t i o n . O n t h i s b a s e a 1 0 0 % r e c o g n i t i o n r a t e

h a s b e e n o b t a i n e d i n 1 5 ] a s w e l l a s i n 1 7 ] . E x p e r i m e n t s

s h o w t h a t o u r m e t h o d a t t a i n s t h e s a m e r e c o g n i t i o n r a t e .

P a r t i a l v i s i b i l i t y P a r t s o f d i e r e n t s i z e a r e e x t r a c t e d r a n -

d o m l y f r o m p a i n t i n g i m a g e s . T h e r e l a t i v e s i z e v a r i e s b e -

t w e e n 1 0 % a n d 1 0 0 % . F o r p a r t s o f r e l a t i v e s i z e g r e a t e r

t h a n o r e q u a l t o 3 0 % , t h e r e c o g n i t i o n r a t e i s 1 0 0 % . F o r

5

inria

00548358,

version1

20Dec2010

8/22/2019 Schmid Pami97

6/6

a r e l a t i v e s i z e o f 2 0 % , a 9 5 % r a t e i s o b t a i n e d ; a n d f o r a

r e l a t i v e s i z e o f 1 0 % , a 9 0 % r a t e . C o n s i d e r i n g t h e s i z e o f

o u r d a t a b a s e , t h i s c a n b e e x p l a i n e d b y t h e f a c t t h a t p o i n t s

a r e v e r y d i s c r i m i n a t i n g a n d t h u s o n l y a f e w p o i n t s a r e n e c -

e s s a r y t o r e c o g n i s e a n i m a g e . I t i s t h u s p o s s i b l e t o r e t r i e v e

a n i m a g e e v e n i f o n l y p a r t o f t h i s i m a g e i s g i v e n . H o w e v e r ,

v e r y s m a l l p a r t s d o n o t c o n t a i n e n o u g h p o i n t s , s o t h e n u m -

b e r o f v o t e s i s l i m i t e d . I n t h i s c a s e , t h e r o b u s t a l g o r i t h m

c a n n o t o v e r c o m e t h e s t a t i s t i c a l u n c e r t a i n t y .

V I . C o n c l u s i o n

T h i s p a p e r h a s s h o w n t h a t t h e d i e r e n t i a l g r e y l e v e l i n -

v a r i a n t s i n t r o d u c e d b y K n d e r i n k e c i e n t l y c h a r a c t e r i s e

p o i n t s . T h e s e i n v a r i a n t s d e s c r i b e t h e i m a g e l o c a l l y . A s

a u t o m a t i c a l l y d e t e c t e d i n t e r e s t p o i n t s a r e c h a r a c t e r i s t i c s

o f p a t t e r n s , i n v a r i a n t s c a l c u l a t e d a t i n t e r e s t p o i n t s c a n b e

u s e d f o r i n d e x i n g 2 D g r e y l e v e l p a t t e r n s . A v o t i n g a l g o -

r i t h m a n d m u l t i - d i m e n s i o n a l i n d e x i n g m a k e i m a g e r e t r i e v a l

p o s s i b l e . H o w e v e r , b l i n d l y v o t i n g o n i n d i v i d u a l i n v a r i a n t s

i s n o t s u c i e n t t o g u a r a n t e e t h e c o r r e c t n e s s o f t h e a n s w e r

i n d a t a b a s e i n d e x i n g . I t i s t h e n c r u c i a l t o i n t r o d u c e a

s e m i - l o c a l c o h e r e n c e b e t w e e n t h e s e i d e n t i c a t i o n s . T h i s

i n c r e a s e s t h e r e c o g n i t i o n r a t e . E x p e r i m e n t s c o n d u c t e d o n

a d a t a b a s e c o n t a i n i n g 1 0 2 0 i m a g e s h a v e s h o w n v e r y g o o d

r e s u l t s . E v e n s m a l l p a r t s o f i m a g e s c a n b e r e c o g n i s e d c o r -

r e c t l y . T h i s i s d u e t o t h e f a c t t h a t t h e p r o p o s e d c h a r a c t e r -

i s a t i o n i s v e r y d i s c r i m i n a t i n g .

F i n a l l y , d i e r e n t e x t e n s i o n s a r e p o s s i b l e . T h e v o t i n g a l -

g o r i t h m c a n b e i m p r o v e d b y t a k i n g i n t o a c c o u n t t h e s t a t i s -

t i c a l d i s t r i b u t i o n s o f t h e i n v a r i a n t s ; s o m e o f t h e i n v a r i a n t s

a r e m o r e d i s c r i m i n a t i n g t h a n o t h e r s . I n a d d i t i o n , c o m p u -

t a t i o n o f a c o n d e n c e v a l u e i s t h e n p o s s i b l e .

U s i n g g l o b a l c o n s i s t e n c y c h e c k i n g f o r l o c a l m a t c h e s o r a

g l o b a l c o n s t r a i n t s u c h a s t h e e p i p o l a r g e o m e t r y i s a n o t h e r

p o s s i b l e e x t e n s i o n . S u c h a d d i t i o n a l c o n s t r a i n t s f u r t h e r i n -

c r e a s e t h e r e c o g n i t i o n r a t e a n d m a k e d e t e c t i o n o f s e v e r a l

o b j e c t s p o s s i b l e .

R e f e r e n c e s

1 ] P . J . B e s l a n d R . C . J a i n , \ T h r e e - d i m e n s i o n a l o b j e c t r e c o g n i t i o n , "

A C M C o m p u t i n g S u r v e y s , v o l . 1 7 , n o . 1 , p p . 7 5 { 1 4 5 , 1 9 8 5 .

2 ] R . T . C h i n , H . S m i t h , a n d S . C . F r a l i c k , \ M o d e l - b a s e d r e c o g n i t i o n

i n r o b o t v i s i o n , " A C M C o m p u t i n g S u r v e y s , v o l . 1 8 , n o . 1 , p p .

6 7 { 1 0 8 , 1 9 8 6 .

3 ] R . C . B o l l e s a n d R . H o r a u d , \ 3 D P O : A t h r e e - d i m e n s i o n a l P a r t

O r i e n t a t i o n s y s t e m , " I n t ' l J . R o b o t i c s R e s e a r c h , v o l . 5 , n o . 3 ,

p p . 3 { 2 6 , 1 9 8 6 .

4 ] N . A y a c h e a n d O . D . F a u g e r a s , \ H Y P E R : a n e w a p p r o a c h f o r

t h e r e c o g n i t i o n a n d p o s i t i o n i n g o f 2 D o b j e c t s , " I E E E T r a n s .

P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 8 , n o . 1 , p p .

4 4 { 5 4 , 1 9 8 6 .

5 ] D . J . C l e m e n s a n d D . W . J a c o b s , \ M o d e l - g r o u p i n d e x i n g f o r

r e c o g n i t i o n , " i n P r o c . D A R P A I m a g e U n d e r s t a n d i n g W o r k s h o p ,

1 9 9 0 , p p . 6 0 4 { 6 1 3 .

6 ] Y . L a m d a n a n d H . J . W o l f s o n , \ G e o m e t r i c h a s h i n g : a g e n e r a l

a n d e c i e n t m o d e l - b a s e d r e c o g n i t i o n s c h e m e , " i n P r o c . 2 n d I n t ' l

C o n f . o n C o m p u t e r V i s i o n , 1 9 8 8 , p p . 2 3 8 { 2 4 9 .

7 ] C . A . R o t h w e l l , O b j e c t R e c o g n i t i o n T h r o u g h I n v a r i a n t I n d e x i n g ,

O x f o r d S c i e n c e P u b l i c a t i o n s , 1 9 9 5 .

8 ] M . J . S w a i n a n d D . H . B a l l a r d , \ C o l o r i n d e x i n g , " I n t ' l J . o f

C o m p u t e r V i s i o n , v o l . 7 , n o . 1 , p p . 1 1 { 3 2 , 1 9 9 1 .

9 ] B . V . F u n t a n d G . D . F i n l a y s o n , \ C o l o r c o n s t a n t c o l o r i n d e x i n g , "

I E E E T r a n s . P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l .

1 7 , n o . 5 , p p . 5 2 2 { 5 2 9 , 1 9 9 5 .

1 0 ] K . N a g a o , \ R e c o g n i z i n g 3 D o b j e c t s u s i n g p h o t o m e t r i c i n v a r i -

a n t , " i n P r o c . 5 t h I n t ' l C o n f . o n C o m p u t e r V i s i o n , 1 9 9 5 , p p .

4 8 0 { 4 8 7 .

1 1 ] S . K . N a y a r a n d R . M . B o l l e , \ C o m p u t i n g r e e c t a n c e r a t i o s f r o m

a n i m a g e , " P a t t e r n R e c o g n i t i o n , v o l . 2 6 , n o . 1 0 , p p . 1 5 2 9 { 1 5 4 2 ,

1 9 9 3 .

1 2 ] D . S l a t e r a n d G . H e a l e y , \ T h e i l l u m i n a t i o n - i n v a r i a n t r e c o g n i -

t i o n o f 3 D o b j e c t s u s i n g c o l o r i n v a r i a n t s , " I E E E T r a n s . P a t t e r n

A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 8 , n o . 2 , p p . 2 0 6 { 2 1 0 ,

1 9 9 6 .

1 3 ] B . S c h i e l e a n d J . L . C r o w l e y , \ O b j e c t r e c o g n i t i o n u s i n g m u l t i -

d i m e n s i o n a l r e c e p t i v e e l d h i s t o g r a m s , " i n P r o c . 4 t h E u r o p e a n

C o n f . o n C o m p u t e r V i s i o n , 1 9 9 6 , p p . 6 1 0 { 6 1 9 .

1 4 ] M . A . T u r k a n d A . P . P e n t l a n d , \ F a c e r e c o g n i t i o n u s i n g e i g e n -

f a c e s , " i n P r o c . C o n f . o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g -

n i t i o n , 1 9 9 1 , p p . 5 8 6 { 5 9 1 .

1 5 ] H . M u r a s e a n d S . K . N a y a r , \ V i s u a l l e a r n i n g a n d r e c o g n i t i o n o f

3 D o b j e c t s f r o m a p p e a r a n c e , " I n t ' l J . o f C o m p u t e r V i s i o n , v o l .

1 4 , p p . 5 { 2 4 , 1 9 9 5 .

1 6 ] P . V i o l a , \ F e a t u r e - b a s e d r e c o g n i t i o n o f o b j e c t s , " i n P r o c e e d -

i n g s o f t h e A A A I F a l l S y m p o s i u m S e r i e s : M a c h i n e L e a r n i n g i n

C o m p u t e r V i s i o n : W h a t , W h y , a n d H o w ? , 1 9 9 3 , p p . 6 0 { 6 4 .

1 7 ] R . P . N . R a o a n d D . H . B a l l a r d , \ A n a c t i v e v i s i o n a r c h i t e c t u r e

b a s e d o n i c o n i c r e p r e s e n t a t i o n s , " A r t i c i a l I n t e l l i g e n c e , p p . 4 6 1 {

5 0 5 , 1 9 9 5 .

1 8 ] M . L a d e s , J . C . V o r b r u g g e n , J . B u h m a n n , J . L a n g e , C . v . d . M a l s -

b u r g , R . P . W u r t z , a n d W . K o n e n , \ D i s t o r t i o n i n v a r i a n t o b -

j e c t r e c o g n i t i o n i n t h e d y n a m i c l i n k a r c h i t e c t u r e , " I E E E T r a n s .

C o m p u t e r s , v o l . 4 2 , n o . 3 , p p . 3 0 0 { 3 1 1 , 1 9 9 3 .

1 9 ] X . W u a n d B . B h a n u , \ G a b o r w a v e l e t s f o r 3 D o b j e c t r e c o g n i -

t i o n , " i n P r o c . 5 t h I n t ' l C o n f . o n C o m p u t e r V i s i o n , 1 9 9 5 , p p .

5 3 7 { 5 4 2 .

2 0 ] J . J . K o e n d e r i n k a n d A . J . v a n D o o r n , \ R e p r e s e n t a t i o n o f l o c a l

g e o m e t r y i n t h e v i s u a l s y s t e m , " B i o l o g i c a l C y b e r n e t i c s , v o l . 5 5 ,

p p . 3 6 7 { 3 7 5 , 1 9 8 7 .

2 1 ] B . M . t e r H a a r R o m e n y , G e o m e t r y - D r i v e n D i u s i o n i n C o m -

p u t e r V i s i o n , K l u w e r A c a d e m i c P u b l i s h e r s , 1 9 9 4 .

2 2 ] T . L i n d e b e r g , S c a l e - S p a c e T h e o r y i n C o m p u t e r V i s i o n , K l u w e r

A c a d e m i c P u b l i s h e r s , 1 9 9 4 .

2 3 ] A . P . W i t k i n , \ S c a l e - s p a c e l t e r i n g , " i n I n t ' l J o i n t C o n f . o n

A r t i c a l I n t e l l i g e n c e , 1 9 8 3 , p p . 1 0 1 9 { 1 0 2 3 .

2 4 ] R . D e r i c h e a n d G . G i r a u d o n , \ A c o m p u t a t i o n a l a p p r o a c h f o r

c o r n e r a n d v e r t e x d e t e c t i o n , " I n t ' l J . o f C o m p u t e r V i s i o n , v o l .

1 0 , n o . 2 , p p . 1 0 1 { 1 2 4 , 1 9 9 3 .

2 5 ] C . S c h m i d , A p p a r i e m e n t d ' i m a g e s p a r i n v a r i a n t s l o c a u x d e

n i v e a u x d e g r i s , P h . D . t h e s i s , I n s t i t u t N a t i o n a l P o l y t e c h n i q u e

d e G r e n o b l e , 1 9 9 6 .

2 6 ] C . H a r r i s a n d M . S t e p h e n s , \ A c o m b i n e d c o r n e r a n d e d g e d e -

t e c t o r , " i n A l v e y V i s i o n C o n f . , 1 9 8 8 , p p . 1 4 7 { 1 5 1 .

2 7 ] T . O . B i n f o r d a n d T . S . L e v i t t , \ Q u a s i - i n v a r i a n t s : T h e o r y a n d e x -

p l o i t a t i o n , " i n P r o c . D A R P A I m a g e U n d e r s t a n d i n g W o r k s h o p ,

1 9 9 3 , p p . 8 1 9 { 8 2 9 .

2 8 ] L u c F l o r a c k , T h e S y n t a c t i c a l S t r u c t u r o f S c a l a r e I m a g e s , P h . D .

t h e s i s , U n i v e r s i t e i t U t r e c h t , 1 9 9 3 .

2 9 ] L . M . T . F l o r a c k , B . t e r H a a r R o m e n y , J . J K o e n d e r i n k , a n d M . A .

V i e r g e v e r , \ G e n e r a l i n t e n s i t y t r a n s f o r m a t i o n a n d d i e r e n t i a l

i n v a r i a n t s , " J . M a t h e m a t i c a l I m a g i n g a n d V i s i o n , v o l . 4 , n o . 2 ,

p p . 1 7 1 { 1 8 7 , 1 9 9 4 .

3 0 ] B . M . t e r H a a r R o m e n y , L . M . J . F l o r a c k , A . H . S a l d e n , a n d M . A .

V i e r g e v e r , \ H i g h e r o r d e r d i e r e n t i a l s t r u c t u r e o f i m a g e s , " I m a g e

a n d V i s i o n C o m p u t i n g , v o l . 1 2 , n o . 6 , p p . 3 1 7 { 3 2 5 , 1 9 9 4 .

3 1 ] J . J . K o e n d e r i n k , \ T h e s t r u c t u r e o f i m a g e s , " B i o l o g i c a l C y b e r -

n e t i c s , v o l . 5 0 , p p . 3 6 3 { 3 9 6 , 1 9 8 4 .

3 2 ] S . D . S h a p i r o , \ F e a t u r e s p a c e t r a n s f o r m s f o r c u r v e d e t e c t i o n , "

P a t t e r n R e c o g n i t i o n , v o l . 1 0 , n o . 3 , p p . 1 2 9 { 1 4 3 , 1 9 7 8 .

3 3 ] A . S a m e t , \ T h e q u a d t r e e a n d r e l a t e d h i e r a r c h i c a l d a t a s t r u c -

t u r e s , " A C M C o m p u t i n g S u r v e y s , v o l . 1 6 , n o . 2 , p p . 1 8 9 { 2 5 9 ,

1 9 8 4 .

3 4 ] A . C a l i f a n o a n d R . M o h a n , \ M u l t i d i m e n s i o n a l i n d e x i n g f o r r e c -

o g n i z i n g v i s u a l s h a p e s , " I E E E T r a n s . P a t t e r n A n a l y s i s a n d M a -

c h i n e I n t e l l i g e n c e , v o l . 1 6 , n o . 4 , p p . 3 7 3 { 3 9 2 , 1 9 9 4 .

3 5 ] L . v a n G o o l , P . K e m p e n a e r s , a n d A . O o s t e r l i n c k , \ R e c o g n i t i o n

a n d s e m i - d i e r e n t i a l i n v a r i a n t s , " i n P r o c . C o n f . o n C o m p u t e r

V i s i o n a n d P a t t e r n R e c o g n i t i o n , 1 9 9 1 , p p . 4 5 4 { 4 6 0 .

3 6 ] Z . Z h a n g , R . D e r i c h e , O . F a u g e r a s , a n d Q . T . L u o n g , \ A r o -

b u s t t e c h n i q u e f o r m a t c h i n g t w o u n c a l i b r a t e d i m a g e s t h r o u g h

t h e r e c o v e r y o f t h e u n k n o w n e p i p o l a r g e o m e t r y , " A r t i c i a l I n -

t e l l i g e n c e , v o l . 7 8 , p p . 8 7 { 1 1 9 , 1 9 9 5 .

6

inria

00548358,

version1

20Dec2010