craswell adc99

8/14/2019 craswell adc99

1/12

M e r g i n g R e s u l t s F r o m I s o l a t e d S e a r c h E n g i n e s

N i c k C r a s w e l l , D a v i d H a w k i n g a n d P a u l T h i s t l e w a i t e

C o - o p e r a t i v e R e s e a r c h C e n t r e F o r A d v a n c e d C o m p u t a t i o n a l S y s t e m s

D e p a r t m e n t O f C o m p u t e r S c i e n c e

A u s t r a l i a n N a t i o n a l U n i v e r s i t y

f n i c k , p b t g @ c s . a n u . e d u . a u , d a v i d . h a w k i n g @ c m i s . c s i r o . a u

T h e a u t h o r s w i s h t o a c k n o w l e d g e t h a t t h i s w o r k w a s c a r r i e d o u t w i t h i n t h e C o o p e r a t i v e

R e s e a r c h C e n t r e f o r A d v a n c e d C o m p u t a t i o n a l S y s t e m s e s t a b l i s h e d u n d e r t h e A u s t r a l i a n

G o v e r n m e n t ' s C o o p e r a t i v e R e s e a r c h C e n t r e s P r o g r a m .

A b s t r a c t . T w o n e w t e c h n i q u e s f o r m e r g i n g s e a r c h r e s u l t s a r e i n t r o -

d u c e d : F e a t u r e D i s t a n c e r a n k i n g a l g o r i t h m s a n d R e f e r e n c e S t a t i s t i c s .

T h e s e t e c h n i q u e s a r e c o m p a r e d w i t h o t h e r p u b l i s h e d m e t h o d s , u s i n g

T R E C e e c t i v e n e s s e v a l u a t i o n s b a s e d o n h u m a n r e l e v a n c e j u d g e m e n t s

a n d i n p u t r a n k i n g s f r o m 5 d i e r e n t s e a r c h e n g i n e s o v e r 5 d i s j o i n t d o c u -

m e n t c o l l e c t i o n s . T h e n e w t e c h n i q u e s a r e f o u n d t o b e m o r e e e c t i v e t h a n

e x i s t i n g m e t h o d s i n a n i s o l a t e d - s e r v e r e n v i r o n m e n t s u c h a s t h e W o r l d

W i d e W e b . I n a d d i t i o n , F e a t u r e D i s t a n c e a l g o r i t h m s a r e f o u n d t o b e a s

e e c t i v e i n a n i s o l a t e d - s e r v e r e n v i r o n m e n t u s i n g R e f e r e n c e S t a t i s t i c s a s

t h e y a r e i n a n i n t e g r a t e d - s e r v e r e n v i r o n m e n t .

1 I n t r o d u c t i o n

T h e p r o b l e m a d d r e s s e d i n t h i s p a p e r i s a s f o l l o w s :

A d o c u m e n t r a n k i n g R = h D ; o i c o n s i s t s o f a s e t o f d o c u m e n t s D

a n d a n o r d e r i n g o . G i v e n N r a n k i n g s R

1

: : : R

N

, g e n e r a t e a s i n g l e r a n k -

i n g R

m

= h D

m

; o

m

i s u c h t h a t D

m

= D

1

: : : D

N

a n d o

m

i s a n e e c t i v e

r a n k i n g , m e a n i n g t h a t i t t e n d s t o r a n k r e l e v a n t d o c u m e n t s a b o v e i r r e l e -

v a n t o n e s .

P r o c e e d i n g s o f t h e T e n t h A u s t r a l a s i a n D a t a b a s e C o n f e r e n c e , A u c k l a n d ,

N e w Z e a l a n d , J a n u a r y 1 8 { 2 1 1 9 9 9 C o p y r i g h t S p r i n g e r - V e r l a g , S i n g a p o r e .

P e r m i s s i o n t o c o p y t h i s w o r k f o r p e r s o n a l o r c l a s s r o o m u s e i s g r a n t e d w i t h -

o u t f e e p r o v i d e d t h a t c o p i e s a r e n o t m a d e o r d i s t r i b u t e d f o r p r o t o r p e r -

s o n a l a d v a n t a g e ; a n d t h i s c o p y r i g h t n o t i c e , t h e t i t l e o f t h e p u b l i c a t i o n , a n d

i t s d a t e a p p e a r . A n y o t h e r u s e o r c o p y i n g o f t h i s d o c u m e n t r e q u i r e s s p e c i c

p r i o r p e r m i s s i o n f r o m S p r i n g e r - V e r l a g .


2/12

T y p i c a l l y , t h e N i n c o m i n g l i s t s a r e s e a r c h r e s u l t s f r o m d o c u m e n t s e t s C

1

: : : C

N

.

I n s t e a d o f c r e a t i n g a s i n g l e c e n t r a l i n d e x o f a l l d o c u m e n t s

S

C

i

, a m e r g i n g s t r a t -

e g y g e n e r a t e s R

m

u s i n g i n f o r m a t i o n c o l l a t e d a t q u e r y t i m e p e r t a i n i n g j u s t t o

t h e c u r r e n t q u e r y a n d d o c u m e n t s D

m

.

I n t h i s p a p e r , a m e r g i n g s t r a t e g y b a s e d o n d o w n l o a d i n g d o c u m e n t c o n t e n t s

a n d u s i n g a s e t o f r e f e r e n c e c o l l e c t i o n s t a t i s t i c s i s i n t r o d u c e d , a l o n g w i t h a n e w

r a n k i n g a l g o r i t h m d e s i g n e d f o r u s e i n m e r g i n g . T h e n e w t e c h n i q u e s a r e e v a l u a t e d

i n t e r m s o f r e t r i e v a l e e c t i v e n e s s u s i n g a T R E C V o o r h e e s a n d H a r m a n , 1 9 9 7 ]

f r a m e w o r k , a n d c o m p a r e d t o o t h e r m e r g i n g m e t h o d s . E c i e n c y q u e s t i o n s a r e

n o t c o n s i d e r e d h e r e .

2 B a c k g r o u n d

2 . 1 M e r g i n g A r c h i t e c t u r e

T h i s s e c t i o n d e s c r i b e s t h e n e t w o r k e d i n f o r m a t i o n r e t r i e v a l a r c h i t e c t u r e c o n s i d -

e r e d i n t h i s p a p e r . I t i s a s s u m e d t h a t a n u m b e r o f s e a r c h s e r v e r s ( s e a r c h e n g i n e s )

a r e a v a i l a b l e , e a c h o f w h i c h i n d e x e s d o c u m e n t s f r o m o n e o r m o r e d o c u m e n t

s e r v e r s . A b a s i c s e a r c h i s a n i n t e r a c t i o n b e t w e e n a t h e u s e r ' s c l i e n t s o f t w a r e ( e . g .

a w e b b r o w s e r ) a n d a s e a r c h s e r v e r , w h e r e t h e c l i e n t m a k e s a r e q u e s t i n t h e

f o r m o f a q u e r y ( q ) a n d t h e s e a r c h s e r v e r r e s p o n d s w i t h a r a n k e d l i s t o f d o c u -

m e n t s ( R ) . T h e u s e r m a y t h e n v i e w d o c u m e n t s b y d o w n l o a d i n g t h e m f r o m t h e

a p p r o p r i a t e d o c u m e n t s e r v e r s .

I n a n e n v i r o n m e n t w h e r e a l a r g e n u m b e r o f s e a r c h s e r v e r s a r e a v a i l a b l e , i t

i s p o s s i b l e t o e m p l o y a s p e c i a l c l i e n t k n o w n a s a m e t a s e a r c h e r L a w r e n c e a n d

G i l e s , 1 9 9 8 , G a u c h e t a l . , 1 9 9 6 , S e l b e r g a n d E t z i o n i , 1 9 9 5 , D r e i l i n g e r a n d H o w e ,

1 9 9 7 , S m e a t o n a n d C r i m m i n s , 1 9 9 6 ] . M e t a s e a r c h e r s m e r g e r e s u l t s f r o m m u l t i p l e

s e a r c h s e r v e r s i n t o a s i n g l e r a n k e d l i s t u s i n g s o m e r e s u l t s m e r g i n g s t r a t e g y . I n

a d d i t i o n , s o m e f o r m o f q u e r y t r a n s l a t i o n t e c h n o l o g y i s n e c e s s a r y , t o i n t e r a c t w i t h

d i e r e n t s e a r c h s e r v e r s , a n d s o m e s e r v e r s e l e c t i o n m e t h o d m a y b e a v a i l a b l e f o r

l o c a t i n g s e r v e r s c o v e r i n g d o c u m e n t s r e l e v a n t t o t h e u s e r ' s q u e r y . T h e p r o b l e m s o f

q u e r y t r a n s l a t i o n a n d s e r v e r s e l e c t i o n a r e n o t c o n s i d e r e d i n t h i s p a p e r . H o w e v e r ,

a s i m p l e m e t h o d o f s e r v e r s e l e c t i o n i s u s e d h e r e t o m e a s u r e \ s e r v e r p r o m i s e "

( s e e S e c t i o n 4 . 2 ) .

M e r g i n g i s p a r t i c u l a r l y u s e f u l w h e n n o s i n g l e i n d e x c o v e r s a l l i n f o r m a t i o n

o f i n t e r e s t t o t h e u s e r . F o r e x a m p l e , a u s e r m i g h t w i s h t o n d i n f o r m a t i o n o n

a m e d i c a l t r e a t m e n t b y s e a r c h i n g a p u b l i c l y a v a i l a b l e m e d i c a l W e b s i t e , a s u b -

s c r i p t i o n o n l y W e b s i t e , a p r o p r i e t a r y d a t a b a s e o n t h e l o c a l i n t r a n e t , a n d a l o c a l

C D - R O M . I f i t i s a o n e - o s e a r c h , b u i l d i n g a s i n g l e i n d e x o f a l l d o c u m e n t s i s

c l e a r l y i m p r a c t i c a l . H o w e v e r , u s i n g a m e t a s e a r c h e r , t h e i m p r e s s i o n o f a u n i e d

i n d e x c a n b e g i v e n .

M e r g i n g s t r a t e g i e s c a n b e d i v i d e d i n t o t w o c a t e g o r i e s V o o r h e e s , 1 9 9 5 ] , i n t e -

g r a t e d m e t h o d s a n d i s o l a t e d m e t h o d s . I n t e g r a t e d m e t h o d s r e q u i r e t h e s e r v e r s t o

p r o v i d e s p e c i a l i n f o r m a t i o n f o r u s e i n m e r g i n g , w h i l e i s o l a t e d m e r g i n g m e t h o d s

c a n b e a p p l i e d w i t h o u t a n y s p e c i a l i s e d m e r g i n g i n f o r m a t i o n f r o m s e r v e r s .


3/12

2 . 2 I n t e g r a t e d M e r g i n g M e t h o d s

I n o r d i n a r y r e t r i e v a l f r o m a u n i e d c o l l e c t i o n , t h e m o s t e e c t i v e r a n k i n g a l -

g o r i t h m s H a r m a n , 1 9 9 2 ] r e q u i r e c o l l e c t i o n s t a t i s t i c s , p a r t i c u l a r l y d o c u m e n t f r e -

q u e n c i e s . A d o c u m e n t f r e q u e n c y | t h e n u m b e r o f d o c u m e n t s c o n t a i n i n g a t l e a s t

o n e o c c u r r e n c e o f a g i v e n t e r m | c a n b e u s e d t o w e i g h t t h e r e l a t i v e i m p o r t a n c e

o f q u e r y t e r m s , o r t o e s t i m a t e r e l a t i v e p r o b a b i l i t i e s o f d o c u m e n t r e l e v a n c e . I n t e -

g r a t e d m e r g i n g s t r a t e g i e s u s e s p e c i a l p r o t o c o l s a n d s e r v e r f u n c t i o n a l i t y t o c o l l a t e

c o l l e c t i o n s t a t i s t i c s , a l l o w i n g c o m p a r a b l e d o c u m e n t s c o r e s t o b e g e n e r a t e d .

O n e a p p r o a c h i s t o c o l l a t e c o l l e c t i o n s t a t i s t i c s a t t h e s e a r c h s e r v e r s V i l e s

a n d F r e n c h , 1 9 9 5 ] o r a t t h e c l i e n t M a z u r , 1 9 9 4 , K r e s t e r e t a l . , 1 9 9 8 , C a l l a n

e t a l . , 1 9 9 5 ] . I n t h e l a t t e r c a s e , t h e c l i e n t p r o v i d e s s t a t i s t i c s t o t h e s e r v e r s w i t h

e a c h q u e r y . I n b o t h c a s e s , t h e s e r v e r s u s e t h e s e c o l l e c t i o n s t a t i s t i c s , a l o n g w i t h a

h o m o g e n e o u s r a n k i n g a l g o r i t h m , t o g e n e r a t e c o m p a r a b l e d o c u m e n t s c o r e s . T h e

c l i e n t t h e n g e n e r a t e s t h e m e r g e d r a n k i n g b y s o r t i n g t h e d o c u m e n t s i n d e s c e n d i n g

o r d e r o f s c o r e . T h e a d v a n t a g e o f t h i s a p p r o a c h i s t h a t i t a l l o w s s e r v e r s t o g e n e r a t e

c o m p a r a b l e d o c u m e n t s c o r e s . T h e d i s a d v a n t a g e s a r e t h a t : 1 ) t h e s e r v e r s m u s t a l l

c o m p l y w i t h s o m e s t a t i s t i c p r o p a g a t i o n p r o t o c o l , 2 ) n o n - t r i v i a l c o m m u n i c a t i o n

m u s t t a k e p l a c e b e f o r e q u e r y t i m e , a n d 3 ) t h e s e t o f s e r v e r s w h o s e s t a t i s t i c s a r e

i n c l u d e d m u s t b e d e c i d e d b e f o r e q u e r y t i m e .

A d i e r e n t a p p r o a c h r e q u i r e s e a c h s e r v e r t o s u p p l y c o l l e c t i o n i n f o r m a t i o n

w i t h i t s s e a r c h r e s u l t s W a l c z u c h e t a l . , 1 9 9 4 , G r a v a n o e t a l . , 1 9 9 7 , K i r s c h , 1 9 9 7 ] .

T h e c l i e n t c a n t h e n c o m b i n e c o l l e c t i o n i n f o r m a t i o n f r o m t h e i n d i v i d u a l s e r v e r s

i n t o o v e r a l l c o l l e c t i o n i n f o r m a t i o n , a n d e m p l o y s o m e r a n k i n g a l g o r i t h m t o g e n -

e r a t e t h e m e r g e d l i s t . D o c u m e n t i n f o r m a t i o n f o r u s e i n r a n k i n g m a y b e p r o v i d e d

a l o n g w i t h t h e c o l l e c t i o n s t a t i s t i c s , o r o b t a i n e d t h r o u g h d o w n l o a d i n g t h e d o c -

u m e n t s f r o m d o c u m e n t s e r v e r s . T h i s a p p r o a c h r e q u i r e s n o p r e - q u e r y s y n c h r o -

n i s a t i o n , b u t m a y o n l y b e a p p l i e d w h e n s e r v e r s s u p p o r t t h e n e c e s s a r y s t a t i s t i c

c o m m u n i c a t i o n p r o t o c o l .

T h e a b o v e i n t e g r a t e d a p p r o a c h e s u s e d i e r e n t d e n i t i o n s o f \ t h e c o l l e c t i o n " :

1 ) t h e d o c u m e n t s i n d e x e d b y a x e d s e t o f s e r v e r s , a n d 2 ) t h e d o c u m e n t s i n d e x e d

b y t h e s e r v e r s c u r r e n t l y b e i n g s e a r c h e d . I n e i t h e r c a s e , i f t h e s a m e d o c u m e n t i s

c o v e r e d b y m o r e t h a n o n e s e a r c h s e r v e r i t w i l l b e c o u n t e d m o r e t h a n o n c e i n

t h e c o l l e c t i o n s t a t i s t i c s . I n b o t h c a s e s , e c i e n c y a n d b r e a d t h o f a p p l i c a t i o n a r e

r e d u c e d b y t h e r e q u i r e m e n t f o r e x t r a c o m m u n i c a t i o n a n d s e r v e r f u n c t i o n a l i t y .

T h e g a i n i n e e c t i v e n e s s e n a b l e d b y t h e a d d i t i o n a l i n f o r m a t i o n i s e x a m i n e d i n

T a b l e 2 .

2 . 3 I s o l a t e d M e r g i n g M e t h o d s

I s o l a t e d m e r g i n g m e t h o d s u s e i n f o r m a t i o n w h i c h i s r e a d i l y a v a i l a b l e f r o m s e a r c h

s e r v e r s a n d d o c u m e n t s e r v e r s , w i t h o u t r e q u i r i n g a n y s p e c i a l s e r v e r f u n c t i o n a l i t y .

F o u r s o u r c e s o f m e r g i n g i n f o r m a t i o n a r e e x a m i n e d h e r e :

1 . T h e o r d i n a l r a n k a s s i g n e d t o a d o c u m e n t b y a s e a r c h s e r v e r ,

2 . T h e s c o r e a s s i g n e d t o a d o c u m e n t b y a s e a r c h s e r v e r ,


4/12

3 . A s e r v e r p r o m i s e m e t r i c , p r o v i d e d b y s o m e s e r v e r - s e l e c t i o n m e t h o d ( s u c h a s

t h e o n e d e s c r i b e d i n H a w k i n g a n d T h i s t l e w a i t e , 1 9 9 8 ] ) , a n d

4 . T h e c o n t e n t s o f t h e d o c u m e n t i t s e l f , d o w n l o a d e d b y t h e c l i e n t f r o m a d o c u -

m e n t s e r v e r .

A l l t h e i s o l a t e d m e r g i n g m e t h o d s d e s c r i b e d i n t h i s s e c t i o n h a v e b e e n i m p l e -

m e n t e d ( o r a p p r o x i m a t e d ) a n d a r e e v a l u a t e d i n t h e p r e s e n t s t u d y .

I n s c o r e b a s e d m e r g i n g m e t h o d s , d o c u m e n t s a r e r a n k e d i n o r d e r o f s e r v e r -

a s s i g n e d s c o r e s , o r s o m e t r a n s f o r m a t i o n o f t h o s e s c o r e s . T h e r a w s c o r e s p r o d u c e d

b y s e r v e r s u s i n g h e t e r o g e n e o u s r a n k i n g a l g o r i t h m s a n d n o n - s h a r e d c o l l e c t i o n

s t a t i s t i c s a r e n o t c o m p a r a b l e , b u t t h e y a r e i n c l u d e d i n t h e e v a l u a t i o n f o r c o m -

p l e t e n e s s . T o m a k e t h e s c o r e s m o r e c o m p a r a b l e , t h e y c a n b e s c a l e d s o t h a t t h e

s c o r e s f r o m e a c h s e r v e r r a n g e b e t w e e n t w o s e t v a l u e s S e l b e r g a n d E t z i o n i , 1 9 9 5 ] .

I n a d d i t i o n , a s e r v e r p r o m i s e w e i g h t c a n b e u s e d , w e i g h t i n g s c o r e s m o r e h i g h l y

i f t h e y o r i g i n a t e f r o m a s e r v e r j u d g e d t o b e m o r e u s e f u l G a u c h e t a l . , 1 9 9 6 ] .

I n r a n k b a s e d m e r g i n g m e t h o d s , s e r v e r - a s s i g n e d o r d i n a l r a n k s a r e u s e d i n g e n -

e r a t i o n o f t h e m e r g e d l i s t . R a n k s m a y b e s i m p l y i n t e r l e a v e d S m e a t o n a n d C r i m -

m i n s , 1 9 9 6 ] . A l t e r n a t i v e l y t h e g a p b e t w e e n d o c u m e n t s f r o m a l i s t m a y b e m a d e

i n v e r s e l y p r o p o r t i o n a l t o s e r v e r p r o m i s e , a s i n Y u w o n o i n t e r l e a v i n g Y u w o n o a n d

L e e , 1 9 9 7 ] , o r a n N - s i d e d d i e , w e i g h t e d i n p r o p o r t i o n t o s e r v e r p r o m i s e , m a y

b e u s e d t o d e t e r m i n e t h e o r d e r o f d o c u m e n t s . I n t h e l a t t e r a p p r o a c h V o o r h e e s ,

1 9 9 5 ] i n c o m i n g r a n k i n g s o f v a r y i n g l e n g t h s a r e u s e d , i n c o n t r a s t w i t h t h e x e d

l e n g t h l i s t s u s e d i n e v a l u a t i o n s h e r e , c o n s e q u e n t l y a n a p p r o x i m a t i o n o f V o o r h e e s

i n t e r l e a v i n g i s e v a l u a t e d h e r e ( s e e S e c t i o n 4 . 2 ) .

I n c o n t e n t b a s e d m e t h o d s , t h e c l i e n t d o w n l o a d s t h e d o c u m e n t s D

m

f r o m d o c -

u m e n t s e r v e r s a n d a n a l y s e s t h e m i n o r d e r t o p r o d u c e a r a n k i n g . T h e m e t a s e a r c h e r

I n q u i r u s L a w r e n c e a n d G i l e s , 1 9 9 8 ] d o e s t h i s , e m p l o y i n g a r a n k i n g a l g o r i t h m

w i t h o u t c o l l e c t i o n s t a t i s t i c s t o g e n e r a t e t h e m e r g e d r a n k i n g . O n e a d v a n t a g e o f

c o n t e n t b a s e d m e t h o d s i s t h a t e v e n i f i n d e x e s a r e o u t o f d a t e b e c a u s e o f d o c u m e n t

c h a n g e s a n d d e l e t i o n s , t h e m e r g e d r a n k i n g w i l l b e b a s e d o n c u r r e n t d o c u m e n t

c o n t e n t s ( w h i c h w i l l a l s o b e c a c h e d f o r v i e w i n g b y t h e u s e r ) . T h e d i s a d v a n t a g e

i s t h a t t h e d o c u m e n t s m u s t b e d o w n l o a d e d , i n c u r r i n g t i m e a n d b a n d w i d t h c o s t s

f o r e a c h s e a r c h .

3 N e w M e r g i n g T e c h n i q u e s

I n t h i s p a p e r t w o n e w t e c h n i q u e s a r e i n t r o d u c e d ; u s e o f R e f e r e n c e S t a t i s t i c s a n d

t h e F e a t u r e D i s t a n c e r a n k i n g a l g o r i t h m .

3 . 1 R e f e r e n c e S t a t i s t i c s

U s e o f c o l l e c t i o n s t a t i s t i c s c a n i m p r o v e m e r g i n g e e c t i v e n e s s , b u t n o m e t h o d

f o r e c i e n t l y c o l l a t i n g c o l l e c t i o n s t a t i s t i c s i s a v a i l a b l e w i t h o u t u s e o f i n t e g r a t e d

s e r v e r s . I n s t e a d o f a t t e m p t i n g t o c o l l a t e c o l l e c t i o n s t a t i s t i c s , a r e f e r e n c e s t a t i s -

t i c d a t a b a s e c a n b e u s e d , c o n t a i n i n g a l l t h e r e l e v a n t s t a t i s t i c s f o r s o m e s e t o f


5/12

d o c u m e n t s . T h i s s e t m a y b e s o m e p r o p o r t i o n o f t h e d o c u m e n t s t o b e s e a r c h e d

( 1 0 % i s u s e d h e r e ) , o r a c o m p l e t e l y s e p a r a t e c o l l e c t i o n . U s i n g a s e t o f R e f e r e n c e

S t a t i s t i c s , a m e t a s e a r c h e r s u c h a s I n q u i r u s c o u l d e m p l o y a m o r e e e c t i v e r a n k -

i n g a l g o r i t h m b y s u b s t i t u t i n g a r e f e r e n c e s t a t i s t i c w h e r e v e r a c o l l e c t i o n s t a t i s t i c

w o u l d n o r m a l l y a p p e a r .

3 . 2 F e a t u r e D i s t a n c e R a n k i n g A l g o r i t h m s

O n e p r o b l e m w i t h w i t h c o n t e n t b a s e d m e r g i n g m e t h o d s i s t h e t i m e t a k e n a n d

c o s t i n v o l v e d i n d o w n l o a d i n g t h e d o c u m e n t s . O n e a l t e r n a t i v e i n s u c h a c a s e i s

t o d o w n l o a d o n l y t h e b e g i n n i n g o f e a c h d o c u m e n t , t h e r e b y r e d u c i n g t h e t i m e

b e t w e e n t r a n s m i s s i o n o f d o c u m e n t c o n t e n t r e q u e s t s a n d t h e b e g i n n i n g o f c o n t e n t

a n a l y s i s . W i t h t h i s i n m i n d , a r a n k i n g a l g o r i t h m w a s d e v e l o p e d w h i c h g i v e s a

h i g h e r w e i g h t i n g t o t e r m o c c u r r e n c e s n e a r t h e s t a r t o f t h e d o c u m e n t . I f t h i s

a l g o r i t h m w a s e e c t i v e i n t h e f u l l t e x t c a s e , t h e d e g r a d a t i o n i n e e c t i v e n e s s i n

t h e p a r t i a l d o w n l o a d c a s e w o u l d h o p e f u l l y b e s m a l l .

F e a t u r e d i s t a n c e a l g o r i t h m s , a r e b a s e d o n t h e o c c u r r e n c e o f f e a t u r e s ( q u e r y

t e r m s ) i n t h e d o c u m e n t . T h e y a r e b a s e d o n i n t u i t i o n t h a t a f e a t u r e i s l e s s i m -

p o r t a n t i f : a ) i t a p p e a r s n e a r t h e e n d o f t h e d o c u m e n t , b ) i t i s n o t n e a r o t h e r

f e a t u r e s , c ) i t i s a t e r m w h i c h h a s h a s o c c u r r e d m a n y t i m e s i n t h e d o c u m e n t a l -

r e a d y , a n d d ) i t i s a c o m m o n t e r m i n t h e c o l l e c t i o n . T h e r e f o r e , t h e c o n t r i b u t i o n

( w ) o f a f e a t u r e t o t h e o v e r a l l d o c u m e n t s c o r e i s d e t e r m i n e d b y i t s t o t a l c h a r a c t e r

o s e t ( l ) i n t o t h e d o c u m e n t , t h e d i s t a n c e i n c h a r a c t e r s ( d ) b e t w e e n i t a n d t h e

p r e v i o u s f e a t u r e , t h e n u m b e r o f t i m e s ( n ) t h a t t e r m h a s o c c u r r e d s o f a r , a n d t h e

d o c u m e n t f r e q u e n c y o f t h e t e r m ( d f ) . E x p e r i m e n t s w e r e c o n d u c t e d w i t h s e v e r a l

d i e r e n t f e a t u r e d i s t a n c e w e i g h t i n g f u n c t i o n s . F u n c t i o n s w

A

a n d w

B

, e a c h w i t h

s l i g h t l y d i e r e n t p r o p e r t i e s , w e r e s e l e c t e d f o r p r e s e n t a t i o n i n S e c t i o n s 5 a n d 6 .

w

A

=

1

n

p

d d f l n ( l )

w

B

=

1

n

1 1

l n ( d ) l n ( d f + 1 ) l n ( l )

I n b o t h c a s e s , t h e c o n t r i b u t i o n s o f a l l t h e d o c u m e n t s f e a t u r e s F a r e s u m m e d , s o

t h e o v e r a l l s c o r e a c h i e v e d b y t h e d o c u m e n t i s s c o r e =

P

F

w .

4 E x p e r i m e n t a l F r a m e w o r k

T h e T e x t R E t r i e v a l C o n f e r e n c e ( T R E C ) V o o r h e e s a n d H a r m a n , 1 9 9 7 ] p r o v i d e s

a n e e c t i v e n e s s e v a l u a t i o n f r a m e w o r k , i n c l u d i n g s e t s o f d o c u m e n t s , t o p i c s a n d

r e l e v a n c e j u d g e m e n t s . T h e e e c t i v e n e s s o f a m e r g i n g m e t h o d i s d e n e d a s i t s

a b i l i t y t o r a n k r e l e v a n t d o c u m e n t s a b o v e i r r e l e v a n t o n e s i n R

m

. I n o r d e r t o

m e a s u r e t h i s , v e l i s t s o f 3 0 d o c u m e n t s a r e g e n e r a t e d , o n e f r o m e a c h T R E C - 6

c o l l e c t i o n . T h e s e i n c o m i n g l i s t s R

1

: : : R

5

a r e a l r e a d y r a n k e d i n o r d e r o f l i k e l y

r e l e v a n c e t o a T R E C - 6 t o p i c , a n d t h e m e r g i n g m e t h o d i s e m p l o y e d t o g e n e r a t e


6/12

t h e m e r g e d r a n k i n g w i t h r e s p e c t t o t h e s a m e t o p i c . T h e n h u m a n j u d g e m e n t s o f

w h i c h d o c u m e n t s a r e r e l e v a n t t o t h a t t o p i c a r e u s e d t o j u d g e t h e e e c t i v e n e s s

o f t h e m e r g e d r a n k i n g .

T h e e e c t i v e n e s s m e a s u r e u s e d h e r e i s a v e r a g e p r e c i s i o n :

A v e r a g e P r e c i s i o n =

P

n u m r e l r e t

i = 1

i

r a n k ( i )

n u m r e l

w h e r e r a n k ( i ) i s t h e r a n k o f t h e i t h r e l e v a n t d o c u m e n t , n u m r e l r e t i s t h e n u m b e r

o f r e l e v a n t d o c u m e n t s i n t h e r a n k i n g b e i n g e v a l u a t e d , a n d n u m r e l i s t h e n u m b e r

o f r e l e v a n t d o c u m e n t s i n t h e c o l l e c t i o n s b e i n g s e a r c h e d

I t i s u s u a l w h e n p e r f o r m i n g T R E C t e s t s t o e v a l u a t e p e r f o r m a n c e o v e r 5 0

t o p i c s . T h e m e a n e e c t i v e n e s s o f a m e r g i n g m e t h o d o v e r 5 0 t o p i c s i s d e n e d

h e r e a s a n o b s e r v a t i o n . H o w e v e r , t h e e e c t i v e n e s s o f a m e r g i n g m e t h o d m a y

d e p e n d o n t h e t e c h n i q u e s u s e d f o r r e t r i e v a l . F o r t h i s r e a s o n , r e s u l t s f r o m v e

d i e r e n t r e t r i e v a l s y s t e m s p e r c o l l e c t i o n w e r e s i m u l a t e d . T h i s a l l o w s 5

5

d i e r e n t

c o n g u r a t i o n s o f i n c o m i n g l i s t s , e a c h i n c l u d i n g r e s u l t s f r o m b e t w e e n o n e a n d

v e s y s t e m s , b u t a l w a y s i n c l u d i n g o n e l i s t f r o m e a c h c o l l e c t i o n . I n o r d e r t o a v o i d

b i a s t o w a r d s a n y p a r t i c u l a r m e r g i n g m e t h o d , a l l r e s u l t s p r e s e n t e d i n S e c t i o n 5

c o v e r a l l 3 1 2 5 p o s s i b l e o b s e r v a t i o n s .

4 . 1 D e t a i l s o f M e t h o d

C o l l e c t i o n s A l l v e T R E C - 6 c o l l e c t i o n s w e r e u s e d i n t h i s e v a l u a t i o n ; t h e L A

T i m e s , F o r e i g n B r o a d c a s t I n f o r m a t i o n S e r v i c e , t h e F i n a n c i a l T i m e s , t h e U S F e d -

e r a l R e g i s t e r a n d t h e U S C o n g r e s s i o n a l R e c o r d .

S e r v e r A l g o r i t h m s F i v e T R E C - 6 r u n s w e r e u s e d f o r g e n e r a t i n g i n p u t r a n k -

i n g s . E a c h r u n c o n t a i n s t h e t o p 1 0 0 0 r a n k e d d o c u m e n t s f o r e a c h o f 5 0 t o p i c s .

R u n s w e r e f r o m :

{ U n i v e r s i t y o f C a l i f o r n i a B e r k e l e y , b a s e d o n l o g i s t i c r e g r e s s i o n ( B r k l y 2 2 ) ,

{ C o r n e l l U n i v e r s i t y , b a s e d o n t h e v e c t o r s p a c e m o d e l ( C o r 6 A 3 c l l ) ,

{ C i t y U n i v e r s i t y , b a s e d o n t h e O k a p i p r o b a b i l i s t i c m o d e l ( c i t y 6 a t ) ,

{ M D S R M I T , u s i n g a l i m i t e d - c o n t e x t v e c t o r s p a c e m o d e l ( m d s 6 0 2 ) , a n d

{ Q u e e n s C o l l e g e C U N Y , u s i n g a m o d i e d p r o b a b i l i s t i c m o d e l t r a i n e d u s i n g

a s p r e a d i n g a c t i v a t i o n n e t w o r k ( p i r c 7 A t ) .

I n p u t R a n k i n g s F i v e i n p u t r a n k i n g s ( i . e . R

1

: : : R

5

) w e r e g e n e r a t e d f r o m e a c h

o f t h e a b o v e o c i a l T R E C r u n s b y e x t r a c t i n g t h e b e s t 3 0 d o c u m e n t s f r o m e a c h

o f t h e v e c o l l e c t i o n s . A l t h o u g h r a n k i n g s g e n e r a t e d i n t h i s f a s h i o n w i l l d i e r

s l i g h t l y f r o m t o p 3 0 r a n k i n g s w h i c h w o u l d h a v e b e e n p r o d u c e d b y i n d i v i d u a l

r u n s o n e a c h c o l l e c t i o n , t h e y a r e b a s e d o n h i g h l y e e c t i v e , c o m p l e x a n d v a r i e d

r e t r i e v a l t e c h n i q u e s . I n a d d i t i o n , t h e r e s u l t s w e r e p r o d u c e d i n d e p e n d e n t l y o f t h e

c u r r e n t s t u d y , a n d a r e a v a i l a b l e f o r u s e b y o t h e r r e s e a r c h e r s i n r e p l i c a t i n g t h e s e

r e s u l t s .


7/12

T o p i c s T R E C t o p i c s a r e s y s t e m - i n d e p e n d e n t E n g l i s h l a n g u a g e s t a t e m e n t s o f

u s e r i n f o r m a t i o n n e e d . T o p i c s w e r e u s e d b o t h f o r g e n e r a t i o n o f t h e T R E C r u n s

d e s c r i b e d a b o v e a n d i n t h e c o n t e n t - b a s e d m e r g i n g m e t h o d s . I n t h e l a t t e r c a s e ,

a s e t o f u n s t e m m e d , w e i g h t e d q u e r y t e r m s w a s e x t r a c t e d f r o m e a c h t o p i c , w i t h

t e r m w e i g h t s c o r r e s p o n d i n g t o t h e n u m b e r o f t i m e s t h e t e r m o c c u r r e d i n t h e

t o p i c .

4 . 2 D e t a i l s o f M e r g i n g M e t h o d s

R a n d o m A m e r g i n g m e t h o d w h i c h g e n e r a t e s o

m

r a n d o m l y w a s i n c l u d e d i n t h e

e v a l u a t i o n t o p r o v i d e a b a s e l i n e f o r e e c t i v e n e s s .

R a n k a n d S c o r e B a s e d M e t h o d s I n c l u d e d i n t h i s e v a l u a t i o n a r e t h e r a n k

a n d s c o r e b a s e d m e t h o d s d e s c r i b e d i n S e c t i o n 2 . 3 . E v e r y e o r t h a s b e e n m a d e

t o c o r r e c t l y i m p l e m e n t t h e t e c h n i q u e s d e s c r i b e d . H o w e v e r , t r u e V o o r h e e s i n t e r -

l e a v i n g u s e s v a r i a b l e l e n g t h i n p u t l i s t s a n d a s p e c i c s e r v e r p r o m i s e m e a s u r e n o t

a v a i l a b l e h e r e . T h e \ V I n t e r l e a v i n g " r e s u l t s p r e s e n t e d i n S e c t i o n 5 a r e a m o d i -

e d v e r s i o n o f V o o r h e e s m e t h o d s , b a s e d o n a d i e r e n t s e r v e r p r o m i s e m e a s u r e

a n d u s i n g x e d l e n g t h l i s t s . A l t h o u g h t h e l i s t s a l l s t a r t o w i t h t h e s a m e l e n g t h ,

s e l e c t i o n w e i g h t s a r e m a d e p r o p o r t i o n a l t o c o l l e c t i o n p r o m i s e , a t a l e v e l l e s s t h a n

o r e q u a l t o t h e l e n g t h o f t h e l i s t . A s d o c u m e n t s a r e r e m o v e d f r o m t h e l i s t , t h e

w e i g h t i s r e d u c e d b y o n e , u n l e s s t h e w e i g h t i s o n e a n d t h e l i s t i s n o t y e t e m p t y .

R a n k i n g A l g o r i t h m s U s i n g R e f e r e n c e S t a t i s t i c s o r c o l l e c t i o n s t a t i s t i c s o b -

t a i n e d t h r o u g h i n t e g r a t e d s e r v e r s i t i s p o s s i b l e t o a p p l y a n y o f a l a r g e r a n g e o f

r a n k i n g a l g o r i t h m s . T h e f o l l o w i n g r a n k i n g f o r m u l a e a r e u s e d i n e v a l u a t i o n s h e r e :

{ F e a t u r e D i s t a n c e w

A

a n d w

B

( d e s c r i b e d a b o v e )

{ t h e I n q u i r u s r a n k i n g a l g o r i t h m

R = c

1

N

p

+

c

2

P

N

p

1

i = 1

P

N

p

j = i + 1

m i n ( d ( i ; j ) ; c

2

)

P

N

p

1

k = 1

( N

p

k )

!

.

c

2

c

1

+

N

t

c

3

w h e r e R i s t h e d o c u m e n t ' s s c o r e , N

p

i s t h e n u m b e r o f q u e r y t e r m s p r e s e n t

i n t h e d o c u m e n t ( e a c h t e r m i s c o u n t e d o n c e ) , N

t

i s t h e n u m b e r o f q u e r y

t e r m o c c u r r e n c e s i n t h e d o c u m e n t , d ( i , j ) i s t h e m i n i m u m d i s t a n c e ( n u m b e r

o f c h a r a c t e r s ) b e t w e e n t h e i t h a n d j t h q u e r y t e r m s , a n d c

1

, c

2

a n d c

3

a r e

c o n s t a n t s

{ s i m p l e t f

i d f

w

t

=

t f

d

d f

{ t h e O k a p i B M 2 5 W a l k e r e t a l . , 1 9 9 7 ] v a r i a n t d e s c r i b e d i n H a w k i n g e t a l . ,

1 9 9 7 ]

w

t

= t f

d

l o g (

c s d f + 0 5

d f + 0 5

)

2 ( 0 : 2 5 + 0 : 7 5

d l

a v d l

) + t f

d


8/12

{ a v e r s i o n o f t h e O k a p i B M 2 5 w i t h n o d o c u m e n t f r e q u e n c y i n f o r m a t i o n , a n d

l e n g t h n o r m a l i s a t i o n a c c o r d i n g t o a c o n s t a n t r a t h e r t h a n t h e t r u e a v e r a g e

d o c u m e n t l e n g t h :

w

t

= t f

d

1

2

( 0 : 2 5 + 0 : 7 5

d l

4 0 9 6

) + t f

d

w h e r e w

t

i s t h e r e l e v a n c e w e i g h t a s s i g n e d t o a d o c u m e n t d u e t o q u e r y t e r m

t ( t h i s w e i g h t i s m u l t i p l i e d b y t h e q u e r y w e i g h t o f t ) , t f

d

i s t h e n u m b e r o f

t i m e s t o c c u r s i n t h e d o c u m e n t , c s i s t h e t o t a l n u m b e r o f d o c u m e n t s , d f i s

t h e d o c u m e n t f r e q u e n c y o f t , d l i s t h e l e n g t h o f t h e d o c u m e n t a n d a v d l i s

t h e a v e r a g e d o c u m e n t l e n g t h

S e r v e r P r o m i s e T h e s e r v e r p r o m i s e m e a s u r e u s e d h e r e i s t h e s u m o v e r a l l

q u e r y t e r m s o f w d f i c f , w h e r e w i s t h e q u e r y w e i g h t a s s i g n e d t o t h a t t e r m , d f

i s t h e d o c u m e n t f r e q u e n c y o f t h a t t e r m i n t h e c o l l e c t i o n a n d i c f i s t h e i n v e r s e

o f t h e n u m b e r o f c o l l e c t i o n s c o n t a i n i n g t h a t t e r m .

R e f e r e n c e S t a t i s t i c s R e f e r e n c e c o l l e c t i o n s t a t i s t i c s w e r e t a k e n f r o m a t e n

p e r c e n t s a m p l e o f t h e c o l l e c t i o n s s e a r c h e d , s i m p l y b y c h o o s i n g e v e r y 1 0 t h l e

e n c o u n t e r e d o n d i s k . I f t h e r e w a s n o d o c u m e n t f r e q u e n c y e n t r y f o r a p a r t i c u l a r

q u e r y t e r m i n t h e r e f e r e n c e s t a t i s t i c d a t a b a s e , t h e f r e q u e n c y w a s a s s u m e d t o b e

o n e .

5 R e s u l t s

A l l i s o l a t e d m e t h o d s a r e c o m p a r e d i n r e s u l t s T a b l e 1 , a n d f o r e a c h m e t h o d t h e

p r o p o r t i o n o f c o n g u r a t i o n s f o r w h i c h f e a t u r e d i s t a n c e w

A

w a s s u p e r i o r i s l i s t e d

i n t h e r i g h t m o s t c o l u m n . A m o r e d e t a i l e d c o m p a r i s o n o f t w o m e t h o d s a c r o s s

3 1 2 5 c o n g u r a t i o n s i s p r e s e n t e d i n F i g u r e 1 . C h a n g e s i n e e c t i v e n e s s o f m e t h o d s

u s i n g c o l l e c t i o n s t a t i s t i c s d u e t o u s e o f R e f e r e n c e r a t h e r t h a n r e a l s t a t i s t i c s a r e

d o c u m e n t e d i n T a b l e 2 . T a b l e 3 s h o w s t h e e e c t o n c o n t e n t b a s e d m e t h o d s o f

d o w n l o a d i n g o n l y p a r t o f e a c h d o c u m e n t .

6 D i s c u s s i o n

T h e a v e r a g e p r e c i s i o n g u r e s i n T a b l e 1 s h o w t h a t c o n t e n t b a s e d m e t h o d s , i n

p a r t i c u l a r t h o s e i n c o r p o r a t i n g R e f e r e n c e S t a t i s t i c s , w e r e t h e m o s t e e c t i v e o f

t h e i s o l a t e d - s e r v e r m e r g i n g m e t h o d s . T h e d i e r e n c e i n m e a n a v e r a g e p r e c i s i o n

b e t w e e n O k a p i a n d F e a t u r e D i s t a n c e w

A

i s o n l y 0 . 0 0 6 , b u t t h e l a t t e r i s m o r e

e e c t i v e i n 9 3 % o f c a s e s . T h e e x t e n t o f t h e s e d i e r e n c e s o v e r a l l 3 1 2 5 c o n g -

u r a t i o n s i s s h o w n i n F i g u r e 1 . T h i s f a i r l y u n i f o r m i m p r o v e m e n t s u g g e s t s t h a t

f u r t h e r s t u d y o f m e r g i n g w i t h F e a t u r e D i s t a n c e a l g o r i t h m s i s w a r r a n t e d . T h e

o t h e r n o t e w o r t h y r e s u l t i n T a b l e 1 i s t h a t s c o r e b a s e d m e t h o d s p e r f o r m e d b e t t e r


9/12

A v e r a g e P r e c i s i o n

S t a n d a r d C o n g u r a t i o n s

M e t h o d I n f o r m a t i o n M e a n D e v i a t i o n w h e r e w

A

i s b e t t e r

R a n d o m N o n e 0 . 0 6 2 0 . 0 0 5 1 0 0 %

I n q u i r u s C 0 . 0 8 5 0 . 0 0 8 9 8 %

R a w S c o r e s S 0 . 1 2 3 0 . 0 3 8 1 0 0 %

V I n t e r l e a v i n g R W 0 . 1 2 6 0 . 0 1 5 1 0 0 %

t f i d f C X 0 . 1 2 7 0 . 0 1 2 1 0 0 %

Y u w o n o I n t e r l e a v i n g R W 0 . 1 3 1 0 . 0 1 4 1 0 0 %

I n t e r l e a v i n g R 0 . 1 3 2 0 . 0 1 1 1 0 0 %

S c a l e d S c o r e s S 0 . 1 4 8 0 . 0 2 2 9 9 %

W e i g h t e d S c a l e d S c o r e s S W 0 . 1 5 5 0 . 0 2 3 9 9 %

O k a p i ( n o d f ) C 0 . 1 7 7 0 . 0 0 7 1 0 0 %

O k a p i C X 0 . 1 8 5 0 . 0 0 9 9 3 %

F e a t u r e D i s t a n c e w

B

C X 0 . 1 8 9 0 . 0 1 1 6 9 %


A

C X 0 . 1 9 1 0 . 0 1 0 0 %

T a b l e 1 . E e c t i v e n e s s o f i s o l a t e d m e r g i n g m e t h o d s ( s e e S e c t i o n 4 . 2 f o r d e t a i l s o n m e t h -

o d s ) . M e a n s a n d s t a n d a r d d e v i a t i o n s o f a v e r a g e p r e c i s i o n a r e o v e r 3 1 2 5 o b s e r v a t i o n s .

T h e p r o p o r t i o n o f c o n g u r a t i o n s f o r w h i c h w

A

w a s s u p e r i o r i s a l s o l i s t e d . M e r g i n g i n -

f o r m a t i o n u s e d ; S : S c o r e s , R : R a n k s , W : S e r v e r p r o m i s e w e i g h t , C : D o c u m e n t c o n t e n t ,

a n d X : R e f e r e n c e S t a t i s t i c s .

M e a n a v e r a g e p r e c i s i o n

C o n g u r a t i o n s w h e r e

M e t h o d I s o l a t e d I n t e g r a t e d i n t e g r a t i o n i s b e t t e r

t f i d f 0 . 1 2 7 0 . 1 4 4 1 0 0 %

O k a p i 0 . 1 8 5 0 . 1 8 7 9 9 %


B

0 . 1 8 9 0 . 1 8 2 0 %


A

0 . 1 9 1 0 . 1 9 1 4 0 %

T a b l e 2 . R e l a t i v e e e c t i v e n e s s o f r a n k i n g a l g o r i t h m s i n i s o l a t e d a n d i n t e g r a t e d e n -

v i r o n m e n t s ( R e f e r e n c e S t a t i s t i c s a r e u s e d i n t h e i s o l a t e d e n v i r o n m e n t ) . M e a n a v e r a g e

p r e c i s i o n s a r e o v e r 3 1 2 5 o b s e r v a t i o n s .

M e a n a v e r a g e p r e c i s i o n

C o n g u r a t i o n s w h e r e

M e t h o d F u l l d o w n l o a d F i r s t 4 k B f u l l d o w n l o a d i s b e t t e r

I n q u i r u s 0 . 0 8 5 0 . 1 2 7 0 %

t f i d f 0 . 1 2 7 0 . 1 2 9 3 8 %

O k a p i ( n o d f ) 0 . 1 7 7 0 . 1 6 6 1 0 0 %

O k a p i 0 . 1 8 5 0 . 1 7 2 1 0 0 %


B

0 . 1 8 9 0 . 1 7 6 9 9 %


A

0 . 1 9 1 0 . 1 7 3 1 0 0 %

T a b l e 3 . E e c t i v e n e s s o f r a n k i n g a l g o r i t h m s u s i n g f u l l a n d p a r t i a l d o c u m e n t d o w n l o a d .

M e a n a v e r a g e p r e c i s i o n s a r e o v e r 3 1 2 5 o b s e r v a t i o n s .


10/12

0

20

40

60

80

100

120

140

-0.005 0 0.005 0.01 0.015 0.02

Frequency

Difference in average precision

FdistA minus Okapi

F i g . 1 . H i s t o g r a m o f p a i r w i s e d i e r e n c e s i n a v e r a g e p r e c i s i o n b e t w e e n F e a t u r e D i s t a n c e

w

A

a n d O k a p i o v e r 3 1 2 5 c o n g u r a t i o n s .

t h a n r a n k b a s e d m e t h o d s , a n d w h e n s e r v e r p r o m i s e w e i g h t s w e r e u s e d , o n l y t h e

s c o r e b a s e d m e t h o d i m p r o v e d .

F e a t u r e D i s t a n c e a l g o r i t h m w

A

h a d t h e h i g h e s t m e a n a v e r a g e p r e c i s i o n b o t h

w i t h i n t e g r a t e d c o l l e c t i o n s t a t i s t i c s a n d w i t h R e f e r e n c e S t a t i s t i c s ( s e e T a b l e 2 ) .

W h i l e t h e w

A

r e s u l t s r e m a i n e d c o n s t a n t , a l g o r i t h m w

B

a c t u a l l y i m p r o v e d w i t h

u s e o f r e f e r e n c e s t a t i s t i c s . T h e r e a s o n f o r t h i s , a n d t h e r e a s o n O k a p i a n d t f i d f

w e r e l e s s e e c t i v e i n a l m o s t a l l c o n g u r a t i o n s , i s n o t c l e a r .

T h e I n q u i r u s a n d t f i d f a l g o r i t h m s b e c a m e m o r e e e c t i v e w h e n o p e r a t i n g

o v e r o n l y t h e r s t 4 k B o f e a c h d o c u m e n t ( s e e T a b l e 3 ) . T h i s m a y b e b e c a u s e

n e i t h e r o f t h e s e a l g o r i t h m s n o r m a l i s e o n d o c u m e n t l e n g t h , a n d t h e 4 k B l i m i t

a c t e d a s a c r u d e f o r m o f l e n g t h n o r m a l i s a t i o n . T h e o t h e r a l g o r i t h m s w e r e l e s s

e e c t i v e w i t h p a r t i a l d o w n l o a d . F e a t u r e D i s t a n c e a l g o r i t h m s w e r e d e s i g n e d t o

b e t o l e r a n t t o p a r t i a l d o w n l o a d s , b u t t h e d e g r a d a t i o n i n e e c t i v e n e s s w a s w o r s e

( o r n o b e t t e r ) t h a n f o r t h e O k a p i a l g o r i t h m s .

T h e O k a p i a l g o r i t h m a c h i e v e d a n a v e r a g e p r e c i s i o n o f 0 . 1 8 5 , c o n s i d e r a b l y

l o w e r t h a n t h e 0 . 2 8 8 o c i a l l y a c h i e v e d b y t h e c i t y 6 a t r u n i n T R E C - 6 . H o w e v e r ,

t h e o c i a l T R E C a v e r a g e p r e c i s i o n i s c a l c u l a t e d o v e r 1 0 0 0 d o c u m e n t s p e r t o p i c

r a t h e r t h a n 1 5 0 . F u r t h e r m o r e , t h e m e r g i n g r e s u l t s c o n t a i n e d 3 0 d o c u m e n t s f r o m

e a c h c o l l e c t i o n i n a l l c a s e s , e v e n i f s o m e c o l l e c t i o n s c o n t a i n e d f e w o r n o r e l e v a n t

d o c u m e n t s .

A n u m b e r o f p a r a m e t e r s w e r e n o t v a r i e d i n t h i s p a p e r , s u c h a s t h e q u e r y g e n -

e r a t i o n m e t h o d , c h o i c e o f s e r v e r p r o m i s e m e a s u r e , c o l l e c t i o n s t a t i s t i c s a m p l i n g

m e t h o d a n d i n p u t r a n k i n g g e n e r a t i o n m e t h o d . C h a n g i n g t h e s e f a c t o r s c o u l d

a e c t t h e e v a l u a t i o n r e s u l t s i n v a r i o u s w a y s w h i c h a r e n o t e x p l o r e d h e r e . H o w -

e v e r , t h e r e s u l t s p r e s e n t e d h e r e s u g g e s t t h a t t h e n e w m e t h o d s w a r r a n t f u r t h e r

i n v e s t i g a t i o n .


11/12

7 C o n c l u s i o n s

I n a n i s o l a t e d - s e r v e r e n v i r o n m e n t , s u c h a s t h e W o r l d W i d e W e b , R e f e r e n c e

S t a t i s t i c s a l l o w m o r e e e c t i v e r a n k i n g a l g o r i t h m s t o b e a p p l i e d w h e n p e r f o r m i n g

c o n t e n t b a s e d m e r g i n g . I n a d d i t i o n , F e a t u r e D i s t a n c e r a n k i n g a l g o r i t h m s p r o v e d

e e c t i v e i n b o t h t h e i s o l a t e d a n d i n t e g r a t e d s e r v e r c a s e s . E x p e r i m e n t s w i t h c o n -

t e n t b a s e d r a n k i n g o n p a r t i a l d o c u m e n t s s h o w e d t h a t e e c t i v e n e s s i s r e d u c e d i n

m o s t c a s e s , a n d F e a t u r e D i s t a n c e m e t h o d s a r e n o b e t t e r t h a n o t h e r a l g o r i t h m s

i n t h i s r e s p e c t .

E x p e r i m e n t s w i t h R e f e r e n c e S t a t i s t i c s f r o m d i e r e n t s o u r c e s | s u c h a s a

d i e r e n t c o l l e c t i o n o r a p r e v i o u s v e r s i o n o f t h e c u r r e n t c o l l e c t i o n | h a v e n o t

y e t b e e n c a r r i e d o u t . S u c h e x p e r i m e n t s c o u l d i n d i c a t e h o w g e n e r a l l y a p p l i c a b l e

R e f e r e n c e S t a t i s t i c s a r e , a n d h o w t h e c h o i c e o f s t a t i s t i c s a e c t s t h e q u a l i t y o f t h e

n a l r e s u l t s . E x p e r i m e n t s i n t o t h e e c i e n c y o f d o w n l o a d i n g d o c u m e n t s u s i n g

a p r o t o c o l s u c h a s H T T P c o u l d a l s o b e c a r r i e d o u t , t o i n d i c a t e t h e t r a d e - o

b e t w e e n t i m e t a k e n a n d e e c t i v e n e s s i n t h e p a r t i a l d o w n l o a d c a s e . I n a d d i t i o n ,

o t h e r a p p l i c a t i o n s o f R e f e r e n c e S t a t i s t i c s c o u l d b e e x p l o r e d , s u c h a s g e n e r a t i o n

c o m p a r a b l e r e l e v a n c e s c o r e s o n t h e s e r v e r s i d e r a t h e r t h a n t h e c l i e n t s i d e , o r u s e

i n q u e r y d r i v e n a u t o m a t i c h y p e r t e x t n a v i g a t i o n .

A c k n o w l e d g e m e n t s

T h a n k s t o R i c h a r d W a l k e r f o r T

E

X s u p p o r t a n d t o N I S T f o r T R E C r e s o u r c e s .

R e f e r e n c e s

C a l l a n e t a l . , 1 9 9 5 ] C a l l a n , J a m e s P . , L u , Z i h o n g , a n d C r o f t , W . B r u c e ( 1 9 9 5 ) .

S e a r c h i n g d i s t r i b u t e d c o l l e c t i o n s w i t h i n f e r e n c e n e t w o r k s . I n F o x e t a l . , 1 9 9 5 ] ,

p a g e s 1 2 { 2 0 .

D r e i l i n g e r a n d H o w e , 1 9 9 7 ] D r e i l i n g e r , D a n i e l a n d H o w e , A d e l e E . ( 1 9 9 7 ) . E x -

p e r i e n c e s w i t h s e l e c t i n g s e a r c h e n g i n e s u s i n g m e t a s e a r c h . A C M T r a n s a c t i o n s

o n I n f o r m a t i o n S y s t e m s , 1 5 ( 3 ) : 1 9 5 { 2 2 2 .

F o x e t a l . , 1 9 9 5 ] F o x , E d w a r d A . , I n g w e r s e n , P e t e r , a n d F i d e l , R a y a , e d i t o r s

( 1 9 9 5 ) . P r o c e e d i n g s o f A C M S I G I R ' 9 5 , S e a t t l e , W a s h i n g t o n . A C M P r e s s .

G a u c h e t a l . , 1 9 9 6 ] G a u c h , S u s a n , W a n g , G u i j u n , a n d G o m e z , M a r i o ( 1 9 9 6 ) .

P r o F u s i o n * : I n t e l l i g e n t f u s i o n f r o m m u l t i p l e , d i s t r i b u t e d s e a r c h e n g i n e s . T h e

J o u r n a l o f U n i v e r s a l C o m p u t e r S c i e n c e , 2 ( 9 ) : 6 3 7 { 6 4 9 .

G r a v a n o e t a l . , 1 9 9 7 ] G r a v a n o , L u i s , C h a n g , K e v i n , G a r c i a - M o l i n a , H e c t o r ,

L a g o z e , C a r l , a n d P a e p c k e , A n d r e a s ( 1 9 9 7 ) . S T A R T S - S t a n f o r d p r o t o c o l

p r o p o s a l f o r i n t e r n e t r e t r i e v a l a n d s e a r c h . h t t p : / / w w w - d b . s t a n f o r d . e d u /

~ g r a v a n o / s t a r t s . h t m l .

H a r m a n , 1 9 9 2 ] H a r m a n , D o n n a ( 1 9 9 2 ) . R a n k i n g a l g o r i t h m s . I n I n f o r m a t i o n

R e t r i e v a l . D a t a S t r u c t u r e s a n d A l g o r i t h m s , c h a p t e r 1 4 , p a g e s 3 6 3 { 3 9 2 . P r e n t i c e

H a l l , U p p e r S a d d l e R i v e r , N J .


12/12

H a w k i n g a n d T h i s t l e w a i t e , 1 9 9 8 ] H a w k i n g , D a v i d a n d T h i s t l e w a i t e , P a u l

( 1 9 9 8 ) . M e t h o d s f o r i n f o r m a t i o n s e r v e r s e l e c t i o n . A c c e p t e d b y A C M T O I S

A p r i l 9 8 .

H a w k i n g e t a l . , 1 9 9 7 ] H a w k i n g , D a v i d , T h i s t l e w a i t e , P a u l , a n d C r a s w e l l , N i c k

( 1 9 9 7 ) . A N U / A C S y s T R E C - 6 e x p e r i m e n t s . I n V o o r h e e s a n d H a r m a n , 1 9 9 7 ] ,

p a g e s 2 7 5 { 2 9 0 .

K i r s c h , 1 9 9 7 ] K i r s c h , S t e v e n T . ( 1 9 9 7 ) . D i s t r i b u t e d s e a r c h p a t e n t . U . S . P a t e n t

5 , 6 5 9 , 7 3 2 . I n f o s e e k C o r p o r a t i o n .

K r e s t e r e t a l . , 1 9 9 8 ] K r e s t e r , D e , M o a t , S h i m m i n , a n d Z o b e l ( 1 9 9 8 ) . M e t h o d -

o l o g i e s f o r d i s t r i b u t e d i n f o r m a t i o n r e t r i e v a l . I n P r o c e e d i n g s o f t h e 1 8 t h I n t e r -

n a t i o n a l C o n f e r e n c e o n D i s t r i b u t e d C o m p u t i n g S y s t e m s .

L a w r e n c e a n d G i l e s , 1 9 9 8 ] L a w r e n c e , S t e v e a n d G i l e s , C L e e ( 1 9 9 8 ) . I n q u i r u s ,

t h e N E C I m e t a s e a r c h e n g i n e . I n P r o c e e d i n g s o f t h e S e v e n t h I n t e r n a t i o n a l

W o r l d W i d e W e b C o n f e r e n c e .

M a z u r , 1 9 9 4 ] M a z u r , Z y g m u n t ( 1 9 9 4 ) . M o d e l s o f a d i s t r i b u t e d i n f o r m a t i o n

r e t r i e v a l s y s t e m b a s e d o n t h e s a u r i w i t h w e i g h t s . I n f o r m a t i o n p r o c e s s i n g &

m a n a g e m e n t . , 3 0 ( 1 ) : 6 1 .

S e l b e r g a n d E t z i o n i , 1 9 9 5 ] S e l b e r g , E . a n d E t z i o n i , O . ( 1 9 9 5 ) . M u l t i - s e r v i c e

s e a r c h a n d c o m p a r i s o n u s i n g t h e M e t a C r a w l e r . I n P r o c e e d i n g s o f t h e 1 9 9 5

W o r l d W i d e W e b C o n f e r e n c e .

S m e a t o n a n d C r i m m i n s , 1 9 9 6 ] S m e a t o n , A l a n F . a n d C r i m m i n s , F r a n c i s

( 1 9 9 6 ) . U s i n g A d a t a f u s i o n a g e n t f o r s e a r c h i n g t h e W W W .

V i l e s a n d F r e n c h , 1 9 9 5 ] V i l e s , C h a r l e s L . a n d F r e n c h , J a m e s C . ( 1 9 9 5 ) . D i s -

s e m i n a t i o n o f c o l l e c t i o n w i d e i n f o r m a t i o n i n a d i s t r i b u t e d i n f o r m a t i o n r e t r i e v a l

s y s t e m . I n F o x e t a l . , 1 9 9 5 ] , p a g e s 1 2 { 2 0 .

V o o r h e e s , 1 9 9 5 ] V o o r h e e s , E l l e n M . ( 1 9 9 5 ) . S i e m e n s T R E C - 4 r e p o r t : F u r t h e r

e x p e r i m e n t s w i t h d a t a b a s e m e r g i n g . I n H a r m a n , D . K . , e d i t o r , P r o c . F o u r t h

T e x t R e t r i e v a l C o n f e r e n c e ( T R E C - 4 ) , p a g e s 1 2 1 { 1 3 0 , G a i t h e r s b u r g , M D . U . S .

N a t i o n a l I n s t i t u t e o f S t a n d a r d s a n d T e c h n o l o g y .

V o o r h e e s a n d H a r m a n , 1 9 9 7 ] V o o r h e e s , E . M . a n d H a r m a n , D . K . , e d i t o r s

( 1 9 9 7 ) . P r o c e e d i n g s o f t h e S i x t h T e x t R e t r i e v a l C o n f e r e n c e ( T R E C - 6 ) ,

G a i t h e r s b u r g , M D . U . S . N a t i o n a l I n s t i t u t e o f S t a n d a r d s a n d T e c h n o l o g y .

W a l c z u c h e t a l . , 1 9 9 4 ] W a l c z u c h , N i k o l a u s , F u h r , N o r b e r t , P o l l m a n n , M i c h a e l ,

a n d S i e v e r s , B i r g i t ( 1 9 9 4 ) . R o u t i n g a n d a d - h o c r e t r i e v a l w i t h t h e t r e c - 3 c o l l e c -

t i o n i n a d i s t r i b u t e d l o o s e l y f e d e r a t e d e n v i r o n m e n t . I n H a r m a n , D . K . , e d i t o r ,

P r o c e e d i n g s o f t h e T h i r d T e x t R e t r i e v a l C o n f e r e n c e ( T R E C - 3 ) , p a g e s 1 3 5 { 1 4 4 ,

G a i t h e r s b u r g , M D . U . S . N a t i o n a l I n s t i t u t e o f S t a n d a r d s a n d T e c h n o l o g y . N I S T

s p e c i a l p u b l i c a t i o n 5 0 0 - 2 2 5 .

W a l k e r e t a l . , 1 9 9 7 ] W a l k e r , S , R o b e r t s o n , S E , B o u g h a n e m , M , J o n e s , G J F ,

a n d S p a r c k - J o n e s , K ( 1 9 9 7 ) . O k a p i a t T R E C - 6 . I n V o o r h e e s a n d H a r m a n ,

1 9 9 7 ] .

Y u w o n o a n d L e e , 1 9 9 7 ] Y u w o n o , B u d i a n d L e e , D i k L . ( 1 9 9 7 ) . S e r v e r r a n k -

i n g f o r d i s t r i b u t e d t e x t r e t r i e v a l s y s t e m s o n t h e i n t e r n e t . I n T o p o r , R o d n e y

a n d T a n a k a , K a t s u m i , e d i t o r s , D A S F A A ' 9 7 , p a g e s 4 1 { 4 9 , M e l b o u r n e . W o r l d

S c i e n t i c , S i n g a p o r e .

craswell adc99

Documents