$discovery driven sarawagi 10.1.1.40.9152

7/27/2019 $Discovery Driven Sarawagi 10.1.1.40.9152

1/15

D i s c o v e r y - d r i v e n E x p l o r a t i o n o f O L A P D a t a

C u b e s

?

S u n i t a S a r a w a g i R a k e s h A g r a w a l N i m r o d M e g i d d o

I B M A l m a d e n R e s e a r c h C e n t e r , 6 5 0 H a r r y R o a d , S a n J o s e , C A 9 5 1 2 0 , U S A

A b s t r a c t . A n a l y s t s p r e d o m i n a n t l y u s e O L A P d a t a c u b e s t o i d e n t i f y

r e g i o n s o f a n o m a l i e s t h a t m a y r e p r e s e n t p r o b l e m a r e a s o r n e w o p p o r t u -

n i t i e s . T h e c u r r e n t O L A P s y s t e m s s u p p o r t h y p o t h e s i s - d r i v e n e x p l o r a t i o n

o f d a t a c u b e s t h r o u g h o p e r a t i o n s s u c h a s d r i l l - d o w n , r o l l - u p , a n d s e l e c -

t i o n . U s i n g t h e s e o p e r a t i o n s , a n a n a l y s t n a v i g a t e s u n a i d e d t h r o u g h a

h u g e s e a r c h s p a c e l o o k i n g a t l a r g e n u m b e r o f v a l u e s t o s p o t e x c e p t i o n s .

W e p r o p o s e a n e w d i s c o v e r y - d r i v e n e x p l o r a t i o n p a r a d i g m t h a t m i n e s t h e

d a t a f o r s u c h e x c e p t i o n s a n d s u m m a r i z e s t h e e x c e p t i o n s a t a p p r o p r i a t e

l e v e l s i n a d v a n c e . I t t h e n u s e s t h e s e e x c e p t i o n s t o l e a d t h e a n a l y s t t o i n -

t e r e s t i n g r e g i o n s o f t h e c u b e d u r i n g n a v i g a t i o n . W e p r e s e n t t h e s t a t i s t i c a l

f o u n d a t i o n u n d e r l y i n g o u r a p p r o a c h . W e t h e n d i s c u s s t h e c o m p u t a t i o n a l

i s s u e o f n d i n g e x c e p t i o n s i n d a t a a n d m a k i n g t h e p r o c e s s e c i e n t o n

l a r g e m u l t i d i m e n s i o n a l d a t a b a s e s .

1 I n t r o d u c t i o n

O n - L i n e A n a l y t i c a l P r o c e s s i n g ( O L A P ) c h a r a c t e r i z e s t h e o p e r a t i o n s o f s u m m a -

r i z i n g , c o n s o l i d a t i n g , v i e w i n g , a p p l y i n g f o r m u l a e t o , a n d s y n t h e s i z i n g d a t a a l o n g

m u l t i p l e d i m e n s i o n s . O L A P s o f t w a r e h e l p s a n a l y s t s a n d m a n a g e r s g a i n i n s i g h t

i n t o t h e p e r f o r m a n c e o f a n e n t e r p r i s e t h r o u g h a w i d e v a r i e t y o f v i e w s o f d a t a

o r g a n i z e d t o r e e c t t h e m u l t i d i m e n s i o n a l n a t u r e o f e n t e r p r i s e d a t a C o l 9 5 ] . A n

i n c r e a s i n g l y p o p u l a r d a t a m o d e l f o r O L A P a p p l i c a t i o n s i s t h e m u l t i d i m e n s i o n a l

d a t a b a s e O L A 9 6 ] A G S 9 7 ] , a l s o k n o w n a s t h e d a t a c u b e G B L P 9 6 ] . A d a t a c u b e

c o n s i s t s o f t w o k i n d s o f a t t r i b u t e s : m e a s u r e s a n d d i m e n s i o n s . T h e s e t o f d i m e n -

s i o n s c o n s i s t s o f a t t r i b u t e s l i k e p r o d u c t n a m e s a n d s t o r e n a m e s t h a t t o g e t h e r

f o r m a k e y . T h e m e a s u r e s a r e t y p i c a l l y n u m e r i c a t t r i b u t e s l i k e s a l e s v o l u m e s a n d

p r o t . D i m e n s i o n s u s u a l l y h a v e a s s o c i a t e d w i t h t h e m h i e r a r c h i e s t h a t s p e c i f y

a g g r e g a t i o n l e v e l s . F o r i n s t a n c e , s t o r e n a m e ! c i t y ! s t a t e i s a h i e r a r c h y o n

t h e s t o r e d i m e n s i o n a n d U P C c o d e ! t y p e ! c a t e g o r y i s a h i e r a r c h y o n t h e

p r o d u c t d i m e n s i o n .

H y p o t h e s i s - d r i v e n E x p l o r a t i o n A b u s i n e s s a n a l y s t w h i l e i n t e r a c t i v e l y e x -

p l o r i n g t h e O L A P d a t a c u b e i s o f t e n l o o k i n g f o r r e g i o n s o f a n o m a l i e s . T h e s e

a n o m a l i e s m a y l e a d t o i d e n t i c a t i o n o f p r o b l e m a r e a s o r n e w o p p o r t u n i t i e s . T h e

e x p l o r a t i o n t y p i c a l l y s t a r t s a t t h e h i g h e s t l e v e l o f h i e r a r c h i e s o f t h e c u b e d i m e n -

s i o n . F u r t h e r , n a v i g a t i o n o f t h e c u b e i s d o n e u s i n g a s e q u e n c e o f \ d r i l l - d o w n "

?

T h i s i s a n a b r i d g e d v e r s i o n o f t h e f u l l p a p e r t h a t a p p e a r s i n S A M 9 8 ] .


2/15

( z o o m i n g i n t o m o r e d e t a i l e d l e v e l s o f h i e r a r c h i e s ) , \ r o l l - u p " ( z o o m i n g o u t t o

l e s s d e t a i l e d l e v e l s ) a n d \ s e l e c t i o n " ( c h o o s i n g a s u b s e t o f d i m e n s i o n m e m b e r s )

o p e r a t i o n s . F r o m t h e h i g h e s t l e v e l o f t h e h i e r a r c h y , t h e a n a l y s t d r i l l s - d o w n t o t h e

l o w e r l e v e l s o f h i e r a r c h i e s b y l o o k i n g a t t h e a g g r e g a t e d v a l u e s a n d v i s u a l l y i d e n -

t i f y i n g i n t e r e s t i n g v a l u e s t o f o l l o w . T h u s , d r i l l i n g - d o w n t h e p r o d u c t d i m e n s i o n

f r o m p r o d u c t c a t e g o r y t o p r o d u c t t y p e m a y l e a d t o p r o d u c t t y p e s w h o s e s a l e

e x h i b i t e d s o m e a n o m a l o u s b e h a v i o r . A f u r t h e r d r i l l d o w n m a y l e a d t o i n d i v i d u a l

p r o d u c t U P C c o d e s c a u s i n g t h i s a n o m a l y . I f a n e x p l o r a t i o n a l o n g a p a t h d o e s

n o t l e a d t o i n t e r e s t i n g r e s u l t s , t h e a n a l y s t r o l l s - u p t h e p a t h a n d s t a r t s p u r s u i n g

a n o t h e r b r a n c h . A r o l l - u p m a y l e a d t o t h e t o p - l e v e l o f h i e r a r c h y a n d t h e n f u r t h e r

d r i l l - d o w n m a y c o n t i n u e a l o n g a n o t h e r d i m e n s i o n .

T h i s \ h y p o t h e s i s - d r i v e n " e x p l o r a t i o n f o r a n o m a l i e s h a s s e v e r a l s h o r t c o m i n g s .

T h e s e a r c h s p a c e i s v e r y l a r g e | t y p i c a l l y , a c u b e h a s 5 { 8 d i m e n s i o n s , e a c h d i -

m e n s i o n h a s a h i e r a r c h y t h a t i s 2 { 8 l e v e l s d e e p a n d e a c h l e v e l o f t h e h i e r a r c h y

h a s t e n t o h u n d r e d s o f m e m b e r s C o l 9 5 ] . S i m p l y l o o k i n g a t d a t a a g g r e g a t e d a t

v a r i o u s l e v e l s o f d e t a i l s t o h u n t d o w n a n a n o m a l y t h a t c o u l d b e o n e o f s e v e r a l

m i l l i o n v a l u e s h i d d e n i n d e t a i l e d d a t a i s a d a u n t i n g t a s k . F u r t h e r m o r e , t h e h i g h e r

l e v e l a g g r e g a t i o n s f r o m w h e r e a n a n a l y s t s t a r t s m a y n o t e v e n b e a e c t e d b y a n

a n o m a l y o c c u r i n g u n d e r n e a t h e i t h e r b e c a u s e o f c a n c e l l a t i o n o f m u l t i p l e e x c e p -

t i o n s o r b e c a u s e o f t h e l a r g e a m o u n t o f d a t a a g g r e g a t e d . E v e n i f o n e i s v i e w i n g

d a t a a t t h e s a m e l e v e l o f d e t a i l a s w h e r e t h e a n o m a l y o c c u r s , i t m i g h t b e h a r d

t o n o t i c e t h e e x c e p t i o n b e c a u s e o f l a r g e n u m b e r o f v a l u e s .

D i s c o v e r y - d r i v e n E x p l o r a t i o n W e p r o p o s e a n e w \ d i s c o v e r y - d r i v e n " m e t h o d

o f d a t a e x p l o r a t i o n w h e r e a n a n a l y s t ' s s e a r c h f o r a n o m a l i e s i s g u i d e d b y p r e -

c o m p u t e d i n d i c a t o r s o f e x c e p t i o n s a t v a r i o u s l e v e l s o f d e t a i l i n t h e c u b e . T h i s

i n c r e a s e s t h e c h a n c e s o f u s e r n o t i c i n g a b n o r m a l p a t t e r n s i n t h e d a t a a t a n y l e v e l

o f a g g r e g a t i o n .

W e p r e s e n t a f o r m a l n o t i o n o f e x c e p t i o n s . I n t u i t i v e l y , w e c o n s i d e r a v a l u e i n a

c e l l o f a d a t a c u b e t o b e a n e x c e p t i o n i f i t i s s i g n i c a n t l y d i e r e n t f r o m t h e v a l u e

a n t i c i p a t e d b a s e d o n a s t a t i s t i c a l m o d e l . T h i s m o d e l c o m p u t e s t h e a n t i c i p a t e d

v a l u e o f a c e l l i n c o n t e x t o f i t s p o s i t i o n i n t h e d a t a c u b e a n d c o m b i n e s t r e n d s

a l o n g d i e r e n t d i m e n s i o n s t h a t t h e c e l l b e l o n g s t o . T h u s , f o r i n s t a n c e , a l a r g e

i n c r e a s e i n s a l e s i n d e c e m b e r m i g h t a p p e a r e x c e p t i o n a l w h e n l o o k i n g a t t h e t i m e

d i m e n s i o n b u t w h e n l o o k i n g a t t h e o t h e r d i m e n s i o n s l i k e p r o d u c t t h i s i n c r e a s e

w i l l n o t a p p e a r e x c e p t i o n a l i f o t h e r p r o d u c t s a l s o h a d s i m i l a r i n c r e a s e . T h e m o d e l

a l l o w s e x c e p t i o n s t o b e f o u n d a t a l l l e v e l s o f a g g r e g a t i o n .

W e p r e s e n t c o m p u t a t i o n t e c h n i q u e s t h a t m a k e t h e p r o c e s s o f n d i n g e x c e p -

t i o n s e c i e n t f o r l a r g e O L A P d a t a s e t s . O u r t e c h n i q u e s u s e t h e s a m e k i n d o f

d a t a s c a n o p e r a t i o n s a s r e q u i r e d f o r c u b e a g g r e g a t e c o m p u t a t i o n A A D

+

9 6 ] a n d

t h u s e n a b l e s o v e r l a p o f e x c e p t i o n n d i n g w i t h r o u t i n e a g g r e g a t e p r e c o m p u t a t i o n .

T h e s e t e c h n i q u e s r e c o g n i z e t h a t t h e d a t a m a y b e t o o l a r g e t o t i n m a i n m e m -

o r y a n d i n t e r m e d i a t e r e s u l t s m a y h a v e t o b e w r i t t e n t o d i s k r e q u i r i n g c a r e f u l

o p t i m i z a t i o n .

P a p e r l a y o u t T h e p a p e r i s o r g a n i z e d a s f o l l o w s . I n S e c t i o n 2 w e d e m o n s t r a t e

a s c e n a r i o o f t h e u s e o f o u r p r o p o s e d m e t h o d . S e c t i o n 3 g i v e s t h e s t a t i s t i c a l


3/15

m o d e l w e u s e t o c o m p u t e t h e a n t i c i p a t e d v a l u e o f a c e l l a n d t h e r a t i o n a l e f o r

c h o o s i n g t h i s m o d e l . C o m p u t a t i o n t e c h n i q u e s a r e d i s c u s s e d i n S e c t i o n 4 . R e f e r

t o S A M 9 8 ] f o r s o m e p e r f o r m a n c e r e s u l t s a n d e x p e r i e n c e w i t h r e a l - l i f e d a t a s e t s

t h a t i l l u s t r a t e s t h e e e c t i v e n e s s o f t h e p r o p o s e d a p p r o a c h . W e c o n c l u d e w i t h a

s u m m a r y a n d d i r e c t i o n s f o r f u t u r e w o r k i n S e c t i o n 5 .

2 A n I l l u s t r a t i v e E x a m p l e

W e i l l u s t r a t e o u r p r o p o s e d m e t h o d u s i n g a n e x a m p l e s e s s i o n w i t h o u r p r o t o t y p e

i m p l e m e n t a t i o n . T h i s p r o t o t y p e u s e s t h e M i c r o s o f t E x c e l s p r e a d s h e e t , e x t e n d e d

w i t h a p p r o p r i a t e m a c r o s , a s t h e f r o n t - e n d f o r u s e r - i n t e r a c t i o n . T h e b a c k e n d i s

t h e w e l l - k n o w n O L A P p r o d u c t , A r b o r E s s b a s e A r b ] t h a t c o m p u t e s a n d s t o r e s

t h e e x c e p t i o n s u s i n g t h e t e c h n i q u e s w e p r e s e n t i n S e c t i o n s 3 a n d 4 .

T o k e e p t h e e x a m p l e b r i e f , w e w i l l c o n s i d e r a t h r e e - d i m e n s i o n a l d a t a c u b e

w i t h d i m e n s i o n s P r o d u c t , M a r k e t , a n d T i m e . T h e r e i s a h i e r a r c h y M a r k e t !

R e g i o n ! A L L o n t h e M a r k e t d i m e n s i o n . T h e d a t a f o r t h i s c u b e i s t a k e n f r o m

a s a m p l e O L A P d a t a b a s e d i s t r i b u t e d w i t h E s s b a s e A r b ] .

W e a n n o t a t e e v e r y c e l l i n a l l p o s s i b l e a g g r e g a t i o n s o f a d a t a c u b e w i t h a

v a l u e t h a t i n d i c a t e s t h e d e g r e e o f \ s u r p r i s e " t h a t t h e q u a n t i t y i n t h e c e l l h o l d s .

T h e s u r p r i s e v a l u e c a p t u r e s h o w a n o m a l o u s a q u a n t i t y i n a c e l l i s w i t h r e s p e c t t o

o t h e r c e l l s . T h e s u r p r i s e v a l u e o f a c e l l i s a c o m p o s i t e o f t h e f o l l o w i n g t h r e e v a l u e s

( w e g i v e d e n i t i o n s a n d d i s c u s s h o w t h e s e v a l u e s a r e d e t e r m i n e d i n S e c t i o n 3 ) :

1 S e l f E x p : r e p r e s e n t s t h e s u r p r i s e v a l u e o f t h e c e l l r e l a t i v e t o o t h e r c e l l s a t t h e

s a m e l e v e l o f a g g r e g a t i o n .

2 I n E x p : r e p r e s e n t s t h e d e g r e e o f s u r p r i s e s o m e w h e r e b e n e a t h t h i s c e l l i f w e

d r i l l d o w n f r o m t h e c e l l .

3 P a t h E x p : r e p r e s e n t s t h e d e g r e e o f s u r p r i s e f o r e a c h d r i l l - d o w n p a t h f r o m t h e

c e l l .

Product (All )

Region (All)

Sum of Sales MonthJan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec

Total 2% 0% 2% 2% 4% 3% 0% -8% 0% -3% 4%

F i g u r e 1 . C h a n g e i n s a l e s o v e r t i m e

C o n s i d e r a u s e r l o o k i n g a t t h e m o n t h l y s a l e s a s a p e r c e n t a g e d i e r e n c e f r o m

t h e p r e v i o u s m o n t h . S u p p o s e t h e u s e r s t a r t s b y v i e w i n g t h e d a t a a g g r e g a t e d o v e r

a l l p r o d u c t s a n d m a r k e t s f o r d i e r e n t m o n t h s o f t h e y e a r a s s h o w n i n F i g u r e 1 .

T o n d o u t w h a t p a r t s o f t h e c u b e m a y b e w o r t h y o f e x p l o r i n g f u r t h e r i n

t e r m s o f e x c e p t i o n s , t h e u s e r i n v o k e s a \ h i g h l i g h t e x c e p t i o n s " b u t t o n t h a t

c o l o r s t h e b a c k g r o u n d o f e a c h c e l l b a s e d o n i t s S e l f E x p v a l u e . I n a d d i t i o n , e a c h

c e l l i s s u r r o u n d e d w i t h a d i e r e n t c o l o r e d b o x b a s e d o n t h e I n E x p v a l u e . I n

4/15

Region (All)

Avg.Sales Month

Product Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec

Birch-B 10% -7% 3% -4% 15% -12% -3% 1% 42% -14% -10%Chery-S 1% 1% 4% 3% 5% 5% -9% -12% 1% -5% 5%

Cola -1% 2% 3% 4% 9% 4% 1% -11% -8% -2% 7%

Cream-S 3% 1% 6% 3% 3% 8% -3% -12% -2% 1% 10%

Diet-B 1% 1% -1% 2% 1% 2% 0% -6% -1% -4% 2%

Diet-C 3% 2% 5% 2% 4% 7% -7% -12% -2% -2% 8%

Diet-S 2% -1% 0% 0% 4% 2% 4% -9% 5% -3% 0%

Grape-S 1% 1% 0% 4% 5% 1% 3% -9% -1% -8% 4%

Jolt-C -1% -4% 2% 2% 0% -4% 2% 6% -2% 0% 0%

Kiwi-S 2% 1% 4% 1% -1% 3% -1% -4% 4% 0% 1%

Old-B 4% -1% 0% 1% 5% 2% 7% -10% 3% -3% 1%

Orang-S 1% 1% 3% 4% 2% 1% -1% -1% -6% -4% 9%

Sasprla -1% 2% 1% 3% -3% 5% -10% -2% -1% 1% 5%

F i g u r e 2 . C h a n g e i n s a l e s o v e r t i m e f o r e a c h p r o d u c t

b o t h c a s e s , t h e i n t e n s i t y o f t h e c o l o r i s v a r i e d w i t h t h e d e g r e e o f e x c e p t i o n . I n

F i g u r e 1 , t h e m o n t h s w i t h a t h i c k b o x a r o u n d t h e m h a v e a h i g h I n E x p v a l u e

a n d t h u s n e e d t o b e d r i l l e d d o w n f u r t h e r f o r e x c e p t i o n s u n d e r n e a t h t h e m . D a r k e r

b o x e s ( e . g . , a r o u n d \ A u g " , \ S e p " a n d \ O c t " ) i n d i c a t e h i g h e r v a l u e s o f I n E x p

t h a n t h e l i g h t e r b o x e s ( e . g . , a r o u n d \ F e b " a n d \ N o v " ) .

T h e r e a r e t w o p a t h s t h e u s e r m a y d r i l l d o w n a l o n g f r o m h e r e : P r o d u c t a n d

R e g i o n . T o e v a l u a t e w h i c h o f t h e s e p a t h s h a s m o r e e x c e p t i o n s , t h e u s e r s e l e c t s a

c e l l o f i n t e r e s t a n d i n v o k e s a \ p a t h e x c e p t i o n " m o d u l e t h a t c o l o r s e a c h a g g r e -

g a t e d d i m e n s i o n b a s e d o n t h e s u r p r i s e v a l u e a l o n g t h a t p a t h . T h e s e a r e b a s e d

o n t h e P a t h E x p v a l u e s o f t h e c e l l . I n F i g u r e 1 ( t o p - l e f t p a r t ) t h e p a t h a l o n g d i -

m e n s i o n P r o d u c t h a s m o r e s u r p r i s e t h a n a l o n g R e g i o n i n d i c a t e d b y d a r k e r c o l o r .

D r i l l i n g - d o w n a l o n g P r o d u c t y i e l d s 1 4 3 d i e r e n t s a l e s v a l u e s c o r r e s p o n d i n g t o

d i e r e n t P r o d u c t - T i m e c o m b i n a t i o n s a s s h o w n i n F i g u r e 2 . I n s t e a d o f t r y i n g t o

n d t h e e x c e p t i o n s b y m a n u a l i n s p e c t i o n , t h e u s e r c a n c l i c k o n t h e \ h i g h l i g h t

e x c e p t i o n " b u t t o n t o q u i c k l y i d e n t i f y t h e e x c e p t i o n a l v a l u e s . I n t h i s g u r e ,

t h e r e a r e a f e w c e l l s w i t h h i g h S e l f E x p v a l u e s a n d t h e s e a p p e a r a s c e l l s w i t h a

d i e r e n t b a c k g r o u n d s h a d e t h a n t h e n o r m a l o n e s ( d a r k e r s h a d e s i n d i c a t e h i g h e r

s u r p r i s e ) . F o r i n s t a n c e , s a l e s o f \ B i r c h - B ( e e r ) " s h o w s a n e x c e p t i o n a l d i e r e n c e

o f 4 2 % i n t h e m o n t h o f \ O c t " . I n a d d i t i o n , t h r e e o t h e r c e l l s a r e a l s o i n d i c a t e d t o

h a v e l a r g e S e l f E x p v a l u e s a l t h o u g h t h e s a l e s v a l u e s t h e m s e l v e s ( 6 % f o r < J o l t - C ,

S e p > , - 1 2 % f o r a n d - 1 0 % f o r ) a r e n o t e x c e p -

t i o n a l l y l a r g e w h e n c o m p a r e d w i t h a l l t h e o t h e r c e l l s . T h e r e a s o n w h y t h e s e c e l l s

a r e m a r k e d a s e x c e p t i o n s w i l l b e e x p l a i n e d i n S e c t i o n 3 .

F i g u r e 2 a l s o s h o w s s o m e c e l l s w i t h l a r g e I n E x p v a l u e s a s i n d i c a t e d b y t h e

t h i c k b o x e s a r o u n d t h e m . T h e h i g h e s t I n E x p v a l u e s a r e f o r P r o d u c t \ D i e t -

S ( o d a ) " i n t h e m o n t h s o f \ A u g " a n d \ O c t " . T h e u s e r m a y t h e r e f o r e c h o o s e t o

e x p l o r e f u r t h e r d e t a i l s f o r \ D i e t - S o d a " b y d r i l l i n g d o w n a l o n g R e g i o n . F i g u r e 3

s h o w s t h e s a l e s g u r e s f o r \ D i e t - S o d a " i n d i e r e n t R e g i o n s . B y h i g h l i g h t i n g


5/15

Product Diet-S

Avg.Sales Month

Region Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec

C 0% -2% 0% 1% 4% 1% 5% -6% 2% -2% -2%

E 0% 2% -8% 7% 0% 5% -40% 10% -33% 2% 8%

S 0% -1% 3% -2% 2% -2% 19% -1% 12% -1% 0%

W 5% 1% 0% -2% 6% 6% 2% -17% 9% -7% 2%

F i g u r e 3 . C h a n g e i n s a l e s o f P r o d u c t \ D i e t - S o d a " o v e r t i m e i n e a c h R e g i o n

e x c e p t i o n s i n t h i s p l a n e , t h e u s e r n o t i c e s t h a t i n R e g i o n \ E " ( f o r E a s t e r n ) ,

t h e s a l e s o f \ D i e t - S o d a " h a s d e c r e a s e d b y a n e x c e p t i o n a l l y h i g h v a l u e o f 4 0 %

a n d 3 3 % i n t h e m o n t h s o f \ A u g " a n d \ O c t " r e s p e c t i v e l y . N o t i c e t h a t t h e s a l e s

o f \ D i e t - S o d a " i n t h e P r o d u c t - T i m e p l a n e a g g r e g a t e d o v e r d i e r e n t R e g i o n s

( F i g u r e 2 ) g i v e s l i t t l e i n d i c a t i o n o f t h e s e h i g h e x c e p t i o n s i n t h e R e g i o n - P r o d u c t -

T i m e s p a c e . T h i s s h o w s h o w t h e I n E x p v a l u e a t h i g h e r l e v e l c e l l s m a y b e v a l u a b l e

i n r e a c h i n g a t e x c e p t i o n s i n l o w e r l e v e l c e l l s .

Market (All)

Product Cola

Avg.Sales MonthRegion Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec

C 3% 1% 4% 1% 4% 10% -11% -14% -3% 5% 11%

E -3% 3% 4% 4% 13% 2% 0% -10% -13% -3% 8%

S 2% -1% 1% 9% 6% 3% 21% -15% 1% -5% 4%

W -2% 2% 2% 4% 12% 1% 1% -9% -11% -4% 6%

F i g u r e 4 . C h a n g e i n s a l e s o v e r T i m e f o r P r o d u c t \ C o l a " i n d i e r e n t R e g i o n

T h e r e a r e n o o t h e r c e l l s w i t h h i g h I n E x p i n F i g u r e 3 . T h e r e f o r e , t h e u s e r m a y

s t o p d r i l l i n g d o w n a n d g o b a c k t o t h e P r o d u c t - T i m e p l a n e o f F i g u r e 2 t o e x p l o r e

o t h e r c e l l s w i t h h i g h I n E x p . S u p p o s e , h e c h o o s e s t o d r i l l - d o w n a l o n g P r o d u c t

\ C o l a " i n \ A u g " . F i g u r e 4 s h o w s t h e e x c e p t i o n s f o r \ C o l a " a f t e r d r i l l i n g d o w n

a l o n g R e g i o n . T h e \ C e n t r a l " R e g i o n h a s a l a r g e I n E x p a n d m a y b e d r i l l e d d o w n

f u r t h e r , r e v e a l i n g t h e S e l f E x p v a l u e s i n t h e M a r k e t - t i m e p l a n e f o r \ C o l a " .

3 D e n i n g e x c e p t i o n s

I n t u i t i v e l y , a v a l u e i n a c e l l o f a d a t a c u b e i s a n e x c e p t i o n i f i t i s s u r p r i s i n g .

T h e r e c o u l d b e s e v e r a l i n t e r p r e t a t i o n s o f t h i s n o t i o n . W e p r e s e n t t h e a p p r o a c h

w e u s e . I n S A M 9 8 ] w e d i s c u s s t h e a l t e r n a t i v e s w e c o n s i d e r e d b e f o r e d e c i d i n g o n

o u r a p p r o a c h .

6/15

Product Birch-B

Region E

Sum of Sales Month

State Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec

Massachusetts 0% - 4% 0% -8% 0% - 2% 0% 7% 35% -14% -16%New-Hampshire 5% 10% -13% 17% 3% 14% -27% -17% 57% -11% -41%

New-York 18% -10% 8% -4% 24% -19% -1% 1% 44% -15% - 3%

F i g u r e 5 . C h a n g e i n s a l e s o v e r T i m e f o r P r o d u c t \ B i r c h - B "

O u r c h o i c e o f e x c e p t i o n m o d e l w a s m o t i v a t e d b y t h e f o l l o w i n g d e s i d e r a t a :

1 . W e n e e d t o c o n s i d e r v a r i a t i o n a n d p a t t e r n s i n t h e m e a s u r e v a l u e a c r o s s

a l l d i m e n s i o n s t h a t a c e l l b e l o n g s t o . T h i s h e l p s u s n d v a l u e s t h a t a r e

e x c e p t i o n a l w i t h i n t h e c o n t e x t o f a p a r t i c u l a r a g g r e g a t i o n . I t i s n o t e n o u g h

t o s i m p l y t r e a t t h e v a l u e s i n a c u b e a s a a t s e t a n d c a l l e x t r e m e v a l u e s

i n t h e s e t a s e x c e p t i o n s . F o r i n s t a n c e , c o n s i d e r t h e e x a m p l e d a t a c u b e f r o m

F i g u r e 2 . I f w e i g n o r e d c e l l p o s i t i o n s , p o s s i b l y o n l y w o u l d

b e m a r k e d a s a n e x c e p t i o n . H o w e v e r , w e i d e n t i f y s e v e r a l o t h e r e x c e p t i o n s .

I n t e r e s t i n g l y , t h e e n t r y w i t h v a l u e - 1 0 % i s m a r k e d a s a n

e x c e p t i o n w h e r e a s e n t r y w i t h a h i g h e r v a l u e - 1 4 % i s n o t

b e c a u s e f o r t h e \ D e c " c o l u m n a l m o s t a l l o t h e r p r o d u c t h a v e a l a r g e p o s i t i v e

v a l u e w h e r e a s i n t h e \ N o v " c o l u m n m o s t o t h e r p r o d u c t s a l s o h a v e a n e g a t i v e

v a l u e . I n t h e \ S e p " c o l u m n , \ J o l t - C " h a s a r e l a t i v e l y l a r g e p o s i t i v e v a l u e

s i n c e m o s t o t h e r p r o d u c t s h a v e a n e g a t i v e v a l u e a n d i s t h e r e f o r e m a r k e d a s

a n e x c e p t i o n .

2 . W e n e e d t o n d e x c e p t i o n s a t a l l a g g r e g a t e d g r o u p - b y s o f t h e c u b e , a n d

n o t o n l y a t t h e d e t a i l e d l e v e l b e c a u s e i t s i m p l i e s e n d - u s e r c o m p r e h e n s i b i l -

i t y t h r o u g h c o n c i s e r e p r e s e n t a t i o n . F o r i n s t a n c e , h B i r c h - B , O c t i i s a n e x c e p -

t i o n a t t h e h P r o d u c t , M o n t h i g r o u p - b y ( F i g u r e 2 ) a n d t h a t m e a n s w e d o n o t

n e e d t o m a r k a s e x c e p t i o n s a l l t h e h i g h v a l u e s f o r h B i r c h - B , O c t , * i a t t h e

h P r o d u c t , M o n t h , S t a t e i g r o u p - b y ( F i g u r e 5 ) .

3 . T h e u s e r s h o u l d b e a b l e t o i n t e r p r e t t h e r e a s o n w h y c e r t a i n v a l u e s a r e m a r k e d

a s e x c e p t i o n s . A t y p i c a l O L A P u s e r i s a b u s i n e s s e x e c u t i v e , n o t n e c e s s a r i l y

a s o p h i s t i c a t e d s t a t i s t i c i a n . O u r m e t h o d t h e r e f o r e s h o u l d n o t r e q u i r e t h e

u s e r t o m a k e c h o i c e s b e t w e e n c o m p l e x s t a t i s t i c a l m o d e l s a n d t h e p r o c e s s o f

n d i n g e x c e p t i o n s s h o u l d b e f a i r l y a u t o m a t e d .

4 . T h e p r o c e d u r e f o r n d i n g e x c e p t i o n s s h o u l d b e c o m p u t a t i o n a l l y e c i e n t a n d

s c a l e f o r l a r g e d a t a s e t s c o m m o n l y f o u n d i n O L A P d a t a b a s e s . A l s o , i t s h o u l d

b e g e n e r a l i z a b l e a n d e c i e n t f o r t h e r a n g e o f d i m e n s i o n s t h a t a r e c o m m o n

i n O L A P ( t y p i c a l l y 3 t o 8 ) a n d h a n d l e h i e r a r c h i e s o n d i m e n s i o n s .

3 . 1 T h e M o d e l

C o n s i d e r r s t t h e p r o b l e m o f n d i n g e x c e p t i o n s i n t h e m o s t d e t a i l e d v a l u e s o f

t h e d a t a c u b e . W e c a l l a v a l u e a n e x c e p t i o n i f i t d i e r s s i g n i c a n t l y f r o m t h e


7/15

a n t i c i p a t e d v a l u e c a l c u l a t e d u s i n g a m o d e l t h a t t a k e s i n t o a c c o u n t a l l a g g r e g a t e s

( g r o u p - b y s ) i n w h i c h t h e v a l u e p a r t i c i p a t e s . T h i s m o d e l w a s i n s p i r e d b y t h e t a b l e

a n a l y s i s m e t h o d s H M J 8 8 ] u s e d i n t h e s t a t i s t i c a l l i t e r a t u r e .

F o r a v a l u e y

i

1

i

2

: : : i

n

i n a c u b e C a t p o s i t i o n i

r

o f t h e r t h d i m e n s i o n d

r

( 1

r n ) , w e d e n e t h e a n t i c i p a t e d v a l u e ^y

i

1

i

2

: : : i

n

a s a f u n c t i o n f o f c o n t r i b u t i o n s

f r o m v a r i o u s h i g h e r l e v e l g r o u p - b y s a s :

^y

i

1

i

2

: : : i

n

= f (

G

( i

r

j d

r

2 G )

j G f d

1

; d

2

; : : : d

n

g ) ( 1 )

W e w i l l r e f e r t o t h e t e r m s a s t h e c o e c i e n t s o f t h e m o d e l e q u a t i o n . T h e w a y

t h e s e c o e c i e n t s a r e d e r i v e d i s e x p l a i n e d i n S e c t i o n 3 . 4 . T h e d i e r e n t f u n c t i o n a l

f o r m s f u n c t i o n f c a n t a k e i s d i s c u s s e d i n S e c t i o n 3 . 3 .

W e c l a r i f y E q . 1 b y i l l u s t r a t i n g f o r t h e c a s e o f a c u b e w i t h t h r e e d i m e n s i o n s

A ; B ; C . T h e a n t i c i p a t e d v a l u e ^y

i j k

f o r t h e i t h m e m b e r o f d i m e n s i o n A , j t h

m e m b e r o f d i m e n s i o n B a n d k t h m e m b e r o f d i m e n s i o n C , i s e x p r e s s e d a s a

f u n c t i o n o f s e v e n t e r m s o b t a i n e d f r o m e a c h o f t h e s e v e n g r o u p - b y s o f t h e c u b e

a s :

^y

i j k

= f ( ;

A

i

;

B

j

;

C

k

;

A B

i j

;

B C

j k

;

A C

i k

)

T h e a b s o l u t e d i e r e n c e b e t w e e n t h e a c t u a l v a l u e , y

i

1

i

2

: : : i

n

a n d t h e a n t i c i p a t e d

v a l u e ^y

i

1

i

2

: : : i

n

i s t e r m e d a s t h e r e s i d u a l r

i

1

i

2

: : : i

n

o f t h e m o d e l . T h u s ,

r

i

1

i

2

: : : i

n

= j y

i

1

i

2

: : : i

n

? ^y

i

1

i

2

: : : i

n

j

I n t u i t i v e l y , a n y v a l u e w i t h a r e l a t i v e l y l a r g e v a l u e o f t h e r e s i d u a l i s a n e x c e p -

t i o n . A s t a t i s t i c a l l y v a l i d d e n i t i o n o f \ r e l a t i v e l y l a r g e " r e q u i r e s u s t o s c a l e t h e

v a l u e s b a s e d a l s o o n t h e a n t i c i p a t e d s t a n d a r d d e v i a t i o n

i

1

i

2

: : : i

n

a s s o c i a t e d w i t h

t h e r e s i d u a l s . T h u s , w e c a l l a v a l u e a n e x c e p t i o n i f t h e s t a n d a r d i z e d r e s i d u a l ,

s

i

1

i

2

: : : i

n

, d e n e d a s

s

i

1

i

2

: : : i

n

=

j y

i

1

i

2

: : : i

n

? ^y

i

1

i

2

: : : i

n

j

i

1

i

2

: : : i

n

( 2 )

i s h i g h e r t h a n s o m e t h r e s h o l d . W e u s e = 2 . 5 c o r r e s p o n d i n g t o a p r o b a b i l i t y

o f 9 9 % i n t h e n o r m a l d i s t r i b u t i o n . I n S e c t i o n 3 . 5 w e d i s c u s s h o w w e e s t i m a t e t h e

s t a n d a r d d e v i a t i o n s .

3 . 2 E x c e p t i o n s a t H i g h e r L e v e l s o f G r o u p - b y s

E x c e p t i o n s a t h i g h e r l e v e l g r o u p - b y s o f t h e c u b e c a n b e f o u n d b y s e p a r a t e l y

t t i n g t h e m o d e l E q . 1 o n a g g r e g a t e d v a l u e s a t e a c h g r o u p - b y o f t h e d a t a c u b e

u s i n g d i e r e n t v a l u e s o f n . F o r i n s t a n c e , f o r a c u b e w i t h t h r e e d i m e n s i o n s A , B ,

C w e w i l l n e e d o n e e q u a t i o n a t t h e m o s t d e t a i l e d l e v e l A B C w h e r e n = 3 , t h r e e

e q u a t i o n s f o r g r o u p - b y s A B , B C a n d C A w h e r e n = 2 , a n d t h r e e e q u a t i o n s f o r

g r o u p - b y s A , B a n d C w h e r e n = 1 . T h e O L A P u s e r s p e c i e s t h e a g g r e g a t e

f u n c t i o n t o b e u s e d f o r s u m m a r i z i n g v a l u e s a t h i g h e r l e v e l s o f t h e c u b e . F o r

i n s t a n c e , a u s e r m i g h t s p e c i f y \ s u m " o r \ a v e r a g e " o f s a l e s a s t h e a g g r e g a t e

f u n c t i o n . A c c o r d i n g l y , e x c e p t i o n s i n \ t o t a l " o r \ a v e r a g e " s a l e s w i l l b e r e p o r t e d

a t v a r i o u s g r o u p - b y s o f t h e c u b e .


8/15

3 . 3 F u n c t i o n a l f o r m s o f f

T h e f u n c t i o n f i n E q . 1 c a n t a k e a f o r m w h i c h i s :

{ A d d i t i v e : t h e f u n c t i o n f r e t u r n s t h e s u m o f i t s a r g u m e n t s .

{ M u l t i p l i c a t i v e : t h e f u n c t i o n f r e t u r n s t h e p r o d u c t o f i t s a r g u m e n t s .

O t h e r ( m o r e c o m p l e x ) f u n c t i o n a l f o r m s f o r f a r e a l s o p o s s i b l e | m o s t o f t h e m

i n v o l v i n g d i e r e n t m i x t u r e s o f a d d i t i v e a n d m u l t i p l i c a t i v e t e r m s H M J 8 8 ] . A

s i g n i c a n t l y d i e r e n t a p p r o a c h i n t h i s c a t e g o r y i s t h e o n e s u g g e s t e d i n M a n 7 1 ]

w h e r e f a c t o r a n a l y t i c m o d e l s l i k e t h e s i n g u l a r v a l u e d e c o m p o s i t i o n C L 8 6 ] a r e

u s e d t o t a m o d e l b a s e d o n a m i x t u r e o f a d d i t i v e a n d m u l t i p l i c a t i v e t e r m s . T h e

m a i n d e m e r i t o f t h e s e m o d e l s i s t h e h i g h o v e r h e a d o f c o m p u t i n g t h e m a n d t h e

l a c k o f g e n e r a l i z a t i o n s o f t h e m o d e l s t o m o r e t h a n 2 - 3 d i m e n s i o n s a n d h i e r a r c h i e s .

I n o u r e x p e r i e n c e w i t h O L A P d a t a s e t s , t h e m u l t i p l i c a t i v e f o r m p r o v i d e d

b e t t e r t t h a n t h e a d d i t i v e f o r m . ( S e e S A M 9 8 ] f o r a n i n t u i t i v e r e a s o n f o r t h i s . )

F o r e a s e o f c a l c u l a t i o n , w e t r a n s f o r m t h e m u l t i p l i c a t i v e f o r m t o a l i n e a r a d d i t i v e

f o r m b y t a k i n g a l o g o f o r i g i n a l d a t a v a l u e s . W e t h u s h a v e

^

l

i

1

i

2

: : : i

n

= l o g ^y

i

1

i

2

: : : i

n

=

X

G f d

1

d

2

; : : : d

n

g

G

( i

r

j d

r

2 G )

( 3 )

F o r a t h r e e - d i m e n s i o n a l c u b e , t h i s e q u a t i o n t a k e s t h e f o r m :

^

l

i j k

= l o g ^y

i j k

= +

A

i

+

B

j

+

C

k

+

A B

i j

+

B C

j k

+

A C

i k

3 . 4 E s t i m a t i n g m o d e l c o e c i e n t s

W e n o w d i s c u s s h o w w e e s t i m a t e t h e c o e c i e n t s o f t h e m o d e l e q u a t i o n . T w o

p o s s i b l e a p p r o a c h e s a r e :

1 . M e a n - b a s e d e s t i m a t e s : F o r d e r i v i n g t h e s e e s t i m a t e s w e a s s u m e t h e l o g a -

r i t h m s o f t h e v a l u e s a r e d i s t r i b u t e d n o r m a l l y w i t h t h e s a m e v a r i a n c e . T h e

f o l l o w i n g a p p r o a c h y i e l d s t h e l e a s t - s q u a r e s e s t i m a t e s i n t h a t c a s e H M T 8 3 ] :

{ = `

+ +

w h i c h i s t h e g r a n d m e a n o r a v e r a g e . N o t e t h a t a \ + " i n t h e

i t h i n d e x d e n o t e s a n a g g r e g a t i o n a l o n g t h e i t h d i m e n s i o n .

{

A

r

i

r

= `

+ + i

r

+ +

? w h e r e `

+ + i

r

+ +

i s t h e m e a n o v e r a l l v a l u e s a l o n g

i

r

t h m e m b e r o f d i m e n s i o n A

r

. T h u s ,

A

r

i

r

d e n o t e s h o w m u c h t h e a v e r a g e

o f t h e v a l u e s a l o n g i

r

t h m e m b e r o f d i m e n s i o n A

r

d i e r s f r o m t h e o v e r a l l

a v e r a g e .

{ ( )

A

r

A

s

i

r

i

s

= `

+ + i

r

+ + i

s

+ +

?

A

r

i

r

?

A

s

i

s

?

I n g e n e r a l , t h e c o e c i e n t s c o r r e s p o n d i n g t o a n y g r o u p - b y G a r e o b t a i n e d b y

s u b t r a c t i n g f r o m t h e a v e r a g e ` v a l u e a t g r o u p - b y G a l l t h e c o e c i e n t s f r o m

h i g h e r l e v e l g r o u p - b y s . I n t u i t i v e l y , t h e c o e c i e n t s r e e c t a n a d j u s t m e n t s t o

t h e m e a n o f t h e c o r r e s p o n d i n g g r o u p - b y a f t e r a l l h i g h e r - l e v e l a d j u s t m e n t s a r e

t a k e n i n t o a c c o u n t . I f a u s e r i s n a v i g a t i n g t h e d a t a c u b e t o p - d o w n , t h e n t h e

c o e c i e n t s r e e c t h o w d i e r e n t t h e v a l u e s a t m o r e d e t a i l e d l e v e l s a r e , b a s e d

o n t h e g e n e r a l i m p r e s s i o n s f o r m e d b y l o o k i n g a t h i g h e r l e v e l a g g r e g a t e s . T h i s

h e l p s p r o v i d e e a s y g r a s p o f w h y c e r t a i n n u m b e r s a r e m a r k e d e x c e p t i o n s .


9/15

2 . O t h e r r o b u s t e s t i m a t e s : T h e m a i n s h o r t c o m i n g o f t h e m e a n - b a s e d a p p r o a c h

i s t h a t i t i s n o t r o b u s t i n t h e p r e s e n c e o f e x t r e m e l y l a r g e o u t l i e r s . T h e r e f o r e ,

a n u m b e r o f m e t h o d s i n c l u d i n g t h e m e d i a n p o l i s h m e t h o d H M J 8 8 ] a n d t h e

s q u a r e c o m b i n i n g m e t h o d H M J 8 8 ] h a v e b e e n p r o p o s e d . T h e s e a r e a l l b a s e d

o n u s i n g r o b u s t e s t i m a t e s o f c e n t r a l t e n d e n c y l i k e \ m e d i a n " o r \ t r i m m e d -

m e a n " i n s t e a d o f \ m e a n " f o r c a l c u l a t i n g t h e c o e c i e n t s . T r i m m e d - m e a n o f

a s e t o f v a l u e s i s d e n e d a s t h e m e a n o f t h e v a l u e s l e f t a f t e r a c e r t a i n f r a c t i o n

o f t h e e x t r e m e v a l u e s ( l a r g e s t a n d s m a l l e s t ) h a v e b e e n t r i m m e d o .

W e u s e d t h e 7 5 % t r i m m e d - m e a n w h e r e 2 5 % o f t h e e x t r e m e v a l u e s a r e t r i m m e d

o a n d t h e m e a n i s t a k e n o f t h e m i d d l e 7 5 % n u m b e r s . B y d r o p p i n g 2 5 % o f t h e

e x t r e m e n u m b e r s , w e m a k e t h e m e t h o d r o b u s t t o o u t l i e r s .

3 . 5 E s t i m a t i n g s t a n d a r d d e v i a t i o n

I n c l a s s i c a l A n a l y s i s o f V a r i a n c e ( A N O V A ) m e t h o d s M o n 9 1 ] , t h e s t a n d a r d d e v i -

a t i o n f o r a l l t h e c e l l s i s a s s u m e d t o b e i d e n t i c a l . T h e v a r i a n c e ( s q u a r e o f s t a n d a r d

d e v i a t i o n ) i s e s t i m a t e d a s t h e s u m o f s q u a r e s o f t h e r e s i d u a l s d i v i d e d b y t h e n u m -

b e r o f e n t r i e s . W e f o u n d t h a t t h i s m e t h o d p r o v i d e s p o o r t s o n O L A P d a t a . I n

t h e a n a l y s i s o f c o n t i n g e n c y t a b l e s B F H 7 5 ] , w h e r e c e l l e n t r i e s r e p r e s e n t c o u n t s ,

t h e P o i s s o n d i s t r i b u t i o n i s a s s u m e d . T h i s a s s u m p t i o n i m p l i e s t h a t t h e v a r i a n c e

i s e q u a l t o t h e m e a n . W h e n t h e e n t r i e s a r e n o t c o u n t s ( e . g . , l a r g e d o l l a r v a l u e s ) ,

t h i s t y p i c a l l y l e a d s t o a n u n d e r e s t i m a t e o f t h e v a r i a n c e .

T h e m e t h o d w e u s e f o r e s t i m a t i n g v a r i a n c e i s b a s e d o n a s l i g h t m o d i c a t i o n

o f t h e p r e v i o u s m o d e l s . W e m o d e l t h e v a r i a n c e a s a p o w e r o f t h e m e a n v a l u e

^y

i

1

: : : i

n

a s :

2

i

1

i

2

: : : i

n

= ( ^y

i

1

i

2

: : : i

n

)

T o c a l c u l a t e w e u s e t h e m a x i m u m l i k e l i h o o d p r i n c i p l e C L 8 6 ] o n d a t a a s s u m e d

t o b e d i s t r i b u t e d n o r m a l l y w i t h t h e m e a n v a l u e ^y

i

1

i

2

: : : i

n

. A c c o r d i n g t o t h e l a t t e r ,

o n e c a n d e r i v e t h a t t h e e s t i m a t e d v a l u e o f m u s t s a t i s f y :

X

( y

i

1

i

2

: : : i

n

? ^y

i

1

i

2

: : : i

n

)

2

( ^y

i

1

i

2

: : : i

n

)

l o g ^y

i

1

i

2

: : : i

n

?

X

l o g ^y

i

1

i

2

: : : i

n

= 0 ( 4 )

T h e m e t h o d w e u s e d f o r s o l v i n g t h e e q u a t i o n t o n d i s d i s c u s s e d i n S A M 9 8 ] .

3 . 6 S u m m a r i z i n g e x c e p t i o n s

A s d i s c u s s e d i n S e c t i o n 2 , w e n e e d t o s u m m a r i z e e x c e p t i o n s i n l o w e r l e v e l s o f t h e

c u b e a s s i n g l e v a l u e s a t h i g h e r l e v e l s o f c u b e . W e p r e s e n t c o n c i s e d e n i t i o n s o f

t h e S e l f E x p , I n E x p a n d P a t h E x p q u a n t i t i e s w e a s s o c i a t e w i t h e a c h c e l l f o r t h i s

p u r p o s e . I n S A M 9 8 ] m o r e f o r m a l d e n i t i o n s a p p e a r .

S e l f E x p : d e n o t e s t h e e x c e p t i o n v a l u e o f t h e c e l l . T h i s q u a n t i t y i s d e n e d a s

t h e s c a l e d a b s o l u t e v a l u e o f t h e r e s i d u a l d e n e d i n E q . 2 w i t h a c u t - o t h r e s h o l d

o f


10/15

I n E x p : d e n o t e s t h e t o t a l d e g r e e o f s u r p r i s e o v e r a l l e l e m e n t s r e a c h a b l e b y

d r i l l - d o w n s f r o m t h i s c e l l . W e d e n e i t f o r m a l l y a s t h e m a x i m u m S e l f E x p v a l u e

o v e r a l l c e l l s u n d e r n e a t h t h i s c e l l .

P a t h E x p : d e n o t e s t h e d e g r e e o f s u r p r i s e t o b e a n t i c i p a t e d i f d r i l l e d d o w n

a l o n g a p a r t i c u l a r p a t h f o r e a c h p o s s i b l e d r i l l d o w n p a t h f r o m t h e c e l l . W e d e n e

P a t h E x p a s t h e m a x i m u m o f t h e S e l f E x p o v e r a l l c e l l s r e a c h a b l e b y d r i l l i n g d o w n

a l o n g t h a t p a t h .

4 C o m p u t a t i o n T e c h n i q u e s

A t r s t g l a n c e , o u r a p p r o a c h m a y a p p e a r u n r e a l i z a b l e i n p r a c t i c e b e c a u s e o f t h e

a p p a r e n t h i g h c o s t o f c o m p u t i n g e x c e p t i o n s a t e v e r y c e l l o f e v e r y g r o u p - b y o f

t h e c u b e . I n t h i s s e c t i o n , w e p r e s e n t f a s t c o m p u t a t i o n t e c h n i q u e s t h a t m a k e o u r

a p p r o a c h f e a s i b l e f o r l a r g e O L A P d a t a b a s e s . T h e r e a r e t h r e e l o g i c a l p h a s e s i n

t h e c o m p u t a t i o n o f e x c e p t i o n s i n t h e e n t i r e c u b e :

1 . T h e r s t p h a s e i n v o l v e s t h e c o m p u t a t i o n o f t h e a g g r e g a t e v a l u e s ( a s s p e c i e d

b y t h e u s e r - p r o v i d e d a g g r e g a t e f u n c t i o n ) o v e r w h i c h e x c e p t i o n s w i l l b e f o u n d

a t e a c h g r o u p - b y o f t h e c u b e . T h i s i s e s s e n t i a l l y t h e p r o b l e m o f c u b e c o m -

p u t a t i o n a n d e c i e n t c o m p u t a t i o n t e c h n i q u e s f o r t h i s p r o b l e m h a v e b e e n

d e v e l o p e d i n A A D

+

9 6 ] .

2 . T h e n e x t p h a s e i s m o d e l t t i n g , i . e . , n d i n g t h e c o e c i e n t s o f t h e m o d e l

e q u a t i o n a n d u s i n g t h e m t o n d t h e r e s i d u a l s a s d i s c u s s e d i n S e c t i o n 3 . 1 .

3 . T h e n a l p h a s e i n v o l v e s s u m m a r i z i n g e x c e p t i o n s f o u n d i n t h e s e c o n d p h a s e

a s d i s c u s s e d i n S e c t i o n 3 . 6 . C o m p u t a t i o n a l l y , t h i s p h a s e i s s i m i l a r t o p h a s e

1 w i t h a f e w d i e r e n c e s a s d i s c u s s e d i n S A M 9 8 ] .

4 . 1 M o d e l t t i n g

I n g e n e r a l , w e n e e d t o t s e p a r a t e e q u a t i o n s f o r d i e r e n t g r o u p - b y s o f t h e c u b e

a s d i s c u s s e d i n S e c t i o n 3 . 2 . W e w i l l r s t c o n s i d e r t h e s c e n a r i o w h e r e a s i n g l e

e q u a t i o n i s t o n t h e b a s e l e v e l d a t a . L a t e r i n S e c t i o n 4 . 2 , w e w i l l d i s c u s s h o w t o

s i m u l t a n e o u s l y t m u l t i p l e e q u a t i o n s , o n e f o r e a c h o f t h e g r o u p - b y s o f t h e c u b e .

W e r s t p r e s e n t a m e t h o d c a l l e d U p D o w n t h a t i s d i r e c t l y b a s e d o n E q . 3

a n d l a t e r p r e s e n t i m p r o v e m e n t s .

T h e U p D o w n M e t h o d R e c a l l f r o m S e c t i o n 3 . 4 t h a t t h e c o e c i e n t s a t e a c h

g r o u p - b y G o f t h e c u b e i s e q u a l t o t h e a v e r a g e v a l u e a t G m i n u s t h e s u m o f t h e

c o e c i e n t s o f a l l g r o u p - b y s t h a t a r e s u b s e t s o f G . T h u s , a n e c i e n t w a y t o c o m -

p u t e t h e c o e c i e n t s i s t h e f o l l o w i n g t w o p a s s a p p r o a c h : F i r s t i n t h e u p - p h a s e ,

c o m p u t e t h e a v e r a g e ` v a l u e ( c a l l i t a v g - l ) a t e a c h g r o u p - b y s t a r t i n g f r o m t h e

m o s t d e t a i l e d g r o u p - b y . T h i s i s c o m p u t a t i o n a l l y s i m i l a r t o t h e c u b e c o m p u t a -

t i o n o f p h a s e 1 w h e r e w e c o m p u t e t h e u s e r s p e c i e d a g g r e g a t e f u n c t i o n ( c a l l

i t u s e r - a g g ) . T h u s , p h a s e - 1 a n d t h e u p - p h a s e o f p h a s e 2 c a n b e c o m b i n e d t o


11/15

s a v e o n t h e d i s k s c a n a n d s o r t i n g c o s t s . T h e n i n t h e d o w n - p h a s e , s u b t r a c t f r o m

e a c h g r o u p - b y G t h e c o e c i e n t s o f a l l i t s s u b s e t s s t a r t i n g f r o m t h e l e a s t d e t a i l e d

g r o u p - b y ( A L L )

F i n d - c o e c i e n t s

U p - p h a s e :

F o r e a c h g r o u p - b y G s t a r t i n g f r o m t h e m o s t d e t a i l e d g r o u p - b y

C o m p u t e t h e u s e r - a g g a n d a v g - l v a l u e s f r o m o n e o f i t s p a r e n t s

D o w n - p h a s e :

F o r e a c h g r o u p - b y G s t a r t i n g f r o m t h e l e a s t d e t a i l e d

C o m p u t e c o e c i e n t a t G b y s u b t r a c t i n g f r o m a v g - l v a l u e s , c o e c i e n t s

f r o m a l l g r o u p - b y s H w h e r e H G

E x a m p l e : C o n s i d e r c u b e A B C . W e r s t c o m p u t e t h e a v e r a g e v a l u e f o r e a c h

o f t h e 2

3

? 1 = 7 g r o u p - b y s o f t h e c u b e b y s t a r t i n g f r o m t h e A B C g r o u p - b y a n d

c o m p u t i n g t h e a v e r a g e a t A B , A C a n d B C f r o m A B C , c o m p u t i n g t h e a v e r a g e

a t A f r o m o n e o f A B o r A C a n d s o o n , u s i n g t h e c u b e c o m p u t a t i o n m e t h o d s o f

A A D

+

9 6 ] . W e t h e n c o m p u t e t h e c o e c i e n t s t a r t i n g f r o m A L L . T h e c o e c i e n t

o f e a c h m e m b e r o f g r o u p - b y A i s t h e a v e r a g e v a l u e a t t h e m e m b e r m i n u s t h e

c o e c i e n t o f i t s p a r e n t A L L , t h e c o e c i e n t s a t A B i s t h e a v e r a g e a t A B m i n u s

t h e c o e c i e n t s a t A , B a n d A L L a n d s o o n . F i n a l l y , w e s u b t r a c t f r o m t h e a v e r a g e

` v a l u e a t A B C c o e c i e n t s a t A B ; A C ; B C ; A ; B ; C a n d A L L

A n a l y s i s T h e d o w n - p h a s e i s c o m p u t a t i o n a l l y r a t h e r i n t e n s i v e b e c a u s e , i n g e n -

e r a l , f o r c o m p u t i n g t h e c o e c i e n t s o f a n a t t r i b u t e g r o u p - b y w e n e e d t o s u b -

t r a c t c o e c i e n t s f r o m 2

n

? 1 o t h e r g r o u p - b y s . T h i s i s e q u i v a l e n t t o j o i n i n g t h e

n - a t t r i b u t e g r o u p - b y w i t h 2

n

? 1 o t h e r g r o u p - b y s . W h e n t h e s i z e o f t h e s e g r o u p -

b y s i s l a r g e , c o m p u t i n g s o m a n y m u l t i - a t t r i b u t e j o i n s p e r g r o u p - b y c a n i n c u r

l a r g e s o r t i n g a n d c o m p a r i s o n c o s t s . T h i s s t r a i g h t f o r w a r d c o m p u t a t i o n c a n b e

i m p r o v e d f u r t h e r a s d i s c u s s e d i n S A M 9 8 ] .

R e w r i t i n g W e n o w d i s c u s s f u r t h e r w a y s o f s p e e d i n g u p c o m p u t a t i o n b y r e w r i t -

i n g E q . 3 . I n s t e a d o f t h e 2

n

? 1 t e r m s i n E q . 3 , w e e x p r e s s t h e e x p e c t e d v a l u e a s

a s u m o f n t e r m s a s f o l l o w s :

^

`

i

1

: : : i

n

= g

1

+ + g

n

; w h e r e g

r

= a v g

i

r

( `

i

1

: : : i

n

? g

1

? ? g

r ? 1

) ( 5 )

A s a n e x a m p l e , c o n s i d e r a c u b e w i t h t h r e e d i m e n s i o n s A ; B ; C

^

`

i j k

= g

1

i j

+ g

2

i k

+ g

3

j k

; w h e r e ;

g

1

i j

= a v g

k

( `

i j k

)

g

2

i k

= a v g

j

( `

i j k

? g

1

i j

)

g

3

j k

= a v g

i

( `

i j k

? g

1

i j

? g

2

i k

)

T h e c o e c i e n t s f r o m t h e o r i g i n a l E q . 3 c a n b e r e w r i t t e n i n t e r m s o f t h e n e w

c o e c i e n t s a s :

r

i j k

= `

i j k

? ( g

1

i j

+ g

2

i k

+ g

3

j k

)


12/15

i j

= g

1

i j

? g

1

i

? g

1

j

; w h e r e g

1

i

= a v g

j

( g

1

i j

) ; g

1

j

= a v g

i

( g

1

i j

? g

1

i

) ;

i k

= g

2

i k

? g

2

k

; w h e r e g

2

k

= a v g

i

( g

2

i k

) ;

k j

= g

3

j k

i

= g

1

i

? g

1

; w h e r e g

1

= a v g

i

( g

1

i

)

j

= g

1

j

k

= g

2

k

= g

1

L e m m a 1 . E q u a t i o n s 3 a n d 5 y i e l d t h e s a m e s e t o f r e s i d u a l s w h e n t h e c u b e

c o n t a i n s n o m i s s i n g d a t a . P r o o f a p p e a r s i n S A M 9 8 ] . ]

W h e n a c u b e d o e s c o n t a i n m i s s i n g d a t a , t h e r e s i d u a l s c o u l d d i e r d e p e n d -

i n g o n t h e n u m b e r o f m i s s i n g v a l u e s . O n e s h o u l d e v a l u a t e t h e c o e c i e n t s i t e r a -

t i v e l y ( H M J 8 8 ] , c h a p t e r 4 ) f o r p r o d u c i n g a c c u r a t e l e a s t s q u a r e s t i n s u c h c a s e s .

H o w e v e r , t h e s e m e t h o d s a r e n o t p r a c t i c a l f o r o u r g o a l o f p r e - m i n i n g a n e n t i r e

l a r g e d a t a b a s e s i n c e t h e y r e q u i r e m u l t i p l e p a s s e s ( o f t e n 1 0 o r m o r e ) o f d a t a . O u r

i m p l e m e n t a t i o n i g n o r e s t h e m i s s i n g v a l u e s i n t h e c a l c u l a t i o n o f t h e c o e c i e n t s i n

b o t h e q u a t i o n s b y c a l c u l a t i n g t h e a v e r a g e o n l y o v e r t h e v a l u e s a c t u a l l y p r e s e n t .

C o m p u t i n g w i t h E q . 5 T h e r e w r i t t e n f o r m u l a c a n b e c o m p u t e d a s f o l l o w s .

F i r s t c o m p u t e g

1

b y a v e r a g i n g t h e s t a r t i n g `

i

1

: : : i

n

v a l u e s a l o n g d i m e n s i o n i

n

,

s u b t r a c t v a l u e s g

1

f r o m t h e o r i g i n a l ` v a l u e s , a v e r a g e t h e s u b t r a c t e d v a l u e a l o n g

d i m e n s i o n i

n ? 1

t o c o m p u t e g

2

, s u b t r a c t t h e v a l u e s a t g

2

f r o m t h e m o d i e d `

v a l u e s a n d s o o n u n t i l a l l d i m e n s i o n s a r e a g g r e g a t e d . T h e n a l ` v a l u e d i r e c t l y

g i v e s u s t h e r e s i d u a l . N e x t , c o m p u t e t h e o t h e r c o e c i e n t s o f t h e e q u a t i o n b y

r e c u r s i v e l y r e p e a t i n g t h e p r o c e s s f o r h i g h e r l e v e l a g g r e g a t e s o n t h e a v e r a g e g

v a l u e s j u s t c a l c u l a t e d . T h e s e o p e r a t i o n s c a n b e o v e r l a p p e d w i t h t h e c o m p u t a t i o n

o f t h e u s e r - a g g f u n c t i o n o f p h a s e - 1 a s f o l l o w s :

C o m p u t e ( G )

M a r k G a s c o m p u t e d .

F o r e a c h i m m e d i a t e c h i l d H o f G n o t m a r k e d c o m p u t e d

C o m p u t e a n d s t o r e t h e u s e r - a g g a n d a v g - g v a l u e s a t H f r o m G

S u b t r a c t t h e a v g - g v a l u e a t H f r o m G

F o r e a c h H a b o v e

C o m p u t e ( H ) / * o n t h e a v g - g v a l u e s . * /

I n i t i a l c a l l : C o m p u t e ( B a s e l e v e l c u b e )

E x a m p l e I n F i g u r e 6 w e s h o w t h e e x a m p l e o f a t h r e e a t t r i b u t e g r o u p - b y a n d

t h e s e q u e n c e o f c o m p u t a t i o n s n e e d e d f o r g e t t i n g i t s c o e c i e n t s a n d r e s i d u a l s .

A n u p w a r d a r r o w d e n o t e s t h e a v e r a g i n g p h a s e a n d a d o w n w a r d a r r o w d e n o t e s

t h e s u b t r a c t i o n p h a s e . T h e n u m b e r s b e s i d e e a c h e d g e d e n o t e s t h e o r d e r i n w h i c h

t h e s e o p e r a t i o n s a r e p e r f o r m e d . W e r s t a v e r a g e A B C a l o n g C t o o b t a i n A B ,

s u b t r a c t t h e v a l u e s a t A B f r o m A B C , a v e r a g e A B C a l o n g B t o o b t a i n A C , a n d

s o o n u n t i l B C i s s u b t r a c t e d f r o m A B C . N e x t , w e c o m p u t e t h e c o e c i e n t a t A B


13/15

b y a v e r a g i n g i t s g v a l u e s a l o n g d i m e n s i o n B t o o b t a i n A , s u b t r a c t o u t t h e r e s u l t s

f r o m A B a n d s o o n . W h e n c o m p u t i n g c o e c i e n t a t A C w e d o n o t a v e r a g e a n d

s u b t r a c t a l o n g A b e c a u s e A h a s a l r e a d y b e e n c o m p u t e d b y a v e r a g i n g A B

AB AC

ABC

A B

14

C

BC

all

1

23

45

6

7 8

9

10

11

12

13

F i g u r e 6 . F i t t i n g s i n g l e e q u a t i o n f o r a

t h r e e - a t t r i b u t e c u b e

AB AC

ABC

A B

17

C

BC

all

1

23

45

6

7 8

9

10

15

16

11 12 13

1418

19

202 1 2 2

23

24

F i g u r e 7 . F i t t i n g m u l t i p l e e q u a t i o n s f o r

a t h r e e - a t t r i b u t e c u b e

B e n e t s o f r e w r i t i n g T h e a d v a n t a g e o f r e w r i t i n g E q . 3 i n t o E q . 5 a s a b o v e i s

t h r e e f o l d . F i r s t w e c a n c o m p u t e t h e r e s i d u a l s o f a k - d i m e n s i o n a l c u b e b y j o i n i n g

i t w i t h a t m o s t k o t h e r g r o u p - b y s i n s t e a d o f 2

k

? 1 g r o u p - b y s a s i n E q . 3 , a n

e x p o n e n t i a l d i e r e n c e i n t h e n u m b e r o f j o i n ( s u b t r a c t i o n ) o p e r a t i o n s . S e c o n d ,

w e c a n c o m p u t e t h e r e s i d u a l s t h e s a m e t i m e a s w e c o m p u t e t h e a g g r e g a t e v a l u e s

i n p h a s e 1 a n d t h u s s a v e o n t h e s o r t i n g a n d c o m p a r i s o n c o s t s . F i n a l l y , t h e r e i s n o

a d d i t i o n a l s o r t i n g c o s t b e y o n d c u b e c o m p u t a t i o n s i n c e , u n l i k e i n t h e U p D o w n

m e t h o d , t h e s u b t r a c t i o n o p e r a t i o n i s f o l l o w e d i m m e d i a t e l y a f t e r t h e a g g r e g a t i o n

o p e r a t i o n . T h u s , n o t o n l y a r e t h e n u m b e r o f j o i n o p e r a t i o n s e x p o n e n t i a l l y s m a l l e r

b u t a l s o t h e c o s t o f e a c h j o i n i s s i g n i c a n t l y r e d u c e d s i n c e t h e j o i n s r e q u i r e t h e

s a m e s o r t i n g o r d e r a s t h e a g g r e g a t i o n t h a t p r e c e d e s i t .

A l t e r n a t i v e R e w r i t i n g s T h e r e a r e o t h e r w a y s i n w h i c h w e c o u l d h a v e r e w r i t -

t e n E q . 3 . F o r i n s t a n c e , f o r n = 3 a n o t h e r w a y o f r e w r i t i n g t h e e q u a t i o n i s :

^

`

i j k

= g

A B

i j

+

C

k

+

A C

k

+

B C

k

; w h e r e

g

A B

i j

= a v g

k

( `

i j k

)

T h e a b o v e e q u a t i o n u s e s f o u r t e r m s w h e r e a s E q . 5 r e q u i r e s o n l y t h r e e .

T h e g o a l i n r e w r i t i n g t h e e q u a t i o n i n t e r m s o f a s f e w c o e c i e n t s a s p o s s i b l e

i s t o r e d u c e t h e c o m p u t a t i o n c o s t . E q . 5 i n v o l v e s t h e f e w e s t n u m b e r o f t e r m s

i n e a c h e q u a t i o n . I t i s b e c a u s e a n y e q u a t i o n e q u i v a l e n t t o E q . 3 m u s t c o n t a i n

a t l e a s t n t e r m s s i n c e w e m u s t h a v e a t l e a s t o n e t e r m f r o m e a c h o f t h e n ? 1

d i m e n s i o n a l g r o u p - b y s .


14/15

4 . 2 S i m u l t a n e o u s c o m p u t a t i o n o f m u l t i p l e e q u a t i o n s

W e c a n a d a p t o u r m e t h o d f o r t t i n g s i n g l e e q u a t i o n s t o t h e c a s e w h e r e w e

t s i m u l t a n e o u s l y m u l t i p l e e q u a t i o n s | o n e f o r e a c h g r o u p - b y o f t h e c u b e . W e

p r o c e e d b o t t o m u p a n d r s t c o m p u t e t h e r e s i d u a l s f o r t h e b o t t o m - m o s t g r o u p - b y

u s i n g t h e a g g r e g a t i o n a n d s u b t r a c t i o n o p e r a t i o n s w i t h r e s p e c t t o i t s i m m e d i a t e

c h i l d r e n g r o u p - b y s a s i n t h e s i n g l e e q u a t i o n c a s e . A t t h e e n d o f t h i s , t h e r e s i d u a l s

f o r t h e b o t t o m - m o s t g r o u p - b y a r e a l r e a d y c o m p u t e d . T h u s , w e c a n d r o p t h e

g t e r m s c a l c u l a t e d s o f a r a n d s t a r t t o t t h e e q u a t i o n s o f t h e n ? 1 a t t r i b u t e

g r o u p - b y s o n t h e a g g r e g a t e d f u n c t i o n u s e r - a g g . E a c h o f t h e s e n ? 1 d i m e n s i o n a l

g r o u p - b y s c a n n o w b e t r e a t e d i n d e p e n d e n t l y a n d w e c a n r e c u r s i v e l y t e q u a t i o n s

f o r e a c h g r o u p - b y o f t h e c u b e a s s h o w n i n t h e p s e u d o - c o d e b e l o w .

C o m p u t e M u l t i ( G )

F o r e a c h i m m e d i a t e c h i l d H o f G

C o m p u t e t h e a v g - g v a l u e s a t H b y a g g r e g a t i n g G

I f G i s t h e s m a l l e s t p a r e n t o f H

a l s o , c o m p u t e a n d s t o r e u s e r - a g g f u n c t i o n a l o n g w i t h a b o v e s t e p

S u b t r a c t t h e a v g - g v a l u e a t H f r o m G

F o r e a c h H w h o s e u s e r - a g g f u n c t i o n c o m p u t e d a b o v e

C o m p u t e M u l t i ( H ) / * o n t h e u s e r - a g g f u n c t i o n v a l u e s . * /

I n i t i a l c a l l : C o m p u t e M u l t i ( B a s e l e v e l c u b e )

N o t e t h e t w o k e y d i e r e n c e s b e t w e e n t h e r o u t i n e C o m p u t e ( ) f o r t h e s i n g l e

e q u a t i o n c a s e a n d C o m p u t e M u l t i ( ) f o r t h e m u l t i e q u a t i o n c a s e . F i r s t , f o r e a c h

g r o u p - b y a l l o f i t s i m m e d i a t e c h i l d r e n a r e u s e d i n s t e a d o f j u s t t h e u n - c o m p u t e d

o n e s a s i n t h e s i n g l e e q u a t i o n c a s e . S e c o n d , f o r e a c h g r o u p - b y w e s t a r t f r o m t h e

a g g r e g a t e f u n c t i o n v a l u e f o r t h a t g r o u p - b y r a t h e r t h a n t h e g v a l u e s c o m p u t e d

f r o m t h e p r e v i o u s g r o u p - b y .

E x a m p l e F i g u r e 7 s h o w s t h e s e q u e n c e o f a g g r e g a t i o n a n d s u b t r a c t i o n o p e r a -

t i o n s t h a t h a p p e n w h e n t t i n g m u l t i p l e e q u a t i o n s u s i n g t h e r e w r i t e p r o c e d u r e .

5 C o n c l u s i o n

W e d e v e l o p e d a n o v e l m e t h o d o f e e c t i v e l y n a v i g a t i n g l a r g e O L A P d a t a c u b e s .

O u r m e t h o d g u i d e s t h e u s e r t o i n t e r e s t i n g r e g i o n s e x h i b i t i n g a n o m a l o u s b e h a v -

i o r u s i n g p r e - c o m p u t e d e x c e p t i o n s . T h i s m e t h o d e n h a n c e s a u s e r ' s c a p a b i l i t y

o f d i s c o v e r i n g i n t e r e s t i n g a r e a s i n t h e d a t a c o m p a r e d w i t h t h e c u r r e n t m a n u a l

d i s c o v e r y .

W e p r e s e n t e d t h e s t a t i s t i c a l f o u n d a t i o n o f o u r m e t h o d o l o g y f o r i d e n t i f y i n g

e x c e p t i o n s , w h i c h w a s c h o s e n a f t e r c o n s i d e r i n g a n u m b e r o f o t h e r c o m p e t i n g

t e c h n i q u e s a n d s u i t a b l y a d a p t e d s o a s t o b e s t m a t c h t h e r e q u i r e m e n t s o f O L A P

d a t a s e t s . T h e c o e c i e n t s a t d i e r e n t l e v e l s o f t h e c u b e h a v e t h e p r o p e r t y t h a t

t h e y r e e c t a d j u s t m e n t s t o t h e c o m b i n e d a v e r a g e v a l u e o b t a i n e d f r o m h i g h e r

l e v e l a g g r e g a t i o n s o f t h e c u b e . A s t h e u s e r t y p i c a l l y n a v i g a t e s t h e d a t a c u b e

t o p - d o w n , t h i s e n a b l e s t h e u s e r t o v e r y n a t u r a l l y c a p t u r e t h e c o n t e x t i n w h i c h


15/15

t h e v a l u e w a s d e c l a r e d a n e x c e p t i o n . I n S A M 9 8 ] w e p r e s e n t h o w o u r m o d e l

h a n d l e s h i e r a r c h i e s a n d o r d e r e d d i m e n s i o n s l i k e t i m e .

W e d e v i s e d m e t h o d s o f e c i e n t l y c o m p u t i n g e x c e p t i o n s . N o v e l r e w r i t i n g

t e c h n i q u e s a r e u s e d t o r e d u c e t h e c o s t o f m o d e l t t i n g a n d m o d i f y i n g t h e c o m -

p u t a t i o n o w s o a s t o m e s h e x c e p t i o n n d i n g w i t h c u b e c o m p u t a t i o n . O u r e x -

p e r i m e n t s ( d e t a i l e d i n S A M 9 8 ] ) s h o w t h a t t h e s e t e c h n i q u e s y i e l d a l m o s t a f a c t o r

o f t h r e e t o f o u r p e r f o r m a n c e i m p r o v e m e n t . W e h a v e a p p l i e d o u r t e c h n i q u e o n

s e v e r a l r e a l - l i f e O L A P d a t a s e t s w i t h i n t e r e s t i n g r e s u l t s . I n S A M 9 8 ] w e r e p o r t

s o m e o f t h e s e n d i n g s .

F u t u r e w o r k i n t h e a r e a s h o u l d i n c o r p o r a t e m e t h o d s f o r m o d e l s e l e c t i o n a n d

u s e r c u s t o m i z a t i o n o f t h e d e n i t i o n o f e x c e p t i o n s .

R e f e r e n c e s

A A D

+

9 6 ] S . A g a r w a l , R . A g r a w a l , P . M . D e s h p a n d e , A . G u p t a , J . F . N a u g h t o n ,

R . R a m a k r i s h n a n , a n d S . S a r a w a g i . O n t h e c o m p u t a t i o n o f m u l t i d i m e n -

s i o n a l a g g r e g a t e s . I n P r o c . o f t h e 2 2 n d I n t ' l C o n f e r e n c e o n V e r y L a r g e

D a t a b a s e s , p a g e s 5 0 6 { 5 2 1 , M u m b a i ( B o m b a y ) , I n d i a , S e p t e m b e r 1 9 9 6 .

A G S 9 7 ] R a k e s h A g r a w a l , A s h i s h G u p t a , a n d S u n i t a S a r a w a g i . M o d e l i n g m u l t i d i -

m e n s i o n a l d a t a b a s e s . I n P r o c . o f t h e 1 3 t h I n t ' l C o n f e r e n c e o n D a t a E n g i -

n e e r i n g , B i r m i n g h a m , U . K . , A p r i l 1 9 9 7 .

A r b ] A r b o r S o f t w a r e C o r p o r a t i o n . A p p l i c a t i o n M a n a g e r U s e r ' s G u i d e , E s s b a s e

v e r s i o n 4 . 0 h t t p : / / w w w . a r b o r s o f t . c o m

B F H 7 5 ] Y . B i s h o p , S . F i e n b e r g , a n d P . H o l l a n d . D i s c r e t e M u l t i v a r i a t e A n a l y s i s t h e -

o r y a n d p r a c t i c e . T h e M I T P r e s s , 1 9 7 5 .

C L 8 6 ] W i l l i a m W . C o o l e y a n d P a u l R L o h n e s . M u l t i v a r i a t e d a t a a n a l y s i s . R o b e r t

E . K r i e g e r p u b l i s h e r s , 1 9 8 6 .

C o l 9 5 ] G e o r g e C o l l i a t . O L A P , r e l a t i o n a l , a n d m u l t i d i m e n s i o n a l d a t a b a s e s y s t e m s .

T e c h n i c a l r e p o r t , A r b o r S o f t w a r e C o r p o r a t i o n , S u n n y v a l e , C A , 1 9 9 5 .

G B L P 9 6 ] J . G r a y , A . B o s w o r t h , A . L a y m a n , a n d H . P i r a h e s h . D a t a c u b e : A r e l a -

t i o n a l a g g r e g a t i o n o p e r a t o r g e n e r a l i z i n g g r o u p - b y , c r o s s - t a b s a n d s u b - t o t a l s .

I n P r o c . o f t h e 1 2 t h I n t ' l C o n f e r e n c e o n D a t a E n g i n e e r i n g , p a g e s 1 5 2 { 1 5 9 ,

1 9 9 6 .

H M J 8 8 ] D . H o a g l i n , F . M o s t e l l e r , a n d T u k e y . J . E x p l o r i n g d a t a t a b l e s , t r e n d s a n d

s h a p e s . W i l e y s e r i e s i n p r o b a b i l i t y , 1 9 8 8 .

H M T 8 3 ] D . C . H o a g l i n , F . M o s t e l l e r , a n d J . W . T u k e y . U n d e r s t a n d i n g R o b u s t a n d

E x p l o r a t o r y D a t a A n a l y s i s . J o h n W i l e y , N e w Y o r k , 1 9 8 3 .

M a n 7 1 ] J . M a n d e l . A n e w a n a l y s i s o f v a r i a n c e m o d e l f o r n o n - a d d i t i v e d a t a . T e c h -

n o m e t r i c s , 1 3 : 1 { 1 8 , 1 9 7 1 .

M o n 9 1 ] D . G . M o n t g o m e r y . D e s i g n a n d A n a l y s i s o f E x p e r i m e n t s , c h a p t e r 1 3 . J o h n

W i l e y & s o n s , t h i r d e d i t i o n , 1 9 9 1 .

O L A 9 6 ] T h e O L A P C o u n c i l . M D - A P I t h e O L A P A p p l i c a t i o n P r o g r a m I n t e r f a c e

V e r s i o n 0 . 5 S p e c i c a t i o n , S e p t e m b e r 1 9 9 6 .

S A M 9 8 ] S u n i t a S a r a w a g i , R a k e s h A g r a w a l , a n d N i m r o d M e g i d d o . D i s c o v e r y - d r i v e n

e x p l o r a t i o n o f O L A P d a t a c u b e s . R e s e a r c h R e p o r t R J 1 0 1 0 2 ( 9 1 9 1 8 ) , I B M

A l m a d e n R e s e a r c h C e n t e r , S a n J o s e , C A 9 5 1 2 0 , J a n u a r y 1 9 9 8 . A v a i l a b l e

f r o m h t t p : / / w w w . a l m a d e n . i b m . c o m / c s / q u e s t

T h i s a r t i c l e w a s p r o c e s s e d u s i n g t h e L

A

T

E

X m a c r o p a c k a g e w i t h L L N C S s t y l e

$discovery driven sarawagi 10.1.1.40.9152

Documents