fp growth presentation v1 (handout)

8/8/2019 Fp Growth Presentation v1 (Handout)

http://slidepdf.com/reader/full/fp-growth-presentation-v1-handout 1/10

F r e q u e n t P a t t e r n G r o w t h ( F P - G r o w t h ) A l g o r i t h m

A n I n t r o d u c t i o n

F l o r i a n V e r h e i n

f v e r h e i n @ i t . u s y d . e d u . a u

S c h o o l o f I n f o r m a t i o n T e c h n o l o g i e s ,

T h e U n i v e r s i t y o f S y d n e y ,

A u s t r a l i a

C o p y r i g h t 2 0 0 8 F l o r i a n V e r h e i n . M o s t g u r e s d e r i v e d f r o m [ 1 ] .

J a n u a r y 1 0 , 2 0 0 8

O u t l i n e

I n t r o d u c t i o n

F P - T r e e d a t a s t r u c t u r e

S t e p 1 : F P - T r e e C o n s t r u c t i o n

S t e p 2 : F r e q u e n t I t e m s e t G e n e r a t i o n

D i s c u s s i o n

http://find/

http://goback/

http://find/

http://goback/



I n t r o d u c t i o n

A p r i o r i : u s e s a g e n e r a t e - a n d - t e s t a p p r o a c h g e n e r a t e s

c a n d i d a t e i t e m s e t s a n d t e s t s i f t h e y a r e f r e q u e n t

G e n e r a t i o n o f c a n d i d a t e i t e m s e t s i s e x p e n s i v e ( i n b o t h s p a c e

a n d t i m e )

S u p p o r t c o u n t i n g i s e x p e n s i v e

S u b s e t c h e c k i n g ( c o m p u t a t i o n a l l y e x p e n s i v e )

M u l t i p l e D a t a b a s e s c a n s ( I / O )

F P - G r o w t h : a l l o w s f r e q u e n t i t e m s e t d i s c o v e r y w i t h o u t

c a n d i d a t e i t e m s e t g e n e r a t i o n . T w o s t e p a p p r o a c h :

S t e p 1 : B u i l d a c o m p a c t d a t a s t r u c t u r e c a l l e d t h e F P - t r e e

B u i l t u s i n g 2 p a s s e s o v e r t h e d a t a - s e t .

S t e p 2 : E x t r a c t s f r e q u e n t i t e m s e t s d i r e c t l y f r o m t h e F P - t r e e

T r a v e r s a l t h r o u g h F P - T r e e

C o r e D a t a S t r u c t u r e : F P - T r e e

N o d e s c o r r e s p o n d t o i t e m s a n d h a v e a

c o u n t e r

F P - G r o w t h r e a d s 1 t r a n s a c t i o n a t a

t i m e a n d m a p s i t t o a p a t h

F i x e d o r d e r i s u s e d , s o p a t h s c a n

o v e r l a p w h e n t r a n s a c t i o n s s h a r e i t e m s

( w h e n t h e y h a v e t h e s a m e p r e x ) .

I n t h i s c a s e , c o u n t e r s a r e i n c r e m e n t e d

P o i n t e r s a r e m a i n t a i n e d b e t w e e n

n o d e s c o n t a i n i n g t h e s a m e i t e m ,

c r e a t i n g s i n g l y l i n k e d l i s t s ( d o t t e d

l i n e s )

T h e m o r e p a t h s t h a t o v e r l a p , t h e

h i g h e r t h e c o m p r e s s i o n . F P - t r e e m a y

t i n m e m o r y .

F r e q u e n t i t e m s e t s e x t r a c t e d f r o m t h e

F P - T r e e .

http://find/

http://goback/

http://find/

http://goback/



S t e p 1 : F P - T r e e C o n s t r u c t i o n ( E x a m p l e )

F P - T r e e i s c o n s t r u c t e d u s i n g 2 p a s s e s o v e r t h e d a t a - s e t :

P a s s 1 :

S c a n d a t a a n d n d s u p p o r t f o r e a c h i t e m .

D i s c a r d i n f r e q u e n t i t e m s .

S o r t f r e q u e n t i t e m s i n d e c r e a s i n g o r d e r b a s e d o n t h e i r s u p p o r t .

F o r o u r e x a m p l e : a , b , c , d , e

U s e t h i s o r d e r w h e n b u i l d i n g t h e F P - T r e e , s o c o m m o n p r e x e s

c a n b e s h a r e d .


P a s s 2 : c o n s t r u c t t h e F P - T r e e ( s e e d i a g r a m o n n e x t s l i d e )

R e a d t r a n s a c t i o n 1 :

{a ,b }

C r e a t e 2 n o d e s a a n d b a n d t h e p a t h n u l l → a → b . S e t

c o u n t s o f a a n d b t o 1 .

R e a d t r a n s a c t i o n 2 : {b

,c ,d }

C r e a t e 3 n o d e s f o r b , c a n d d a n d t h e p a t h

n u l l → b → c → d . S e t c o u n t s t o 1 .

N o t e t h a t a l t h o u g h t r a n s a c t i o n 1 a n d 2 s h a r e b , t h e p a t h s a r e

d i s j o i n t a s t h e y d o n ' t s h a r e a c o m m o n p r e x . A d d t h e l i n k

b e t w e e n t h e b ' s .

R e a d t r a n s a c t i o n 3 : {a

,c ,d

,e }

I t s h a r e s c o m m o n p r e x i t e m a w i t h t r a n s a c t i o n 1 s o t h e p a t h

f o r t r a n s a c t i o n 1 a n d 3 w i l l o v e r l a p a n d t h e f r e q u e n c y c o u n t

f o r n o d e a w i l l b e i n c r e m e n t e d b y 1 . A d d l i n k s b e t w e e n t h e c ' s

a n d d ' s .

C o n t i n u e u n t i l a l l t r a n s a c t i o n s a r e m a p p e d t o a p a t h i n t h e

F P - t r e e .

http://find/

http://goback/

http://find/

http://goback/




F P - T r e e s i z e

T h e F P - T r e e u s u a l l y h a s a s m a l l e r s i z e t h a n t h e u n c o m p r e s s e d

d a t a t y p i c a l l y m a n y t r a n s a c t i o n s s h a r e i t e m s ( a n d h e n c e

p r e x e s ) .

B e s t c a s e s c e n a r i o : a l l t r a n s a c t i o n s c o n t a i n t h e s a m e s e t o f

i t e m s .

1 p a t h i n t h e F P - t r e e

W o r s t c a s e s c e n a r i o : e v e r y t r a n s a c t i o n h a s a u n i q u e s e t o f

i t e m s ( n o i t e m s i n c o m m o n )

S i z e o f t h e F P - t r e e i s a t l e a s t a s l a r g e a s t h e o r i g i n a l d a t a .

S t o r a g e r e q u i r e m e n t s f o r t h e F P - t r e e a r e h i g h e r n e e d t o

s t o r e t h e p o i n t e r s b e t w e e n t h e n o d e s a n d t h e c o u n t e r s .

T h e s i z e o f t h e F P - t r e e d e p e n d s o n h o w t h e i t e m s a r e o r d e r e d

O r d e r i n g b y d e c r e a s i n g s u p p o r t i s t y p i c a l l y u s e d b u t i t d o e s

n o t a l w a y s l e a d t o t h e s m a l l e s t t r e e ( i t ' s a h e u r i s t i c ) .

http://find/

http://goback/

http://find/

http://goback/




F P - G r o w t h e x t r a c t s f r e q u e n t i t e m s e t s f r o m t h e F P - t r e e .

B o t t o m - u p a l g o r i t h m f r o m t h e l e a v e s t o w a r d s t h e r o o t

D i v i d e a n d c o n q u e r : r s t l o o k f o r f r e q u e n t i t e m s e t s e n d i n g i n

e , t h e n d e , e t c . . . t h e n d , t h e n c d , e t c . . .

F i r s t , e x t r a c t p r e x p a t h s u b - t r e e s e n d i n g i n a n i t e m ( s e t ) . ( h i n t : u s e

t h e l i n k e d l i s t s )

↑C o m p l e t e F P - t r e e

→E x a m p l e : p r e x p a t h

s u b - t r e e s


E a c h p r e x p a t h s u b - t r e e i s p r o c e s s e d r e c u r s i v e l y t o e x t r a c t

t h e f r e q u e n t i t e m s e t s . S o l u t i o n s a r e t h e n m e r g e d .

E . g . t h e p r e x p a t h s u b - t r e e f o r e w i l l b e u s e d t o e x t r a c t

f r e q u e n t i t e m s e t s e n d i n g i n e , t h e n i n d e , c e , b e a n d a e , t h e n

i n c d e , b d e , c d e , e t c .

D i v i d e a n d c o n q u e r a p p r o a c h

P r e x p a t h s u b - t r e e e n d i n g i n e .

http://find/

http://goback/

http://find/

http://goback/



E x a m p l e

L e t m i n S u p = 2 a n d e x t r a c t a l l f r e q u e n t i t e m s e t s c o n t a i n i n g e .

1 . O b t a i n t h e p r e x p a t h s u b - t r e e f o r e :

2 . C h e c k i f e i s a f r e q u e n t i t e m b y a d d i n g t h e c o u n t s a l o n g t h e

l i n k e d l i s t ( d o t t e d l i n e ) . I f s o , e x t r a c t i t .

Y e s , c o u n t = 3 s o

{e

}i s e x t r a c t e d a s a f r e q u e n t i t e m s e t .

3 . A s e i s f r e q u e n t , n d f r e q u e n t i t e m s e t s e n d i n g i n e . i . e . d e ,

c e , b e a n d a e .

i . e . d e c o m p o s e t h e p r o b l e m r e c u r s i v e l y .

T o d o t h i s , w e m u s t r s t t o o b t a i n t h e c o n d i t i o n a l F P - t r e e f o r

e .

C o n d i t i o n a l F P - T r e e

T h e F P - T r e e t h a t w o u l d b e b u i l t i f w e o n l y c o n s i d e r

t r a n s a c t i o n s c o n t a i n i n g a p a r t i c u l a r i t e m s e t ( a n d t h e n

r e m o v i n g t h a t i t e m s e t f r o m a l l t r a n s a c t i o n s ) .

E x a m p l e : F P - T r e e c o n d i t i o n a l o n e .

http://find/

http://goback/

http://find/

http://goback/




T o o b t a i n t h e c o n d i t i o n a l F P - t r e e f o r e f r o m t h e p r e x s u b - t r e e

e n d i n g i n e :

U p d a t e t h e s u p p o r t c o u n t s a l o n g t h e p r e x p a t h s ( f r o m e ) t o

r e e c t t h e n u m b e r o f t r a n s a c t i o n s c o n t a i n i n g e .

b a n d c s h o u l d b e s e t t o 1 a n d a t o 2 .



e n d i n g i n e :

R e m o v e t h e n o d e s c o n t a i n i n g e i n f o r m a t i o n a b o u t n o d e e i s

n o l o n g e r n e e d e d b e c a u s e o f t h e p r e v i o u s s t e p

http://find/

http://goback/

http://find/

http://goback/





e n d i n g i n e :

R e m o v e i n f r e q u e n t i t e m s ( n o d e s ) f r o m t h e p r e x p a t h s

E . g . b h a s a s u p p o r t o f 1 ( n o t e t h i s r e a l l y m e a n s b e h a s a

s u p p o r t o f 1 ) . i . e . t h e r e i s o n l y 1 t r a n s a c t i o n c o n t a i n i n g b a n d

e s o b e i s i n f r e q u e n t c a n r e m o v e b .

Q u e s t i o n : w h y w e r e c a n d d n o t r e m o v e d ?

E x a m p l e ( c o n t i n u e d )

4 . U s e t h e t h e c o n d i t i o n a l F P - t r e e f o r e t o n d f r e q u e n t

i t e m s e t s e n d i n g i n d e , c e a n d a e

N o t e t h a t b e i s n o t c o n s i d e r e d a s b i s n o t i n t h e c o n d i t i o n a l

F P - t r e e f o r e .

F o r e a c h o f t h e m ( e . g . d e ) , n d t h e p r e x p a t h s f r o m t h e

c o n d i t i o n a l t r e e f o r e , e x t r a c t f r e q u e n t i t e m s e t s , g e n e r a t e

c o n d i t i o n a l F P - t r e e , e t c . . . ( r e c u r s i v e )

E x a m p l e : e → d e → a d e ( {d , e }, {a , d , e } a r e f o u n d t o b e

f r e q u e n t )

http://find/

http://goback/

http://find/

http://goback/



E x a m p l e ( c o n t i n u e d )

4 . U s e t h e t h e c o n d i t i o n a l F P - t r e e f o r e t o n d f r e q u e n t

i t e m s e t s e n d i n g i n d e , c e a n d a e

E x a m p l e : e → c e ( { c , e } i s f o u n d t o b e f r e q u e n t )

e t c . . . ( a e , t h e n d o t h e w h o l e t h i n g f o r b , . . . e t c )

R e s u l t

F r e q u e n t i t e m s e t s f o u n d ( o r d e r e d b y s u x a n d o r d e r i n w h i c h

t h e y a r e f o u n d ) :

http://find/

http://goback/

http://find/

http://goback/



D i s c u s s i o n

A d v a n t a g e s o f F P - G r o w t h

o n l y 2 p a s s e s o v e r d a t a - s e t

c o m p r e s s e s d a t a - s e t

n o c a n d i d a t e g e n e r a t i o n

m u c h f a s t e r t h a n A p r i o r i

D i s a d v a n t a g e s o f F P - G r o w t h

F P - T r e e m a y n o t t i n m e m o r y ! !

F P - T r e e i s e x p e n s i v e t o b u i l d

T r a d e - o : t a k e s t i m e t o b u i l d , b u t o n c e i t i s b u i l t , f r e q u e n t

i t e m s e t s a r e r e a d o e a s i l y .

T i m e i s w a s t e d ( e s p e c i a l l y i f s u p p o r t t h r e s h o l d i s h i g h ) , a s t h e

o n l y p r u n i n g t h a t c a n b e d o n e i s o n s i n g l e i t e m s .

s u p p o r t c a n o n l y b e c a l c u l a t e d o n c e t h e e n t i r e d a t a - s e t i s

a d d e d t o t h e F P - T r e e .

R e f e r e n c e s

[ 1 ] P a n g - N i n g T a n , M i c h a e l S t e i n b a c h , V i p i n K u m a r :

I n t r o d u c t i o n t o D a t a M i n i n g , A d d i s o n - W e s l e y .

C h a p t e r 6 : A s s o c i a t i o n A n a l y s i s : B a s i c C o n c e p t s a n d

A l g o r i t h m s .

A v a i l a b l e f r o m

h t t p :

/ / w w w - u s e r s . c s . u m n . e d u / ~ k u m a r / d m b o o k / i n d e x . p h p

http://www-users.cs.umn.edu/~kumar/dmbook/index.php







fp growth presentation v1 (handout)

Documents