1 example of time series analysis by ssa

7/28/2019 1 Example of Time Series Analysis by SSA

1/7

1 E x a m p l e o f T i m e S e r i e s A n a l y s i s b y S S A

1

L e t u s i l l u s t r a t e t h e ' C a t e r p i l l a r ' - S S A t e c h n i q u e [ 1 ] b y t h e e x a m p l e o f t i m e s e r i e s a n a l y s i s .

C o n s i d e r t h e t i m e s e r i e s F O R T ( m o n t h l y v o l u m e s o f f o r t i e d w i n e s a l e s i n A u s t r a l i a f r o m J a n u a r y

1 9 8 4 t i l l J u n e 1 9 9 4 ) . W e e x a m i n e t h e w h o l e t i m e s e r i e s ( o f l e n g t h N= 1 7 4 ) a s w e l l a s i t s s u b s e r i e s f o r m e d f r o m t h e r s t 1 2 0 p o i n t s . W e u s e d e s i g n a t i o n s F O R T 1 7 4 f o r t h e f o r m e r a n d F O R T 1 2 0

f o r t h e l a t t e r . P r e s e n t e d g u r e s i l l u s t r a t e t h e t h e o r e t i c a l c o n c e p t s a n d s h o u l d h e l p t o g e t a

b e t t e r u n d e r s t a n d i n g o f t h e m e t h o d a p p r o a c h . V i s u a l a n a l y s i s o f t h e t i m e s e r i e s d e p i c t e d i n

F i g . 1 i n d i c a t e s t h a t t h i s s e r i e s h a s a t r e n d a n d t h i s t r e n d c a n b e a p p r o x i m a t e d e i t h e r b y l i n e a r

f u n c t i o n o r b y e x p o n e n t i a l l y d e c r e a s i n g f u n c t i o n . A l s o i t s e e m s t h a t t h e s e a s o n a l c o m p o n e n t h a s

c o m p l i c a t e d a n d c h a n g i n g b e h a v i o r . T h e p e r i o d o g r a m t h e c e n t e r e d t i m e s e r i e s ( F i g . 2 ) c o n r m s

t h i s a s s u m p t i o n . T h i s p e r i o d o g r a m i s c o n s t r u c t e d o n l y o n t h e r s t 1 6 8 p o i n t s f o r r e n i n g t h e

r e p r e s e n t a t i o n , a s 1 6 8 i s d i v i s i b l e b y 1 2 , t h e n u m b e r o f m o n t h s p e r y e a r .

T h e a i m o f t h e ' C a t e r p i l l a r ' - S S A a n a l y s i s i s d e c o m p o s i t i o n o f t h i s t i m e s e r i e s i n t o t h r e e

c o m p o n e n t s : a t r e n d , a s e a s o n a l c o m p o n e n t a n d a n o i s e .

T h e c h o i c e o f w i n d o w l e n g t h . A t r s t , l e t u s g u e s s t h e p o s s i b l e d i m e n s i o n o f t h e s i g n a l

( c o m p o s e d o f a t r e n d a n d a p e r i o d i c a l c o m p o n e n t ) . T h e t r e n d o f t h e F O R T t i m e s e r i e s i s l i k e l y

d e s c r i b e d b y e i g e n t r i p l e s 1 2 ; t h e s e a s o n a l c o m p o n e n t c o n s i s t s o f h a r m o n i c s w i t h f r e q u e n c i e s

1 / 1 2 ( a n n u a l p e r i o d i c i t y ) , 1 / 6 = 2 / 1 2 ( h a l f - y e a r ) , 1 / 4 = 3 / 1 2 , 1 / 3 = 4 / 1 2 , 1 / 2 . 4 = 5 / 1 2 , 1 / 2 = 6 / 1 2 .

D i m e n s i o n o f e a c h h a r m o n i c w i t h f r e q u e n c y l e s s t h a n 1 / 2 i s e q u a l t o 2 , w h e r e a s t h e h a r m o n i c w i t h

f r e q u e n c y 1 / 2 h a s t h e d i m e n s i o n 1 ( w e a s s u m e t h a t c h a n g e s o f t h e h a r m o n i c s a m p l i t u d e s h a v e

e x p o n e n t i a l c h a r a c t e r , p e r h a p s w i t h d i e r e n t r a t e s f o r d i e r e n t h a r m o n i c s ) . T h u s , t h e e x p e c t e d

d i m e n s i o n o f t h e t i m e s e r i e s s h o u l d n o t e x c e e d 1 3 . I f t h e t i m e s e r i e s d i d n ' t i n c l u d e a n o i s e

a n d i t s c o m p o n e n t s w e r e s t r o n g l y s e p a r a b l e f r o m e a c h o t h e r , t h e n i t w o u l d b e s u c i e n t t o u s e

w i n d o w l e n g t h 1 3 f o r t i m e s e r i e s d e c o m p o s i t i o n i n t o a t r e n d a n d a s e a s o n a l c o m p o n e n t . H o w e v e r

a e x a c t s e p a r a b i l i t y d o e s n ' t p r a c t i c a l l y e x i s t f o r r e a l - l i f e d a t a a n d s o w e n e e d t o u s e t h e o r e t i c a l

r e s u l t s a b o u t a p p r o x i m a t e ( a s y m p t o t i c ) s e p a r a b i l i t y o f a s l o w l y v a r y i n g t r e n d a n d a h a r m o n i c .

T o o b t a i n b e t t e r a c c u r a c y w e n e e d t o c h o o s e w i n d o w l e n g t h L c l o s e t o a h a l f o f t h e t i m e s e r i e s l e n g t h ( s i n c e a c o n v e r g e n c e r a t e o f s e p a r a b i l i t y e r r o r t o z e r o h a s t h e o r d e r

1/min(L,K), w h e r e

K = N L + 1, N d e n o t e s t h e l e n g t h o f o u r t i m e s e r i e s ) . W e k n o w t h a t f o r g e t t i n g b e t t e r s e p a r a b i l i t y o f p e r i o d i c a l c o m p o n e n t s w e s h o u l d s e l e c t L a n d K d i v i s i b l e b y p e r i o d . M o r e o v e r i t i s m o r e i m p o r t a n t t h a t t h e s m a l l e r o f L a n d K n u m b e r i s d i v i s i b l e b y 1 2 , s o w e c h o o s e w i n d o w l e n g t h L = 84 ( N= 174 , h e n c e K= 91) .

T h e m e t h o d o f e i g e n t r i p l e s i d e n t i c a t i o n . L e t u s c o n s i d e r t h e r e s u l t o f S i n g u l a r V a l u e

D e c o m p o s i t i o n o f t h e t r a j e c t o r y m a t r i x p e r f o r m e d w i t h t h e c h o s e n w i n d o w l e n g t h . F i g . 3

r e p r e s e n t s e i g e n v e c t o r s f r o m t h e r s t s i x e i g e n t r i p l e s ( r e c a l l t h a t e i g e n t r i p l e = ( s q u a r e r o o t o f

e i g e n v a l u e , e i g e n v e c t o r , f a c t o r v e c t o r ) = ( s i n g u l a r v a l u e , l e f t s i n g u l a r v e c t o r , r i g h t s i n g u l a r

v e c t o r ) ) . I t s h o u l d b e r e m a r k e d t h a t t h e f o r m o f f a c t o r v e c t o r s ( s o - c a l l e d r i g h t s i n g u l a r v e c t o r s ) i s

a l m o s t t h e s a m e a s t h e f o r m o f l e f t o n e s ( e i g e n v e c t o r s ) b e c a u s e L i s c l o s e t o K. I f w e t o o k s m a l l e r w i n d o w l e n g t h , t h e n t h e e i g e n v e c t o r s w o u l d h a v e m o r e r e g u l a r f o r m i n c o m p a r i s o n w i t h f a c t o r

v e c t o r s , s i n c e t h e l a t t e r o n e s w o u l d r e e c t t h e v a r y i n g o f h a r m o n i c c o m p o n e n t s a m p l i t u d e s .

L e t u s u s e t h e c o n c l u s i o n s a b o u t s i n g u l a r v e c t o r s f o r m f o r i d e n t i c a t i o n o f e i g e n t r i p l e s

c o r r e s p o n d i n g t o a t r e n d a n d h a r m o n i c s u n d e r t h e a s s u m p t i o n o f t h e i r a p p r o x i m a t e s e p a r a b i l i t y .

T r e n d i d e n t i c a t i o n . L e t u s s t a r t w i t h i d e n t i c a t i o n o f a t r e n d . W e k n o w t h a t s i n g u l a r

v e c t o r s h a v e ( i n g e n e r a l ) t h e s a m e f o r m a s t h e c o r r e s p o n d i n g c o m p o n e n t s o f t h e i n i t i a l t i m e

s e r i e s . T h u s w e s h o u l d n d s l o w l y v a r y i n g e i g e n v e c t o r s . I t c a n b e d o n e b y c o n s i d e r a t i o n o f

o n e - d i m e n s i o n a l p l o t s o f e i g e n v e c t o r s . I n t h i s i n s t a n c e o n l y t h e l e a d i n g e i g e n v e c t o r h a s t h e

1

T h i s i s t h e e x a m p l e s e c t i o n o f [ 2 ] . S e e a l s o h t t p : / / w w w . g i s t a t g r o u p . c o m / c a t /

1


2/7

r e q u i r e d f o r m , i . e . , t r e n d i s d e s c r i b e d b y o n e e i g e n t r i p l e . T h i s d i r e c t l y i m p l i e s t h a t o u r t r e n d

i s a p p r o x i m a t e d b y a n e x p o n e n t i a l f u n c t i o n . N o t e t h a t t h e m o r e c o m p l i c a t e d f o r m a t r e n d h a s ,

t h e l a r g e r ( a p p r o x i m a t e ) d i m e n s i o n i t h a s a n d l a r g e r a m o u n t o f e i g e n t r i p l e s c o r r e s p o n d s t o i t .

H a r m o n i c s i d e n t i c a t i o n . N o w w e w i l l t r y t o i d e n t i f y h a r m o n i c c o m p o n e n t s ( p o s s i b l y w i t h

v a r y i n g a m p l i t u d e s ) p r o d u c e d b y t h e s e a s o n a l c o m p o n e n t o f t h e o r i g i n a l t i m e s e r i e s . A s s h o w n i n

F i g . 3 , e i g e n t r i p l e s 2 6 c o r r e s p o n d t o s o m e h a r m o n i c s , s i n c e t h e i r s i n g u l a r v e c t o r s h a v e t h e r e g u l a r

p e r i o d i c a l f o r m . W e k n o w t h a t e v e r y h a r m o n i c w i t h f r e q u e n c y s m a l l e r t h a n 0 . 5 p r o d u c e s t w o

e i g e n t r i p l e s . ( A h a r m o n i c w i t h f r e q u e n c y 0 . 5 g e n e r a t e s o n e e i g e n t r i p l e w i t h s a w - t o o t h s i n g u l a r

v e c t o r s a s t h e y a r e a l s o h a r m o n i c s w i t h p e r i o d 2 ; h e r e w e d o n o t s e e s u c h v e c t o r s . ) O n e w a y t o

n d p a i r s o f c o m p o n e n t s c o r r e s p o n d i n g t o h a r m o n i c s i s c o n s i d e r a t i o n o f t w o - d i m e n s i o n a l p l o t s

o f s i n g u l a r v e c t o r s .

I t i s e n o u g h t o e x a m i n e o n l y p l o t s w h i c h a r e b u i l t f o r a d j a c e n t e i g e n t r i p l e s ( o r d e r e d b y

e i g e n v a l u e s ) b e c a u s e i t i s k n o w n t h a t e i g e n v a l u e s f r o m t h e c o r r e s p o n d i n g t o h a r m o n i c p a i r a r e

c l o s e f o r a s u c i e n t l y l o n g t i m e s e r i e s . I n F i g . 4 y o u c a n r e c o g n i z e r e g u l a r t w o - d i m e n s i o n a l g r a p h s

w h i c h f o r m t w o - d i m e n s i o n a l t r a j e c t o r i e s w i t h v e r t i c e s i n a s p i r a l - s h a p e d c u r v e . I t i n d i c a t e s t h a t

t h e s e p a i r s o f s i n g u l a r v e c t o r s a r e p r o d u c e d b y m o d u l a t e d h a r m o n i c c o m p o n e n t s o f t h e i n i t i a l

t i m e s e r i e s . I n t h a t w a y , e i g e n t r i p l e s ( E T i n a b b r e v i a t e d f o r m ) E T 2 , 3 c o r r e s p o n d t o p e r i o d 1 2 ,

E T 4 , 5 t o 4 , E T 6 , 7 t o 6 , E T 8 , 9 t o 2 . 4 , E T 1 0 , 1 1 t o 3 . W e u s e a n o t i o n ' f r a c t i o n a l p e r i o d ' f o r a

h a r m o n i c w i t h t h e f r e q u e n c y i n v e r s e t o t h i s p e r i o d .

S u p p l e m e n t a r y c h a r a c t e r i s t i c s . L e t u s d e s c r i b e a d d i t i o n a l i n f o r m a t i o n , w h i c h c a n h e l p

u s t o i d e n t i f y e i g e n t r i p l e s a n d t o c o n r m c o m p o n e n t s g r o u p i n g . F i g . 5 ( w h i c h d e p i c t s l o g a r i t h m s

o f e i g e n v a l u e s ) p r o v i d e s s u c h i n f o r m a t i o n i n t h i s w a y : a p a i r o f e i g e n t r i p l e s c o r r e s p o n d i n g t o a

h a r m o n i c p r o d u c e s a p l a t e a u i n t h i s g r a p h .

A n a l y s i s o f t h e m a t r i x o f w - c o r r e l a t i o n s b e t w e e n r e c o n s t r u c t e d c o m p o n e n t s o f i n i t i a l t i m e s e r i e s i s a l s o u s e f u l f o r i d e n t i c a t i o n . F i g . 6 d e p i c t s t h e s i x l e a d i n g e l e m e n t a r y r e c o n s t r u c t e d

c o m p o n e n t s o f t h e o r i g i n a l t i m e s e r i e s , w h e r e e a c h c o m p o n e n t i s f o r m a l l y r e c o n s t r u c t e d b y o n e

e i g e n t r i p l e . R e c a l l t h a t w - c o r r e l a t i o n i s a w e i g h t e d c o r r e l a t i o n b e t w e e n r e c o n s t r u c t e d t i m e s e r i e s . T h e c o n d i t i o n o f i t s e q u a l i t y t o z e r o i s n e c e s s a r y f o r s e p a r a b i l i t y o f t h e c o r r e s p o n d i n g t i m e s e r i e s

c o m p o n e n t s . F i g . 7 c o n r m s t h e p e r f o r m e d i d e n t i c a t i o n : t h e

w- c o r r e l a t i o n f o r c o m p o n e n t s f r o m

a p a i r w h i c h c o r r e s p o n d s t o a h a r m o n i c i s r a t h e r h i g h w h e r e a s w - c o r r e l a t i o n s b e t w e e n p a i r s a n d a t r e n d a r e c l o s e t o z e r o ( i t ' s r e e c t e d b y w h i t e c o l o r o f c o r r e s p o n d i n g e l e m e n t s o f t h e c o r r e l a t i o n

m a t r i x ) .

S e p a r a t i o n o f a s i g n a l f r o m n o i s e . L e t u s d w e l l u p o n a q u e s t i o n o f s e p a r a t i o n o f

c o m p o n e n t s c o r r e s p o n d i n g t o a s i g n a l f r o m n o i s e c o m p o n e n t s . F i r s t l y , i r r e g u l a r b e h a v i o r o f

s i n g u l a r v e c t o r s c a n i n d i c a t e t h e i r b e l o n g i n g t o a s e t i n d u c e d b y t h e n o i s e c o m p o n e n t . T h i s

i r r e g u l a r i t y s h o u l d b e d i s t i n g u i s h e d f r o m c o m p o n e n t s m i x t u r e , w h i c h i s c a u s e d b y l a c k o f

s t r o n g s e p a r a b i l i t y o f t h e s e c o m p o n e n t s . B o u n d a r y b e t w e e n s i g n a l a n d n o i s e c o m p o n e n t s c a n b e

c o n r m e d b y s l o w ( a l m o s t w i t h o u t j u m p s ) d e c r e a s i n g o f e i g e n v a l u e s s t a r t i n g f r o m s o m e n u m b e r .

S e c o n d l y , t h e l a r g e s e t o f e i g e n t r i p l e s g e n e r a t e d b y r e c o n s t r u c t e d c o m p o n e n t s w h i c h a r e c o r r e l a t e d

b e t w e e n e a c h o t h e r i s q u i t e l i k e l y t o b e l o n g t o a n o i s e . F i g . 7 c o n t a i n s s u c h b l o c k o f e i g e n t r i p l e s

w i t h n u m b e r s 1 4 - 8 4 . T h e q u e s t i o n a b o u t t h e p a i r E T 1 2 , 1 3 i s s t i l l o p e n . O n t h e o n e h a n d , t h i s p a i r

i s w e l l s e p a r a t e d f r o m t h e r e s i d u a l . O n t h e o t h e r h a n d , p e r i o d o f t h e c o m p o n e n t r e c o n s t r u c t e d

b y E T 1 2 , 1 3 i s c l o s e t o 2 . 3 3 , a s t h e p e r i o d o g r a m i n d i c a t e s . S u c h p e r i o d c a n n o t b e i n t e r p r e t e d i n

t h e c o n t e x t o f s e a s o n a l i t y . I t c a n b e c a u s e d e i t h e r b y a n o i s e o r b y a h i g h - m o d u l a t e d h a r m o n i c

w i t h p e r i o d 2 . 4 . I t i s n ' t p o s s i b l e t o c o m e t o a r e l i a b l e c o n c l u s i o n o n t h i s s p e c i c t i m e s e r i e s

c o m p o n e n t , s o w e w i l l c l a s s i f y E T 1 2 , 1 3 a s a n o i s e .

W e a p p l y s t a n d a r d s t a t i s t i c a l m e t h o d s t o c o n r m t h e a c c u r a c y o f p e r f o r m e d s e p a r a t i o n o f

a s i g n a l f r o m a n o i s e . F i g . 8 d e p i c t s d e c o m p o s i t i o n o f i n i t i a l t i m e s e r i e s i n t o t h r e e c o m p o n e n t s :

t h e t r e n d ( E T 1 , o n t h e b a c k g r o u n d o f t h e i n i t i a l t i m e s e r i e s ) , t h e p e r i o d i c ( s e a s o n a l ) c o m p o n e n t

2


3/7


4/7

Jan80 Jul81 Jan83 Jul84 Jan86 Jul87 Jan89 Jul90 Jan92 Jul93

1208

1759

2311

2862

3413

3964

4516

5067

5618

. 1 : F O R T 1 7 4 : i n i t i a l t i m e s e r i e s

0 0.083 0.167 0.250 0.333 0.417 0.500

0

32867

65734

98600

131467

164334

197201

230067

262934

. 2 : F O R T 1 7 4 : p e r i o d o g r a m o f c e n t e r e d t i m e s e r i e s ( t h e r s t 1 6 8 p o i n t s )

1(94.648%)

0.093

0.109

0.124

2(1.428%)

-0.19

0.00

0.19

3(1.364%)

-0.19

0.00

0.19

4(0.504%)

-0.13

0.00

0.13

5(0.495%)

-0.13

0.00

0.13

6(0.262%)

-0.18

0.00

0.18

. 3 : F O R T 1 7 4 : o n e - d i m e n s i o n a l p l o t s o f e i g e n v e c t o r s

4


5/7

2(1.428%) - 3(1.364%) 3(1.364%) - 4(0.504%) 4(0.504%) - 5(0.495%)

5(0.495%) - 6(0.262%) 6(0.262%) - 7(0.253%) 7(0.253%) - 8(0.147%)

8(0.147%) - 9(0.144%) 9(0.144%) - 10(0.092%) 10(0.092%) - 11(0.089%)

. 4 : F O R T 1 7 4 : t w o - d i m e n s i o n a l p l o t s o f e i g e n v e c t o r s

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29

11.4

12.5

13.7

14.8

15.9

17.1

18.2

19.3

20.5

. 5 : F O R T 1 7 4 : l o g a r i t h m s o f t h e l e a d i n g 3 0 e i g e n v a l u e s

1(94.648%)

2218

3082

3946

2(1.428%)

-1158

-251

656

3(1.364%)

-518

-2

514

4(0.504%)

-272

-38

195

5(0.495%)

-175

0

175

6(0.262%)

-216

83

381

. 6 : F O R T 1 7 4 : e l e m e n t a r y r e c o n s t r u c t e d c o m p o n e n t s

5


6/7

- [0.00 , 0.05]- (0.05 , 0.10]- (0.10 , 0.14]- (0.14 , 0.19]- (0.19 , 0.24]- (0.24 , 0.29]- (0.29 , 0.33]- (0.33 , 0.38]- (0.38 , 0.43]- (0.43 , 0.48]- (0.48 , 0.52]- (0.52 , 0.57]

- (0.57 , 0.62]- (0.62 , 0.67]- (0.67 , 0.71]- (0.71 , 0.76]- (0.76 , 0.81]- (0.81 , 0.86]- (0.86 , 0.90]- (0.90 , 0.95]- (0.95 , 1.00]

(1) (5) (9) (13) (17) (21) (25) (29)(1)

(5)

(9)

(13)

(17)

(21)

(25)

(29)

. 7 : F O R T 1 7 4 : m a t r i x o f w - c o r r e l a t i o n s b e t w e e n e l e m e n t a r y r e c o n s t r u c t e d c o m p o n e n t s

1(94.648%)

Jan80 Jan82 Jan84 Jan86 Jan88 Jan90 Jan92 Jan94

1154

5618

2-11(4.778%)

Jan80 Jan82 Jan84 Jan86 Jan88 Jan90 Jan92 Jan94-1387

1648

12-84(0.574%)

Jan80 Jan82 Jan84 Jan86 Jan88 Jan90 Jan92 Jan94-1060

678

. 8 : F O R T 1 7 4 : d e c o m p o s i t i o n o f t h e t i m e s e r i e s i n t o t h e t r e n d ( o n t h e b a c k g r o u n d o f t h e

i n i t i a l t i m e s e r i e s , s e e t h e t o p g r a p h ) , t h e s e a s o n a l c o m p o n e n t ( i n t h e m i d d l e ) a n d t h e n o i s e ( t h e

b o t t o m g r a p h )

2,3(2.792%)


-1143

1101

4,5(0.999%)


-349

351

6,7(0.515%)


-375

376

. 9 : F O R T 1 7 4 : d e c o m p o s i t i o n o f t h e s e a s o n a l c o m p o n e n t i n t o t h e s u m o f h a r m o n i c s

6


7/7

- [0.00 , 0.05]- (0.05 , 0.10]- (0.10 , 0.14]- (0.14 , 0.19]- (0.19 , 0.24]- (0.24 , 0.29]- (0.29 , 0.33]- (0.33 , 0.38]- (0.38 , 0.43]- (0.43 , 0.48]- (0.48 , 0.52]- (0.52 , 0.57]- (0.57 , 0.62]- (0.62 , 0.67]- (0.67 , 0.71]- (0.71 , 0.76]- (0.76 , 0.81]- (0.81 , 0.86]- (0.86 , 0.90]- (0.90 , 0.95]- (0.95 , 1.00]

(1) (5) (9) (13) (17) (21) (25) (29)(1)

(5)

(9)

(13)

(17)

(21)

(25)

(29)

. 1 0 : F O R T 1 2 0 : m a t r i x o f

w- c o r r e l a t i o n s b e t w e e n e l e m e n t a r y r e c o n s t r u c t e d c o m p o n e n t s

0 0.083 0.167 0.250 0.333 0.417 0.5000

41009

82018

123027

164036

205045

246054

287063

328072

. 1 1 : F O R T 1 2 0 : p e r i o d o g r a m o f t h e c e n t e r e d t i m e s e r i e s

7

1 example of time series analysis by ssa

Documents