shaping frequency dependent time resolution when
TRANSCRIPT
7/27/2019 Shaping Frequency Dependent Time Resolution When
http://slidepdf.com/reader/full/shaping-frequency-dependent-time-resolution-when 1/10
S h a p i n g F r e q u e n c y D e p e n d e n t T i m e R e s o l u t i o n w h e n
E s t i m a t i n g S p e c t r a l P r o p e r t i e s w i t h P a r a m e t r i c M e t h o d s
F r e d r i k G u s t a f s s o n , S v a n t e G u n n a r s s o n , L e n n a r t L j u n g
D e p a r t m e n t o f E l e c t r i c a l E n g i n e e r i n g , L i n k o p i n g U n i v e r s i t y
S - 5 8 1 8 3 L i n k o p i n g , S w e d e n
E m a i l : f r e d r i k @ i s y . l i u . s e , s v a n t e @ i s y . l i u . s e , l j u n g @ i s y . l i u . s e
E D I C S : 3 . 9 . 3
A b s t r a c t | T h e p r o b l e m t o t r a c k t i m e - v a r y i n g p r o p e r t i e s o f a
s i g n a l i s s t u d i e d . T h e s o m e w h a t c o n t r a d i c t o r y n o t i o n o f \ t i m e -
v a r y i n g s p e c t r u m " a n d h o w t o e s t i m a t e t h e \ c u r r e n t " s p e c t r u m
i n a n o n - l i n e f a s h i o n i s d i s c u s s e d . T h e t r a d i t i o n a l c o n c e p t s a n d
r e l a t i o n s b e t w e e n t i m e a n d f r e q u e n c y r e s o l u t i o n a r e c r u c i a l f o r
t h i s p r o b l e m . W e i n t r o d u c e t w o d e n i t i o n s f o r t h e t i m e r e s o l u -
t i o n o f l t e r s , e s s e n t i a l l y m e a s u r i n g t h e e e c t i v e n u m b e r o f p a s t
d a t a t h a t a r e u s e d t o f o r m t h e e s t i m a t e . I n , f o r e x a m p l e , w a v e l e t
t r a n s f o r m t e c h n i q u e s f r e q u e n c y d e p e n d e n t t i m e r e s o l u t i o n s a r e
u s e d s o t h a t f e w e r d a t a a r e u s e d a t h i g h e r f r e q u e n c i e s , t h u s e n -
a b l i n g f a s t e r t r a c k i n g o f h i g h f r e q u e n c y c o m p o n e n t s ( a t t h e p r i c e
o f w o r s e f r e q u e n c y r e s o l u t i o n ) . T h e m a i n c o n t r i b u t i o n o f t h e p a -
p e r i s t o s h o w h o w t h i s s a m e f e a t u r e c a n b e i n t r o d u c e d w h e n
e s t i m a t i n g s p e c t r a v i a a t i m e - v a r y i n g , a u t o r e g r e s s i v e m o d e l o f
t h e s i g n a l . T h i s i s a c h i e v e d b y a s p e c i a l c h o i c e o f n o m i n a l c o v a r i -
a n c e m a t r i x f o r t h e u n d e r l y i n g p a r a m e t e r c h a n g e s .
I . I n t r o d u c t i o n
I t i s a b a s i c p r o b l e m i n m a n y a p p l i c a t i o n s t o s t u d y a n d t r a c k
t h e t i m e - v a r y i n g p r o p e r t i e s o f v a r i o u s s i g n a l s . T h i s i s a t t h e
h e a r t o f a d a p t a t i o n a n d d e t e c t i o n m e c h a n i s m s , a n d t h e r e i s a
r i c h l i t e r a t u r e o n t h i s s u b j e c t , e . g . 1 5 ] a n d 1 2 ] .
I n m a n y c o n t e x t s i t i s v e r y a t t r a c t i v e t o d e s c r i b e t h e s i g n a l
c h a r a c t e r i s t i c s i n t h e f r e q u e n c y d o m a i n , i . e . i t s s p e c t r a l p r o p -
e r t i e s . T h e s p e c t r u m i s i t s e l f a n a v e r a g e d , t i m e - i n v a r i a n t c o n -
c e p t a n d g e n e r a l i z a t i o n t o a \ t i m e - v a r y i n g " s p e c t r u m i s s o m e -
w h a t t r i c k y . O n e a s p e c t o f t h i s p r o b l e m l i e s i n t h e w e l l k n o w n
f r e q u e n c y - t i m e u n c e r t a i n t y r e l a t i o n , i . e . t h a t t h e f r e q u e n c y r e s -
o l u t i o n d e p e n d s o n t h e t i m e s p a n .
W e w i l l a r g u e t h a t i t i s n a t u r a l t o d e m a n d a q u i c k e r r e s p o n s e ,
i . e . b e t t e r t i m e r e s o l u t i o n f r o m t h e a d a p t i v e a l g o r i t h m , a t t h e
h i g h f r e q u e n c y t h a n a t t h e l o w f r e q u e n c y e n d . I n o t h e r w o r d s
w e s e e k a f r e q u e n c y d e p e n d e n t t i m e r e s o l u t i o n o f o u r a l g o r i t h m .
T h i s , a s s u c h , i s n o t h i n g n e w . A t y p i c a l u s e o f t h e w a v e l e t
t r a n s f o r m ( 1 ] , 1 4 ] , 2 ] ) i s e x a c t l y t o h a v e d i e r e n t t r a d e - o s
b e t w e e n t i m e a n d f r e q u e n c y r e s o l u t i o n i n d i e r e n t f r e q u e n c y
b a n d s .
F r o m t h i s p e r s p e c t i v e w e s h a l l e x a m i n e c u r r e n t p a r a m e t r i c
a d a p t a t i o n a l g o r i t h m s a n d s e e i f t h e y c a n o e r t h i s d e s i r e d f e a -
t u r e . I t w i l l t u r n o u t t h a t t h e m o s t u s e d a d a p t a t i o n a l g o r i t h m s {
L e a s t M e a n S q u a r e s ( L M S ) a n d R e c u r s i v e L e a s t S q u a r e s ( R L S )
{ d o n o t g i v e t h i s k i n d o f t r a d e - o : T h e t i m e r e s o l u t i o n f o r R L S
i s f r e q u e n c y i n d e p e n d e n t , w h i l e f o r L M S i t d e p e n d s o n t h e l e v e l
o f t h e s p e c t r u m ( n o t t h e f r e q u e n c y ) .
T h e m a j o r p o i n t o f t h i s c o n t r i b u t i o n i s , h o w e v e r , t h a t a
f r e q u e n c y - t i m e t r a d e - o o f t h e d e s i r e d t y p e c a n b e a c h i e v e d
a l s o i n p a r a m e t r i c m o d e l i n g . T h e k e y i s t o u s e a K a l m a n - l t e r
b a s e d a l g o r i t h m w i t h a c a r e f u l l y t a i l o r e d s t a t e n o i s e c o v a r i a n c e
m a t r i x .
I t i s w o r t h s t r e s s i n g t h a t t h e r e i s n o \ o p t i m a l " s o l u t i o n t o t h e
s i g n a l t r a c k i n g p r o b l e m , u n l e s s t h e c h a r a c t e r o f t h e t i m e v a r i a -
t i o n i s k n o w n . I n s t e a d , s o m e a d h o c c h o i c e s a r e u s e d : L M S f o r
t h e s i m p l i c i t y o f t h e a l g o r i t h m , o r R L S f o r t h e r a p i d r e c o v e r y
a f t e r a s u d d e n c h a n g e . T h e s e t w o a p p r o a c h e s c a n b e s e e n a s
c o r r e s p o n d i n g t o d i e r e n t , p a r t i c u l a r c h o i c e s o f s t a t e n o i s e c o -
v a r i a n c e m a t r i c e s i n a K a l m a n l t e r ( s e e 1 1 ] ) a n d e a c h h a v e j u s t
a s c a l a r t u n i n g p a r a m e t e r ( s t e p l e n g t h a n d f o r g e t t i n g f a c t o r , r e -
s p e c t i v e l y ) . W h a t w e s u g g e s t i s a n o t h e r a d h o c , d e f a u l t c h o i c e
o f a d a p t a t i o n , a l s o w i t h o n e s c a l a r t u n i n g p a r a m e t e r a n d c o r -
r e s p o n d i n g t o a p a r t i c u l a r s t a t e n o i s e c o v a r i a n c e m a t r i x . T h e
m e r i t o f t h i s a p p r o a c h i s t h a t i t g i v e s a n a t u r a l s o l u t i o n t o t h e
t i m e - f r e q u e n c y r e s o l u t i o n p r o b l e m .
T h e p a p e r i s o r g a n i z e d a s f o l l o w s : I n S e c t i o n 2 w e d i s c u s s
t h e n o t i o n o f a \ t i m e - v a r y i n g " s p e c t r u m a n d h o w i t c a n b e
f o r m a l i z e d , a n d i n S e c t i o n 3 w e m a k e s o m e b r i e f c o m m e n t s o n
m e t h o d s f o r n o n - p a r a m e t r i c s p e c t r u m m o d e l i n g . S e c t i o n 4 t h e n
d e a l s w i t h t e c h n i q u e s f o r p a r a m e t r i c s p e c t r u m m o d e l i n g , a n d i n
S e c t i o n 5 w e s h o w h o w t h e t i m e a n d f r e q u e n c y r e s o l u t i o n c a n
b e c h a r a c t e r i z e d i n t e r m s o f a f r e q u e n c y d e p e n d e n t w i n d o w s i z e
a n d a n a l g o r i t h m i s p r o p o s e d . A c o m p l e t e l y d i e r e n t a p p r o a c h
b a s e d o n a r a n d o m w a l k m o d e l o f t h e s p e c t r u m i s i n S e c t i o n
6 s h o w n t o g i v e t h e s a m e r e s u l t . T h e p r o p o s e d t e c h n i q u e i s
t h e n i l l u s t r a t e d o n s i m u l a t e d d a t a i n S e c t i o n 7 . F i n a l l y s o m e
c o n c l u s i o n s a r e g i v e n i n S e c t i o n 8 .
I I . T i m e - V a r y i n g S p e c t r a
C o n s i d e r a s i g n a l y ( t ) , w h i c h w e f o r t h i s d i s c u s s i o n t a k e t o b e
o b s e r v e d i n d i s c r e t e t i m e :
y ( t ) t = 0 1 : : : ( 1 )
O n e o f t h e m o s t s u c c e s s f u l w a y s t o d e s c r i b e t h e p r o p e r t i e s o f
y ( t ) i s t o s t u d y i t s s p e c t r u m
y
( ! ) =
1
X
k = ; 1
R
y
( k ) e
; i k !
( 2 )
w h e r e
R
y
( k ) = l i m
N ! 1
1
N
N
X
t = 1
y ( t ) y ( t ; k ) ( 3 )
a s s u m i n g t h a t t h e l i m i t e x i s t s f o r a l l k . T h e r e i s o f c o u r s e a n
e x t e n s i v e l i t e r a t u r e o n h o w t o e s t i m a t e a n d u t i l i z e s p e c t r a . S e e
f o r e x a m p l e 9 ] .
N o w , t h e s p e c t r u m i s i n h e r e n t l y a t i m e - i n v a r i a n t p r o p e r t y , o r
a t i m e - a v e r a g e d p r o p e r t y . I f t h e s i g n a l h a s t i m e - v a r y i n g p r o p -
e r t i e s - w h a t e v e r t h a t m e a n s - t h e y w o n ' t s h o w u p i n ( 2 ) , o t h e r
t h a n i n a t i m e - a v e r a g e d f a s h i o n . N e v e r t h e l e s s w e m a y w a n t
t o c a p t u r e " t i m e - v a r y i n g p r o p e r t i e s " i n s p e c t r a l t e r m s , a t l e a s t
i n t u i t i v e l y . T h e r e a r e m a n y a t t e m p t s t o d e s c r i b e s u c h t i m e
v a r y i n g s p e c t r a ,
"
y
( ! t ) " ( 4 )
7/27/2019 Shaping Frequency Dependent Time Resolution When
http://slidepdf.com/reader/full/shaping-frequency-dependent-time-resolution-when 2/10
f r o m s i m p l e s p e c t r o g r a m s ( u s i n g s p e c t r a l e s t i m a t e s c o m p u t e d
f r o m n i t e a n d m o v i n g b l o c k s o f o b s e r v e d d a t a ) t o s o p h i s t i c a t e d
t r a n s f o r m s o f v a r i o u s k i n d s . L a t e l y t h e r e h a s b e e n a s u b s t a n t i a l
i n t e r e s t i n t h e w a v e l e t t r a n s f o r m s a l s o a s a m e a n s t o c a p t u r e
s o m e v a r i a n t o f ( 4 ) . W e s h a l l b r i e y c o m m e n t o n s o m e o f t h e s e
a p p r o a c h e s i n t h e n e x t s e c t i o n .
W e c a n t h i n k o f
y
( ! t ) a s a " s n a p s h o t " o f t h e s i g n a l ' s f r e -
q u e n c y c o n t e n t s a t t i m e m o m e n t t . I t i s c l e a r , t h o u g h , t h a t
d u e t o t h e u n c e r t a i n t y r e l a t i o n s h i p b e t w e e n t i m e a n d f r e q u e n c y
t h e r e w i l l b e p r o b l e m s t o i n t e r p r e t w h a t a " m o m e n t a r y f r e -
q u e n c y " m i g h t b e . L e t u s h e r e i n t r o d u c e a f o r m a l d e n i t i o n
o f
y
( ! t ) t h a t i n i t s e l f i s n o n - c o n t r a d i c t o r y . W e s h a l l a s s u m e
t h a t t h e s i g n a l y ( t ) i s g e n e r a t e d f r o m a s t a t i o n a r y s i g n a l s o u r c e
e ( t ) a s a n A R - p r o c e s s :
A
t
( q ) y ( t ) = e ( t ) ( 5 )
o r , i n l o n g h a n d ,
y ( t ) = ; a
1
( t ) y ( t ; 1 ) ; ; a
n
( t ) y ( t ; n ) + e ( t ) ( 6 )
w h e r e
A
t
( q ) = 1 + a
1
( t ) q
; 1
+
+ a
n
( t ) q
; n
( 7 )
H e r e e ( t ) i s w h i t e n o i s e w i t h v a r i a n c e r
2
a n d q
; 1
i s t h e i n v e r s e
s h i f t o p e r a t o r . F o r t h e s i g n a l y ( t ) , g e n e r a t e d b y ( 6 ) , w e d e n e
t h e m o m e n t a r y s p e c t r u m a s
y
( ! t ) =
r
2
j A
t
( e
i !
) j
2
( 8 )
I n 1 0 ] t h e a u t h o r s u s e t h e t e r m i n s t a n t a n e o u s s p e c t r u m f o r t h i s
q u a n t i t y . T h i s i s a n e x a c t d e n i t i o n o f a m o m e n t a r y s p e c t r u m ,
b u t t h e q u e s t i o n i s w h e t h e r ( 8 ) c a p t u r e s w h a t w e i n t u i t i v e l y
h a v e i n m i n d w i t h t h e c o n c e p t " s p e c t r u m " . W e c a n m a k e t w o
r a t h e r o b v i o u s o b s e r v a t i o n s a r o u n d t h i s :
" A q u i c k c h a n g e " i n t h e s p e c t r u m a t l o w f r e q u e n c i e s i s r a t h e r
t o b e i n t e r p r e t e d a s a h i g h f r e q u e n c y c o m p o n e n t i n t h e s i g n a l .
T o b e p e r c e i v e d a s a v a r i a t i o n o f t h e s p e c t r u m a t a c e r t a i n
f r e q u e n c y t h e r a t e o f c h a n g e m u s t b e s i g n i c a n t l y s l o w e r ( a
f a c t o r 1 0 o r s o ) t h a n t h e f r e q u e n c y i t s e l f .
A l l t h i s i s o f c o u r s e w e l l i n a g r e e m e n t w i t h w e l l - k n o w n p r a c -
t i c a l w a y s o f h a n d l i n g " t i m e - v a r y i n g s p e c t r a " . I n a m p l i t u d e -
o r f r e q u e n c y - m o d u l a t i o n , t h e m o d u l a t i n g s i g n a l m u s t c h a n g e
m u c h s l o w e r t h a n t h e c a r r i e r . T h a t w i l l a l s o a l l o w t h e s i g n a l t o
p a s s w i t h t h e c a r r i e r t h r o u g h t h e b a n d p a s s l t e r s d e s i g n e d f o r
t h e c a r r i e r .
T h e b o t t o m l i n e o f t h i s d i s c u s s i o n i s t h u s : W h i l e ( 6 ) - ( 8 ) m a k e
p e r f e c t s e n s e a s a f o r m a l d e n i t i o n , i t i s o n l y m e a n i n g f u l a s
a d e n i t i o n o f " t i m e - v a r y i n g s p e c t r a " i f t h e t i m e v a r i a t i o n o f
A
t
( q ) i s s u c h t h a t
y
( ! t ) c h a n g e s s i g n i c a n t l y s l o w e r t h a n t h e
f r e q u e n c y ! i n q u e s t i o n .
I I I . M o t i v a t i o n a n d R e l a t i o n t o o t h e r A p p r o a c h e s
T h i s s e c t i o n b r i e y d e s c r i b e s s o m e n o n - p a r a m e t r i c a n d p a r a -
m e t r i c a p p r o a c h e s t o e s t i m a t e t i m e - v a r y i n g s p e c t r a . W e w i l l
f o c u s o n d i e r e n t p o s s i b i l i t i e s t o g e t d i e r e n t t i m e r e s o l u t i o n a t
d i e r e n t f r e q u e n c i e s .
A . N o n - p a r a m e t r i c m o d e l i n g
A m o n g a l l p r o p o s e d a p p r o a c h e s t o s p e c t r u m e s t i m a t i o n , s e e
f o r e x a m p l e 8 ] , 9 ] , 3 ] , 7 ] , t h e s i m p l e s t o n e i s b a s e d o n t h e
s q u a r e d m a g n i t u d e o f a F o u r i e r t r a n s f o r m Y ( ! ) o f t h e s i g n a l ,
c o m m o n l y r e f e r r e d t o a s t h e p e r i o d o g r a m ,
̂
y
( ! ) = j Y ( ! ) j
2
( 9 )
W e c h o o s e t o d i s c u s s e x t e n s i o n s t o t h e t i m e - v a r y i n g c a s e i n
t e r m s o f t h e s p e c t r a l f a c t o r Y ( ! t ) r a t h e r t h a n t h e s p e c t r u m
i t s e l f . T h e s i m p l e s t w a y t o g e t a t i m e - f r e q u e n c y r e p r e s e n t a t i o n
i s t o u s e t h e S h o r t - T i m e F o u r i e r T r a n s f o r m ( S T F T )
Y
S T F T
( ! t ) =
X
y ( ) w
N
( t ; ) e
; j !
( 1 0 )
H e r e a n d i n t h e s e q u e l w
N
( t ) i s a t i m e w i n d o w u s e d t o o b -
t a i n t i m e - r e s o l u t i o n . I n t h i s c a s e , w e t a k e t h e F o u r i e r t r a n s -
f o r m o f t h e t i m e - w i n d o w e d s i g n a l . T h e t i m e w i n d o w ' s l e n g t h
N t r a d e s o g o o d t i m e r e s o l u t i o n ( s m a l l N ) a n d f r e q u e n c y r e s -
o l u t i o n ( l a r g e N )
A r e l a t e d b u t c o n c e p t u a l l y d i e r e n t m e t h o d t h a t r e c e n t l y h a s
m e t c o n s i d e r a b l e i n t e r e s t i s t h e W a v e l e t T r a n s f o r m ( W T ) . S u r -
v e y s o f t h e w a v e l e t t h e o r y a r e p r o v i d e d b y 1 ] , 1 4 ] , 2 ] , a n d i t s
r e l a t i o n t o t i m e - f r e q u e n c y r e p r e s e n t a t i o n s i s g i v e n i n 7 ] . T h e
m o t h e r w a v e l e t w
N
( t ) i s a b a n d p a s s f u n c t i o n o f e e c t i v e t i m e
w i d t h N
0
. I f w e a s s u m e t h a t t h e F o u r i e r t r a n s f o r m o f w
N
( t ) i s
e s s e n t i a l l y c o n c e n t r a t e d t o i t s c e n t e r f r e q u e n c y , s a y !
0
, t h e n w e
h a v e a t i m e - f r e q u e n c y r e p r e s e n t a t i o n ,
Y
W T
( ! t ) =
Z
y ( )
r
!
!
0
w
N
!
!
0
( ; t )
d ( 1 1 )
S i n c e t h e m o t h e r w a v e l e t w
N
i s x e d , t h e w a v e l e t t h e o r y s u g -
g e s t s a n a r r o w e r t i m e w i n d o w a t h i g h e r f r e q u e n c i e s . S e e a l s o
( 1 5 ) b e l o w .
B . T i m e R e s o l u t i o n
W e s h a l l i n t h i s p a p e r u s e t w o d i e r e n t , b u t r e l a t e d d e n i t i o n s
o f t i m e r e s o l u t i o n o f l t e r s f o r s p e c t r a l e s t i m a t i o n .
D e n i t i o n 1 : L e t t h e s p e c t r a l e s t i m a t e
̂
y
o f a s i g n a l y b e
o b t a i n e d b y l i n e a r l t e r i n g o f y , f o l l o w e d b y a s t a t i c , n o n - l i n e a r
t r a n s f o r m a t i o n :
̂
t
y
( ! ) = f (
Z
t
; 1
h
!
( t ) y ( ) d ) ( 1 2 )
T h e t i m e r e s o l u t i o n i s t h e n d e n e d a s
N ( ! ) =
(
R
t
; 1
j h
!
( t ) j d )
2
R
t
; 1
j h
!
( t ) j
2
d
( 1 3 )
F o r a d i s c r e t e t i m e s i g n a l w e u s e s u m m a t i o n i n s t e a d o f i n t e -
g r a t i o n . N o t e t h a t t h e d e n i t i o n i m p l i e s t h a t N ( ! ) 1 , w i t h
e q u a l i t y f o r i m p u l s e - l i k e t i m e w i n d o w s . T h i s d e n i t i o n i s w e l l i n
a c c o r d a n c e w i t h u s u a l m e a s u r e s o f l t e r w i d t h s , l i k e f o r t a p e r i n g
w i n d o w s o f v a r i o u s k i n d s . A r e c t a n g u l a r w i n d o w h
!
( t ) = c o f
l e n g t h N h a s t h e t i m e r e s o l u t i o n
N ( ! ) =
N
2
c
2
N c
2
= N ( 1 4 )
F o r t h e w a v e l e t l t e r ( 1 1 ) , u s i n g t h e v a r i a b l e s u b s t i t u t i o n s =
! = !
0
w e n d t h a t
N ( ! ) =
R
p
!
!
0
w
N
;
!
!
0
( ; t )
d
2
R
p
!
!
0
w
N
;
!
!
0
(
; t )
2
d
=
!
0
!
; R
s
j w
N
( ( s ; t ) ) j d s
2
R
s
j w
N
( ( s ; t ) ) j
2
d s
=
!
0
!
N ( !
0
) ( 1 5 )
T h a t i s , t h e e e c t i v e n u m b e r o f d a t a p o i n t s t h a t a r e u s e d t o f o r m
t h e s p e c t r a l e s t i m a t e a t e a c h p o i n t i s i n v e r s e l y p r o p o r t i o n a l t o
f r e q u e n c y a n d t h e s c a l e f a c t o r i s x e d a n d g i v e n b y t h e m o t h e r
w a v e l e t .
7/27/2019 Shaping Frequency Dependent Time Resolution When
http://slidepdf.com/reader/full/shaping-frequency-dependent-time-resolution-when 3/10
C . P a r a m e t r i c m o d e l i n g
P a r a m e t r i c m o d e l s f o r e s t i m a t i n g t i m e - i n v a r i a n t s p e c t r u m s
h a v e b e e n u s e d f o r a l o n g t i m e , s e e f o r i n s t a n c e 9 ] . T o u n i f y
p a r a m e t r i c a n d n o n - p a r a m e t r i c m e t h o d s , c o n s i d e r r s t t h e f o l -
l o w i n g p i e c e w i s e c o n s t a n t F o u r i e r t r a n s f o r m :
Y ( w t ) = c
1
( t ) I
1
( ! ) + c
2
( t ) I
2
( ! ) + + c
n
( t ) I
n
( ! )
( 1 6 )
w h e r e
I
k
( ! ) =
1 !
k ; 1
< ! < !
k
0 o t h e r w i s e
( 1 7 )
O t h e r i n t e r p o l a t i o n f u n c t i o n s a r e p o s s i b l e . N o t e t h a t t h e n u m -
b e r o f c o e c i e n t s n d o e s n o t n e e d t o b e t h e s a m e a s t h e n u m b e r
o f d a t a . T h e p a r a m e t e r s o f t h i s m o d e l c o r r e s p o n d d i r e c t l y t o
t h e f r e q u e n c y c o n t e n t i n t h e i n t e r v a l !
k ; 1
< ! < !
k
. O n e w a y
t o e s t i m a t e t h e s e p a r a m e t e r s i s t o u s e t h e d i s c r e t e F o u r i e r t r a n s -
f o r m o f t h e r s t f r e q u e n c y p o i n t i n e a c h i n t e r v a l . A v a r i a n t o f
t h i s , w i t h a n e x p o n e n t i a l t i m e w i n d o w , i s
̂c
m
( t ) = ( 1 ;
m
)
t
X
k = 1
t ; k
m
y ( k ) e
; i k !
m
=
m
̂c
m
( t
; 1 ) + ( 1
;
m
) y ( t ) e
; i t !
m
( 1 8 )
A r e c t a n g u l a r w i n d o w w
N
( t ) o f s i z e N h a s t h e a d v a n t a g e o f
i m p l y i n g a n a t u r a l c h o i c e o f f r e q u e n c i e s !
k
= 2 k = N k =
1 2 : N a s t h e u s u a l F F T b i n s . C o m p a r e d t o t h e r e c t a n g u l a r
w i n d o w , t h e a d v a n t a g e o f a n e x p o n e n t i a l w i n d o w i s t h e r e c u r s i v e
i m p l e m e n t a t i o n , g i v e n b y t h e s e c o n d e q u a l i t y i n ( 1 8 ) , w h e r e
s o m e w h a t l e s s c o m p u t a t i o n s a r e n e e d e d , a n d t h a t n o m e m o r y
f o r o l d d a t a i s n e e d e d .
I n t h e l t e r ( 1 8 ) , t h e n u m b e r 0 <
m
< 1 i s u s u a l l y r e f e r r e d t o
a s t h e f o r g e t t i n g f a c t o r . T h e t i m e r e s o l u t i o n o f ( 1 8 ) i s a c c o r d i n g
t o D e n i t i o n 1
N ( ! ) =
(
P
t
k = 1
t ; k
m
)
2
P
t
k = 1
2 ( t ; k )
m
( 1 9 )
1 ;
2
m
( 1 ;
m
)
2
=
1 +
m
1 ;
m
2
1 ;
m
( 2 0 )
w h e r e t h e r s t a p p r o x i m a t i o n i s f o r l a r g e t ( o r r a t h e r s m a l l
t
)
a n d t h e s e c o n d o n e f o r c l o s e t o 1 .
N o w w e h a v e a n a d d i t i o n a l d e g r e e o f f r e e d o m o f c h o o s i n g f r e -
q u e n c y d e p e n d e n t f o r g e t t i n g f a c t o r s ( o r t i m e w i n d o w s ) . C h o o s e
a t i m e r e s o l u t i o n N ( ! ) a n d l e t
k
= 1 ;
2
N ( !
k
)
( 2 1 )
A s l o n g a s w e j u s t w a n t t o l o o k a t a p l o t o f a t i m e - v a r y i n g
s p e c t r u m , ( 1 6 ) m i g h t b e e n o u g h . I f w e w a n t s o m e t h i n g m o r e
o u t o f o u r m o d e l , w e n e e d m o r e s o p h i s t i c a t e d m o d e l s . T h i s i s
w h a t w e n o w t u r n t o .
I V . A u t o r e g r e s s i v e S i g n a l M o d e l s a n d T h e i r
E s t i m a t i o n
A . T h e M o d e l
A s a n a l t e r n a t i v e t o ( 1 6 ) , w e i n t r o d u c e a n o t h e r p a r a m e t e r i -
z a t i o n w i t h t h e s a m e n u m b e r o f p a r a m e t e r s a n d b a s i c a l l y t h e
s a m e d e g r e e o f f r e e d o m , b u t a n o t h e r i n t e r p o l a t i o n b e t w e e n t h e
f r e q u e n c y p o i n t s t h a n a p i e c e w i s e c o n s t a n t f u n c t i o n . T h e A R
m o d e l ( 5 ) w e p r o p o s e i s s t a n d a r d i n t i m e s e r i e s a n a l y s i s : A s -
s u m e t h a t t h e s i g n a l y i s g e n e r a t e d f r o m a w h i t e G a u s s i a n n o i s e
s o u r c e e w i t h z e r o m e a n a n d v a r i a n c e r
2
a s
y ( t ) = ; a
1
( t ) y ( t ; 1 ) ; ; a
n
( t ) y ( t ; n ) + e ( t )
= '
T
( t ) ( t ) + e ( t ) ( 2 2 )
w h e r e
' ( t ) = ( ; y ( t ; 1 ) : : : ; y ( t ; n ) )
T
( 2 3 )
a n d
( t ) = ( a
1
( t ) : : : a
n
( t ) )
T
( 2 4 )
T h e c o r r e s p o n d i n g s p e c t r a l f a c t o r i s t h e n
Y ( ! t ) =
p
r
2
1 + a
1
( t ) e
; i !
+ a
2
( t ) e
; i 2 !
+ + a
n
( t ) e
; i n !
( 2 5 )
F o r n o t a t i o n a l c o n v e n i e n c e w e w r i t e t h e m o m e n t a r y s p e c t r u m
a s
y
( ! t ) =
r
2
j 1 + ( ! t ) j
2
( 2 6 )
w h e r e
( ! t ) = W
( ! ) ( t ) ( 2 7 )
H e r e
d e n o t e s c o m p l e x c o n j u g a t e d t r a n s p o s e a n d
W ( ! ) = ( e
i !
: : : e
i n !
)
T
( 2 8 )
W e h a v e t h e f o l l o w i n g a d v a n t a g e s w i t h ( 2 5 ) o v e r ( 1 6 ) :
T h e A R m o d e l ( 2 2 ) c a n b e u s e d a s a p r e d i c t o r , o m i t t i n g t h e
u n p r e d i c t a b l e n o i s e e ( t )
A R m o d e l s a r e k n o w n t o b e a b l e t o g i v e h i g h f r e q u e n c y r e s -
o l u t i o n .
T h e A R m o d e l h a s f o u n d m a n y p r a c t i c a l a p p l i c a t i o n s i n a d a p -
t i v e c o n t r o l a n d a d a p t i v e l t e r i n g p r o b l e m s i n e . g . c o m m u n i c a -
t i o n s .
O n e d r a w b a c k w i t h t h e A R m o d e l i s t h a t i t i s n o t k n o w n h o w
t o s h a p e t h e t i m e r e s o l u t i o n a s a f u n c t i o n o f f r e q u e n c y .
I n S e c t i o n V i t w i l l b e d e s c r i b e d h o w t h e A R c o e c i e n t s c a n b e
e s t i m a t e d w i t h a f r e q u e n c y d e p e n d e n t f o r g e t t i n g f a c t o r ( ! ) ,
s i m i l a r t o t h e o n e i n ( 2 1 ) .
B . R e c u r s i v e E s t i m a t i o n
F o r t h e e s t i m a t i o n o f t h e m o m e n t a r y s p e c t r u m v i a t h e p a -
r a m e t e r s i n t h e A R - m o d e l w e s h a l l u s e a n a l g o r i t h m d e n e d b y
t h e u p d a t e e q u a t i o n
̂
( t ) =
̂
( t ; 1 ) + K ( t ) " ( t ) ( 2 9 )
" ( t ) = y ( t ) ; '
T
( t )
̂
( t ; 1 ) ( 3 0 )
w h e r e
K ( t ) =
P ( t ; 1 ) ' ( t )
̂r
2
+ '
T
( t ) P ( t ; 1 ) ' ( t )
( 3 1 )
a n d
P ( t ) = P ( t ; 1 ) ;
P ( t ; 1 ) ' ( t ) '
T
( t ) P ( t ; 1 )
̂r
2
+ '
T
( t ) P ( t ; 1 ) ' ( t )
+
̂
R
1
( t )
( 3 2 )
7/27/2019 Shaping Frequency Dependent Time Resolution When
http://slidepdf.com/reader/full/shaping-frequency-dependent-time-resolution-when 4/10
T h i s a l g o r i t h m c a n i n t e r p r e t e d a s a K a l m a n l t e r f o r a n u n -
d e r l y i n g s t a t e s p a c e m o d e l o f t h e v a r i a t i o n s o f t h e p a r a m e t e r s
( t ) . S e e , f o r e x a m p l e , 1 2 ] . I n t h i s i n t e r p r e t a t i o n t h e m a t r i x
̂
R
1
( t ) i s t h e a s s u m e d c o v a r i a n c e m a t r i x o f t h e c h a n g e s i n t h e
t r u e p a r a m e t e r v e c t o r , w h i l e ^ r
2
i s t h e a s s u m e d v a r i a n c e o f t h e
n o i s e e ( t ) . I n t h i s p a p e r w e w i l l h o w e v e r n o t m a k e a n y a s s u m p -
t i o n s c o n c e r n i n g b e h a v i o r o f t h e t r u e p a r a m e t e r s , a n d r a t h e r
c o n s i d e r t h e a l g o r i t h m j u s t a s a m e t h o d f o r c o m p u t i n g p a r a m -
e t e r e s t i m a t e s . T h e m a t r i x
̂
R
1
( t ) w i l l t h e n b e s e e n a s a t o o l f o r
a d j u s t i n g t h e t r a c k i n g p r o p e r t i e s o f t h e a l g o r i t h m , w h i l e ^ r
2
c a n
b e u s e d a s a s c a l i n g f a c t o r . W e s h a l l r e t u r n t o t h e c h o i c e s o f t h e
d e s i g n v a r i a b l e s
̂
R
1
( t ) a n d ^ r
2
i n a m o m e n t . U s i n g t h e a l g o r i t h m
a b o v e w e o b t a i n
̂ ( ! t ) = W
( ! )
̂
( t ) ( 3 3 )
a n d t h e s p e c t r a l e s t i m a t e w i l l b e
̂
y
( ! t ) =
̂r
2
j 1 + ̂ ( ! t ) j
2
( 3 4 )
C . F i l t e r i n g i n t e r p r e t a t i o n
A l t h o u g h t h e a l g o r i t h m c a n b e d e r i v e d a n d m o t i v a t e d f r o m
a s t o c h a s t i c p e r s p e c t i v e , i t s h o u l d b e n o t e d t h a t f o r a g i v e n
s e q u e n c e f ' ( t ) g , e q u a t i o n s ( 2 9 ) { ( 3 3 ) a r e j u s t a l i n e a r , t i m e -
v a r y i n g l t e r i n t o w h i c h y ( t ) i s f e d , a n d w h i c h p r o d u c e s ^ ( ! t )
a s i t s o u t p u t . T o e m p h a s i z e t h i s o b s e r v a t i o n w e u s e e q u a t i o n s
( 2 9 ) a n d ( 3 0 ) t o o b t a i n
̂
( t ) = ( I ; K ( t ) ' ( t ) )
̂
( t ; 1 ) + K ( t ) y ( t ) ( 3 5 )
A s s u m i n g
̂
( 0 ) = 0 w e c a n e x p r e s s
̂
( t ) a s
̂
( t ) =
t
X
k = 1
"
t
Y
j = k + 1
( I ; K ( j ) '
T
( j ) )
#
K ( k ) y ( k ) ( 3 6 )
T h i s i m p l i e s
̂ ( ! t ) =
t
X
k = 1
h ( t k ) y ( k ) ( 3 7 )
w h e r e t h e t i m e v a r y i n g a n d f r e q u e n c y d e p e n d e n t i m p u l s e r e -
s p o n s e i s g i v e n b y
h ( t k ) = W
( ! )
"
t
Y
j = k + 1
( I ; K ( j ) '
T
( j ) )
#
K ( k )
( 3 8 )
D . T i m e R e s o l u t i o n
F o r a g i v e n s e q u e n c e
f ' ( t )
g t h e i m p u l s e r e s p o n s e d e n e d b y
e q u a t i o n ( 3 8 ) i s a d e t e r m i n i s t i c q u a n t i t y , a n d w e c o u l d t h e n
a p p l y D e n i t i o n 1 f o r t h i s g e n e r a l l t e r t o n d o u t i t s t i m e r e s -
o l u t i o n . I t t u r n s o u t t h a t t h e d e n o m i n a t o r o f ( 1 3 ) c a n r e a d i l y
b e c a l c u l a t e d ( a s y m p t o t i c a l l y f o r s m a l l
̂
R
1
) , w h i l e t h e n u m e r a -
t o r i s m o r e d i c u l t . W e s h a l l t h e r e f o r e i n t r o d u c e t h e f o l l o w i n g
a l t e r n a t i v e d e n i t i o n o f t i m e r e s o l u t i o n f o r t h e l t e r ( 2 9 ) { ( 3 3 ) :
D e n i t i o n 2 : F o r t h e l t e r ( 2 9 ) { ( 3 3 ) w e d e n e t h e t i m e r e s -
o l u t i o n a s
N ( ! t ) =
W
( ! )
1
t
P
t
k = 1
' ( k ) '
T
( k ) ]
; 1
W ( ! )
P
t
k = 1
j h ( t k ) j
2
( 3 9 )
2
W e s h a l l m o t i v a t e t h i s d e n i t i o n i n t w o d i e r e n t w a y s a n d t h e n
t h e m a i n t h e o r e m i s g i v e n .
D . 1 D e t e r m i n i s t i c s e t t i n g
W e w i l l s h o w t h a t D e n i t i o n s 1 a n d 2 c o i n c i d e w h e n ' i s
s c a l a r a n d c o n s t a n t . F i r s t , i f ' ( k ) i s s c a l a r a n d c o n s t a n t ' ( k ) =
c , t h e n a s t ! 1
l i m
t ! 1
"
t
X
k = 1
j h ( t k ) j
#
2
= l i m
t ! 1
W
( ! )
"
1
t
t
X
k = 1
' ( k ) '
T
( k )
#
; 1
W ( ! ) =
1
c
2
( 4 0 )
T o s e e t h i s , n o t e t h a t a f t e r a t r a n s i e n t a l s o K ( t ) w i l l b e a c o n -
s t a n t s c a l a r d a n d
h ( t k ) = W
( ! )
"
t
Y
j = k + 1
( I ; K ( j ) '
T
( j ) )
#
K ( k )
( 4 1 )
= ( 1 ; d c )
t ; k
d ( 4 2 )
s o
t
X
k = 1
j h ( t k ) j =
d ; ( 1 ; d c )
t
d
d c
!
1
c
a s t ! 1 ( 4 3 )
w h i c h p r o v e s ( 4 0 ) , a n d h e n c e t h a t D e n i t i o n s 1 a n d 2 c o i n c i d e
i n t h i s s p e c i a l c a s e .
D . 2 S t o c h a s t i c s e t t i n g
W e c a n a l s o m o t i v a t e t h e a l t e r n a t i v e d e n i t i o n b y i n v o k i n g
s o m e s t a t i s t i c a l a r g u m e n t s . I n a s t o c h a s t i c s e t t i n g , t h e t i m e
r e s o l u t i o n o f D e n i t i o n 2 i s t h e l e n g t h o f a r e c t a n g u l a r w i n d o w
t h a t g i v e s t h e s a m e v a r i a n c e e r r o r a s t h e g i v e n a l g o r i t h m .
W e c o n s i d e r { w i t h s o m e a b u s e { ( 2 2 ) a s a l i n e a r r e g r e s s i o n
m o d e l w i t h a c o n s t a n t a n d a g i v e n s e q u e n c e f ' ( t ) g . S u p p o s e
w e e s t i m a t e u s i n g t h e L e a s t S q u a r e s m e t h o d w i t h t m e a s u r e -
m e n t s w i t h e q u a l w e i g h t , k = 1 : : : t ( \ a r e c t a n g u l a r t i m e w i n -
d o w o f l e n g t h t " ) , a n d t h a t t h e s e q u e n c e f e ( t ) g i s w h i t e n o i s e
w i t h u n i t v a r i a n c e . T h e n i t i s w e l l k n o w n t h a t t h e c o v a r i a n c e
m a t r i x o f t h i s e s t i m a t e
̂
t
w i l l b e
E
~
t
~
T
t
=
t
X
k = 1
' ( k ) '
T
( k ) ]
; 1
( 4 4 )
H e r e
~
d e n o t e s t h e p a r a m e t e r e r r o r
~
( t ) = ;
̂
( t ) ( 4 5 )
T h i s m e a n s t h a t t h e v a r i a n c e o f t h e e r r o r i n ( d e n e d b y ( 2 7 ) )
w i l l b e e q u a l t o t h e n u m e r a t o r o f ( 3 9 ) , d i v i d e d b y t . I n o t h e r
w o r d s , t h e n u m e r a t o r o f ( 3 9 ) e q u a l s t t i m e s t h e v a r i a n c e o f ,
w h e n e s t i m a t e d u s i n g a r e c t a n g u l a r w i n d o w o f l e n g t h t
L e t u s n o w t u r n t o t h e a l g o r i t h m ( 2 9 ) { ( 3 3 ) , a g a i n a s s u m i n g
t h a t ( t ) , a n d t h a t f e ( t ) g i s w h i t e n o i s e w i t h u n i t v a r i a n c e .
W e n o t e t h a t t h e p a r a m e t e r e r r o r o b e y s t h e f o l l o w i n g r e c u r -
s i o n :
~
( t ) = ( I ; K ( t ) ' ( t ) )
~
( t ; 1 ) + K ( t ) e ( t ) ( 4 6 )
i . e . t h e s a m e d i e r e n c e e q u a t i o n a s f o r
̂
( t ) b u t d r i v e n b y t h e
w h i t e n o i s e e ( t ) i n s t e a d o f t h e o u t p u t . T h e e r r o r i n c a n b e
w r i t t e n
~ ( ! t ) = W
( ! )
~
( t ) ( 4 7 )
7/27/2019 Shaping Frequency Dependent Time Resolution When
http://slidepdf.com/reader/full/shaping-frequency-dependent-time-resolution-when 5/10
g i v i n g
~ ( ! t ) =
t
X
k = 1
h ( t k ) e ( k ) ( 4 8 )
w h e r e h ( t k ) i s g i v e n b y e q u a t i o n ( 3 8 ) . C o m p u t i n g t h e v a r i a n c e
o f ~ ( ! t ) , u s i n g t h e K a l m a n l t e r a l g o r i t h m , h e n c e g i v e s u s
t h e d e n o m i n a t o r o f ( 3 9 ) . T h i s g i v e s u s t h e i n t e r p r e t a t i o n t h a t
N ( ! t ) i n D e n i t i o n 2 i s t h e l e n g t h o f a r e c t a n g u l a r d a t a w i n d o w
f o r a L e a s t S q u a r e s e s t i m a t e , t h a t g i v e s t h e s a m e e r r o r v a r i a n c e
a s t h e a l g o r i t h m .
D . 3 A n e x p l i c i t e x p r e s s i o n f o r t h e t i m e r e s o l u t i o n
T h e t i m e r e s o l u t i o n a c c o r d i n g t o D e n i t i o n 2 c a n b e c o m -
p u t e d e x p l i c i t l y , f o r l a r g e v a l u e s o f t h e m o d e l o r d e r n , a n d f o r
\ s l o w a d a p t a t i o n " , i . e . s m a l l v a l u e s o f t h e m a t r i x
̂
R
1
. T h i s
r e s u l t i s g i v e n a s a t h e o r e m .
T h e o r e m 1 : C o n s i d e r t h e a l g o r i t h m ( 2 3 ) , ( 2 9 ) { ( 3 4 ) f o r e s t i -
m a t i n g t h e s p e c t r u m o f a s i g n a l y , w i t h
̂
R ( t ) =
̂
R
1
. I t s t i m e
r e s o l u t i o n , a c c o r d i n g t o D e n i t i o n 2 , i s
N ( ! t )
2
p
y
( ! t )
s
̂r
2
1
n
W
( ! )
̂
R
1
W ( ! )
( 4 9 )
T h e r e s u l t i s a s y m p t o t i c i n n ! 1 a n d j j
̂
R
1
j j ! 0 , i n t h e s e n s e
t h a t t h e r a t i o o f t h e t w o s i d e s o f ( 4 9 ) t e n d s t o 1 u n d e r t h e s e
l i m i t s ,
l i m
j j
̂
R
1
j j ! 0
l i m
n ! 1
N ( ! t )
2
p
y
( ! t )
q
̂r
2
1
n
W
( ! )
̂
R
1
W ( ! )
= 1 ( 5 0 )
P r o o f : T h e p r o o f i s b a s e d o n v a r i a n c e r e s u l t s f o r r e c u r s i v e l y
e s t i m a t e d m o d e l s , d e r i v e d i n 4 ] . D e n e
( ! t )
4
= V a r ~ ( ! t ) ( 5 1 )
U s i n g ( 4 7 ) a b o v e w e g e t
( ! t ) = W
( ! ) ( t ) W ( ! ) ( 5 2 )
w h e r e
( t ) = E
~
( t )
~
T
( t ) ] ( 5 3 )
F r o m 4 ] a n d 6 ] w e h a v e t h a t , f o r s m a l l
̂
R
1
, t h e m a t r i x ( t ) c a n
b e a p p r o x i m a t e d b y a c o n s t a n t m a t r i x
, w h i c h s a t i s e s
Q Z + Z Q
= Z Q Z ( 5 4 )
w h e r e t h e m a t r i x Z i s g i v e n b y
Z Q Z =
1
̂r
2
̂
R
1
( 5 5 )
a n d
Q = l i m
t ! 1
1
t
t
X
k = 1
' ( k ) '
T
( k ) ( 5 6 )
A p p l y i n g t h e l i m i t o p e r a t i o n d e s c r i b e d i n A p p e n d i x A t o Q , Z ,
̂
R
1
, w e g e t
q ( ! ) = l i m
n ! 1
1
n
W
( ! ) Q W ( ! ) ( 5 7 )
( ! ) = l i m
n ! 1
1
n
W
( ! )
W ( ! ) ( 5 8 )
z ( ! ) = l i m
n ! 1
1
n
W
( ! ) Z W ( ! ) ( 5 9 )
̂r
1
( ! ) = l i m
n ! 1
1
n
W
( ! )
̂
R
1
W ( ! ) ( 6 0 )
F r o m 1 3 ] w e h a v e
y
( ! ) = q ( ! ) ( 6 1 )
w h i c h h a p p e n s t o b e t h e n u m e r a t o r o f ( 3 9 ) . N o w , a p p l y t h e s e
r e l a t i o n s t o g e t h e r w i t h ( 9 5 ) r s t a p p l i e d t o ( 5 4 ) ,
( ! ) =
1
2
z ( ! ) ( 6 2 )
a n d t h e n t o ( 5 5 ) ,
z ( ! ) =
r
̂r
1
( ! )
̂r
2
y
( ! )
( 6 3 )
C o m b i n i n g ( 6 2 ) a n d ( 6 3 ) a n d n o t i n g t h a t ( ! ) =
l i m
n ! 1
( ! t ) = n g i v e s t h a t f o r l a r g e b u t n i t e n t h e v a r i a n c e
( ! t ) i s a p p r o x i m a t e l y g i v e n b y
( ! t ) n ( ! ) = n
1
2
r
̂r
1
( ! )
̂r
2
y
( ! )
n
1
2
s
1
n
W
( ! )
̂
R
1
W ( ! )
̂r
2
y
( ! )
( 6 4 )
I n s e r t i n g t h i s e x p r e s s i o n i n ( 3 9 ) t o g e t h e r w i t h t h e e x p r e s s i o n
f o r t h e n u m e r a t o r g i v e s t h e d e s i r e d r e s u l t . 2
T h e d e s i g n p r o b l e m i s t h u s t o s o l v e ( 4 9 ) f o r
̂
R
1
f o r a g i v e n
N ( ! )
E . S p e c i a l C a s e s o f t h e G e n e r a l A l g o r i t h m
T h e g e n e r a l a l g o r i t h m ( 2 9 ) { ( 3 3 ) h a s t w o d e s i g n v a r i a b l e s ^ r
2
a n d
̂
R
1
. I n m a n y c a s e s , t h i s g i v e s \ t o o m u c h f r e e d o m " t o b e
h a n d l e d i n a r a t i o n a l w a y . T h e r e f o r e t h e m o s t c o m m o n l y u s e d
a l g o r i t h m s a r e s p e c i a l c a s e s , w i t h j u s t o n e s c a l a r d e s i g n v a r i a b l e
( o b t a i n e d a s s p e c i a l c h o i c e s o f ^ r
2
a n d
̂
R
1
)
A v e r y c o m m o n s u c h s p e c i a l c a s e i s t o u s e t h e g a i n v e c t o r
K ( t ) a s g i v e n b y t h e r e c u r s i v e l e a s t s q u a r e s ( R L S ) m e t h o d , s e e
1 2 ] . H e r e t h e p a r a m e t e r e s t i m a t e i s u p d a t e d a c c o r d i n g t o ( 2 9 )
a n d t h e g a i n v e c t o r i s
K ( t ) =
P ( t ; 1 ) ' ( t )
+ '
T
( t ) P ( t ; 1 ) ' ( t )
( 6 5 )
a n d
P ( t ) =
1
P ( t ; 1 ) ;
P ( t ; 1 ) ' ( t ) '
T
( t ) P ( t ; 1 )
+ '
T
( t ) P ( t ; 1 ) ' ( t )
]
( 6 6 )
T h e v a r i a b l e 0 <
1 i s t h e s o c a l l e d f o r g e t t i n g f a c t o r , w h i c h
i s u s e d t o c o n t r o l t h e l e n g t h o f t h e u p d a t e s t e p i n t h e a l g o r i t h m .
T h i s s p e c i a l c a s e i s o b t a i n e d b y c h o o s i n g
̂
R
1
( t ) = (
1
( t )
; 1 ) P ( t ; 1 ) ;
P ( t ; 1 ) ' ( t ) '
T
( t ) P ( t ; 1 )
( t ) + '
T
( t ) P ( t ; 1 ) ' ( t )
]
( 6 7 )
̂r
2
( t ) = ( t )
s e e 1 1 ] .
A n o t h e r s t a n d a r d c h o i c e i s t h e l e a s t m e a n s q u a r e s ( L M S ) a l -
g o r i t h m . S e e , f o r e x a m p l e , 1 5 ] f o r d e t a i l s . T h e L M S a l g o r i t h m
c o r r e s p o n d s t o c h o o s i n g
K ( t ) = ' ( t ) ( 6 8 )
w h e r e i s a p o s i t i v e s c a l a r . T h e L M S a l g o r i t h m i s o b t a i n e d
f r o m t h e g e n e r a l a l g o r i t h m , s e e 1 1 ] , w i t h t h e c h o i c e s
̂
R
1
( t ) =
2
' ( t ) '
T
( t )
1 +
j' ( t )
j
2
( 6 9 )
̂r
2
( t ) = 1
P ( 0 ) = I
7/27/2019 Shaping Frequency Dependent Time Resolution When
http://slidepdf.com/reader/full/shaping-frequency-dependent-time-resolution-when 6/10
U s i n g r e s u l t s i n 1 1 ] , f o r s m a l l t h e L M S a l g o r i t h m a p p r o x i -
m a t e l y c o r r e s p o n d s t o c h o o s i n g
̂
R
1
=
2
Q ( 7 0 )
( w i t h Q d e n e d b y ( 5 6 ) ) , w h i l e t h e R L S a l g o r i t h m , f o r c l o s e
t o o n e c a n b e i n t e r p r e t e d a s c h o o s i n g
̂
R
1
= ( 1 ; )
2
Q
; 1
( 7 1 )
I n s e r t i n g t h e s e
̂
R
1
i n t o ( 4 9 ) g i v e s t h e t i m e r e s o l u t i o n s
N
R L S
( ! ) =
2
1 ;
( 7 2 )
N
L M S
( ! ) =
2
y
( ! )
( 7 3 )
I n c o n v e n t i o n a l s t u d i e s o f r e c u r s i v e p a r a m e t e r e s t i m a t i o n a l -
g o r i t h m s t h e t r a d e o b e t w e e n t r a c k i n g a b i l i t y a n d v a r i a n c e
r e d u c t i o n i s a k e y i s s u e . I n t h e a b o v e c a s e s t h i s t r a d e o i s
m a d e i n t e r m s o f t h e s c a l a r s a n d : A s m a l l o r a v a l u e o f
c l o s e t o o n e , g i v e s l o n g t i m e h o r i z o n s . T h i s l e a d s t o p o o r t i m e
r e s o l u t i o n ( p o o r t r a c k i n g ) , b u t a l s o s p e c t r a l e s t i m a t e s w i t h l o w
v a r i a n c e s ( t h e e s t i m a t e i s b a s e d o n m o r e o b s e r v a t i o n s ) . T i m e
r e s o l u t i o n a n d r e l i a b l e e s t i m a t e s ( l o w v a r i a n c e ) a r e t h u s t w o
s i d e s o f t h e s a m e c o i n . T h e t r a d e - o m a d e i s t h e r e f o r e b a s e d o n
i n f o r m a t i o n , o r a s s u m p t i o n s o n h o w f a s t t h e s i g n a l p r o p e r t i e s
a r e c h a n g i n g .
N o t e t h a t t h e t w o c a s e s ( 7 2 ) a n d ( 7 3 ) t h e t i m e r e s o l u t i o n a s
a f u n c t i o n o f f r e q u e n c y c o m e s a u t o m a t i c a l l y w i t h t h e m e t h o d :
F o r R L S t h e t i m e r e s o l u t i o n i s i n d e p e n d e n t o f f r e q u e n c y , w h i l e
L M S g i v e s a d e p e n d e n c e s u c h t h a t a h i g h e r l e v e l o f t h e s p e c t r u m
g i v e s a s h o r t t i m e h o r i z o n . W h e t h e r t h i s i s d e s i r e d o r n o t w i l l
d e p e n d o n t h e a c t u a l s i g n a l p r o p e r t i e s .
V . S h a p i n g t h e T i m e W i n d o w i n t h e K a l m a n F i l t e r
W e s a w i n t h e p r e v i o u s s e c t i o n t h a t w e c a n a p p r o x i m a t e l y
c o m p u t e t h e t i m e r e s o l u t i o n f o r t h e g e n e r a l K a l m a n b a s e d l -
t e r ( 2 9 ) { ( 3 4 ) a c c o r d i n g t o T h e o r e m 1 . W e a l s o s a w h o w t h e
c o m m o n a l g o r i t h m s R L S a n d L M S g i v e p a r t i c u l a r e x p r e s s i o n s
f o r t h e t i m e r e s o l u t i o n a s a f u n c t i o n o f f r e q u e n c y , ( 7 2 ) { ( 7 3 ) . I n
t h i s s e c t i o n w e s h a l l t u r n t h e q u e s t i o n a r o u n d : S u p p o s e t h a t w e
i n s i s t o n a p a r t i c u l a r c h o i c e o f t i m e r e s o l u t i o n a s a f u n c t i o n o f
f r e q u e n c y N ( ! ) , h o w s h a l l w e t h e n d e s i g n t h e l t e r ( 2 9 ) { ( 3 4 ) t o
e n s u r e t h i s c h o i c e ?
T h e k e y i s o f c o u r s e T h e o r e m 1 . I f t h e d e s i r e d r e s o l u t i o n i s
N ( ! ) , t h e n c h o o s e t h e s c a l a r ^ r
2
a n d t h e m a t r i x
̂
R
1
( t ) s o t h a t
1
n ̂r
2
W
( ! )
̂
R
1
( t ) W ( ! ) =
4
N
2
( ! )
̂
y
( ! t )
( 7 4 )
H e r e n i s t h e s i z e o f t h e s t a t e - v e c t o r ( t h e o r d e r o f t h e u n d e r -
l y i n g A R - m o d e l ) .
H o w c a n w e c h o o s e a m a t r i x R s o t h a t W
( ! ) R W ( ! ) w i l l
b e a s p e c i c f u n c t i o n , s a y f ( ! ) ? O n e p o s s i b i l i t y w o u l d b e t o
x a n i t e n u m b e r o f v a l u e s o f ! a n d v i e w ( 7 4 ) a s a s y s t e m o f
e q u a t i o n s ( o n e f o r e a c h f r e q u e n c y ) t o b e s o l v e d f o r i n t e r m s o f
t h e e n t r i e s o f t h e R - m a t r i x .
A n o t h e r p o s s i b i l i t y i s t o c h o o s e R t o b e T o e p l i t z , s o t h a t i t s
k ̀ e l e m e n t i s r ( ̀ ; k ) . A s d i s c u s s e d i n t h e a p p e n d i x , t h e F o u r i e r
t r a n s f o r m o f t h e f u n c t i o n r t h a t b u i l d s u p t h e T o e p l i t z m a t r i x
R c a n b e e x p r e s s e s a s
f ( ! ) =
1
X
= ; 1
r ( ) e
i !
= l i m
n ! 1
1
n
W
( ! ) R W ( ! ) ( 7 5 )
F u r t h e r m o r e , a s a l s o d i s c u s s e d i n t h e a p p e n d i x , u n d e r c e r t a i n
r e g u l a r i t y c o n d i t i o n s
l i m
n ! 1
1
n
W
( ! ) R
; 1
W ( ! ) =
1
f ( ! )
( 7 6 )
T h i s g i v e s u s t h r e e d i e r e n t p o s s i b i l i t i e s t o s e l e c t
̂
R
1
i n ( 7 4 ) :
F i x a n u m b e r o f v a l u e s o f ! ( t y p i c a l l y e q u a l l y s p a c e d o v e r
0 2 ] ) a n d s o l v e ( 7 4 ) f o r t h e m a t r i x e l e m e n t s i n t h e ( s y m m e t -
r i c ) m a t r i x
̂
R
1
T a k e t h e i n v e r s e F o u r i e r t r a n s f o r m o f t h e R H S o f ( 7 4 ) a n d l e t
̂
R
1
b e f o r m e d a s a T o e p l i t z m a t r i x f r o m t h i s s e q u e n c e .
F o r m t h e i n v e r s e F o u r i e r t r a n s f o r m o f t h e i n v e r s e o f t h e t h e
R H S o f ( 7 4 ) . T h e n f o r m
̂
R
1
a s t h e i n v e r s e o f t h e c o r r e s p o n d i n g
T o e p l i t z m a t r i x .
T o e x a m i n e t h e r s t a p p r o a c h , l e t
T = W ( !
1
) W ( !
2
) : : : W ( !
n
!
) ] ( 7 7 )
s o t h a t T T
= n
!
I
n
!
. C o n s i d e r n o w t h e e q u a t i o n
T
R T = F = d i a g ( f ( !
1
) f ( !
2
) : : : f ( !
n
!
) ) ( 7 8 )
T h e d i a g o n a l e l e m e n t s c o r r e s p o n d t o t h e r e l a t i o n s i n ( 7 4 ) a n d
t h e o - d i a g o n a l e l e m e n t s t u r n o u t t o b e i r r e l e v a n t . T h e n
R =
1
n
2
!
T F T
( 7 9 )
T h i s i s a f e a s i b l e s o l u t i o n s i n c e ( 7 4 ) i s s a t i s e d e x a c t l y a t t h e
p o i n t s !
1
: : !
n
!
w h e n n
!
= n
a
( i n w h i c h c a s e a l s o T
T =
I ) . F u r t h e r m o r e , i t i s a d i r e c t c o n s e q u e n c e o f t h e e x p o n e n t i a l
f u n c t i o n t h a t t h i s s o l u t i o n i n t e r p o l a t e s ( 7 4 ) s m o o t h l y b e t w e e n
t h e g r i d p o i n t s . A l s o , i f w e c h o o s e n
!
> n
a
a n d s o l v e ( 7 8 )
i n a l e a s t s q u a r e s s e n s e , t h e n a g a i n t h e s o l u t i o n g i v e s a n i c e
i n t e r p o l a t i o n o f ( 7 4 ) .
W e i l l u s t r a t e t h e s e t h r e e m e t h o d s w i t h a s i m p l e e x a m p l e .
E x a m p l e 1 : C o n s i d e r t h e c a s e ( 7 4 ) . L e t
̂
y
( ! )
1 a n d
N
2
( ! ) = 1 = ( ( = 1 0 )
2
+ !
2
) . T h i s i s s i m i l a r t o t h e b a s i c w a v e l e t
c a s e , e x c e p t f o r t h e c u t - o f r e q u e n c y = 1 0 . T h e c u t - o f r e -
q u e n c y i s i n c l u d e d t o a v o i d f ( ! ) b e i n g a p u r e d o u b l e d i e r e n -
t i a t i o n . L e t u s c h o o s e n = 5 a n d 2 0 , r e s p e c t i v e l y , a n d c o m p u t e
a c o r r e s p o n d i n g
̂
R
1
u s i n g t h e t h r e e m e t h o d s . I n a l l m e t h o d s ,
N ( ! ) i s e v a l u a t e d i n 6 4 r e g u l a r l y s p a c e d p o i n t s b e t w e e n 0 a n d
. W e e v a l u a t e t h e d e s i g n b y s o l v i n g ( 7 4 ) f o r N ( ! ) a t 1 0 0 n e w
f r e q u e n c i e s n o t i n c l u d e d i n t h e d e s i g n s t e p , a n d t h e r e s u l t i s
s h o w n i n F i g u r e 1 . W e s e e t h a t t h e i n v e r s e T o e p l i t z m e t h o d i s
s u p e r i o r a t l o w f r e q u e n c i e s t o a p p r o x i m a t e N ( ! ) = 1 =
p
f ( ! )
T h e r e s u l t o f t h e l e a s t s q u a r e s s o l u t i o n i s n o t s h o w n i n t h e g -
u r e s b e c a u s e i t t u r n s o u t t o g i v e i d e n t i c a l r e s u l t a s t h e d i r e c t
T o e p l i t z m e t h o d , a f a c t w h i c h i s n o t o b v i o u s f r o m t h e a b o v e .
H o w e v e r , t h e n u m b e r o f c o m p u t a t i o n s t o g e t t h e l e a s t s q u a r e s
s o l u t i o n i s m u c h l a r g e r . I n t h i s c a s e , w h e r e t h e F F T c a n b e
u s e d , t h e d i e r e n c e i s a f a c t o r 1 0 0 0 . T h e i m p u l s e r e s p o n s e s
s h o w n t o t h e r i g h t i n F i g u r e 1 g i v e s a n i n t e r p r e t a t i o n o f w h y
t h e i n v e r s e T o e p l i t z m e t h o d i s b e t t e r : t h e i m p u l s e r e s p o n s e c o n -
v e r g e s q u i c k e r .
B a s e d o n t h e r e s u l t o f s u c h e x a m p l e s , t h e i n v e r s e T o e p l i t z
m e t h o d i s p r o p o s e d a n d t h e r e s u l t s u m m a r i z e d i n a n a l g o r i t h m .
A l g o r i t h m 1 ( F r e q u e n c y S e l e c t i v e K a l m a n F i l t e r ( F S K F ) )
C h o o s e t h e A R m o d e l o r d e r n , a n d t h e s h a p e o f t h e t i m e w i n -
d o w N ( ! ) . R u n t h e b a s i c l t e r ( 2 9 ) { ( 3 4 ) w i t h t h e f o l l o w i n g
c h o i c e o f
̂
R
1
( t )
1 . F o r m t h e f u n c t i o n
f ( ! ) = 4 = ( N
2
( ! )
̂
y
( ! t ) ) ( 8 0 )
7/27/2019 Shaping Frequency Dependent Time Resolution When
http://slidepdf.com/reader/full/shaping-frequency-dependent-time-resolution-when 7/10
Specified time window
Direct Toeplitz method
Inverse Toeplitz method
0 0.5 1 1.5 2 2.5 3 3.50
2
4
6
8
10
12
14
16
18
20Approximation ability of the time window
w [rad]
N ( w )
IDFT of f(w)
IDFT of 1/f(w)
1 2 3 4 5 6 7 8 9 10−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1Inverse transforms of f(w) and 1/f(w)
Specified time window
Direct Toeplitz method
Inverse Toeplitz method
0 0.5 1 1.5 2 2.5 3 3.50
2
4
6
8
10
12
14
16
18
20Approximation ability of the time window
w [rad]
N ( w )
IDFT of f(w)
IDFT of 1/f(w)
0 5 10 15 20 25 30 35 40−0.6
−0.4
−0.2
0
0.2
0.4
0.6
0.8
1Inverse transforms of f(w) and 1/f(w)
F i g . 1 . A p p r o x i m a t i o n a b i l i t y o f t h e t h r e e m e t h o d s f o r m o d e l o r d e r s 5 ( u p p e r p l o t s ) a n d 2 0 ( l o w e r p l o t s ) .
u s i n g ( 3 4 )
2 . C o m p u t e t h e i n v e r s e F o u r i e r t r a n s f o r m o f f
; 1
( ! ) e v a l u a t e d
a t a r e g u l a r l y s p a c e d f r e q u e n c y g r i d u s i n g I F F T .
3 . L e t P b e t h e n n T o e p l i t z m a t r i x b u i l t u p f r o m t h i s i n v e r s e
F o u r i e r t r a n s f o r m .
4 . L e t
̂
R
1
( t ) = P
; 1
F i n a l l y , u s e t h e s c a l a r ^ r
2
i n t h e l t e r t o t u n e t h e s c a l e o f t h e
t i m e w i n d o w .
W i t h t h e s e t e c h n i q u e s w e h a v e c o n s t r u c t e d a n a l t e r n a t i v e a l -
g o r i t h m t o c o m p u t e t i m e - v a r y i n g p r o p e r t i e s o f a s i g n a l . L i k e
t h e b a s i c R L S a n d L M S m e t h o d s i t h a s o n l y o n e s c a l a r d e s i g n
v a r i a b l e t h a t c o n t r o l s t h e b a s i c t r a d e - o b e t w e e n t r a c k i n g a b i l -
i t y ( t i m e r e s o l u t i o n ) a n d v a r i a n c e o f t h e e s t i m a t e s . I n t h i s c a s e
i t i s t h e s c a l a r ^ r
2
V I . A n a l t e r n a t i v e m o t i v a t i o n
T h e m e t h o d s p r e s e n t e d i n S e c t i o n V a l l h i n g e o n t h e f o r m u l a
( 7 4 ) . T h i s f o r m u l a w i l l n o w b e m o t i v a t e d i n a c o m p l e t e l y d i f -
f e r e n t w a y .
I n t r o d u c e t h e s i m p l i e d n o t a t i o n
!
( t ) =
y
( ! t ) . C o n s i d e r
a r a n d o m w a l k m o d e l o f t h e s p e c t r u m ,
!
( t + 1 ) =
!
( t ) + s
!
( t ) ( 8 1 )
L e t
S
!
= C o v ( s
!
( t ) ) b e t h e c o v a r i a n c e m a t r i x o f t h e r a n d o m
w a l k . A l a r g e S
!
i m p l i e s f a s t v a r i a t i o n s i n t h e s p e c t r u m a t f r e -
q u e n c y ! . H o w e v e r , t h e s i z e o f
S
!
i s s c a l e d e p e n d e n t . I t w o u l d
b e m u c h m o r e l o g i c a l t o l e t
S
!
b e p r o p o r t i o n a l t o t h e s p e c t r u m
i t s e l f , a n d t r y i n g t o c a p t u r e r e l a t i v e c h a n g e s i n t h e s p e c t r u m .
T h e r e f o r e , t h e s t a t e n o i s e s
!
( t ) s h o u l d b e p r o p o r t i o n a l t o t h e
s p e c t r u m , s
!
( t ) =
!
( t ) s
!
( t ) . A l o g a r i t h m i c s t a t e t r a n s f o r m a -
t i o n i s n o w v e r y n a t u r a l :
l o g (
!
( t + 1 ) ) = l o g (
!
( t ) ) + l o g ( 1 + s
!
( t ) )
l o g (
!
( t ) ) + s
!
( t ) ( 8 2 )
T h e a p p r o x i m a t i o n i s v a l i d i f s
!
( t ) i s s m a l l ( w h i c h i t m u s t b e f o r
a s p e c t r u m t o b e a l o g i c a l m e a s u r e o f f r e q u e n c y c o n t e n t , s e e t h e
d i s c u s s i o n i n S e c t i o n I I ) . N o w i t i s p o s s i b l e t o s a y t h a t i f
p
S
!
i s t w i c e a s l a r g e a t o n e f r e q u e n c y t h a n a t a n o t h e r , t h e n s p e c t r a l
c h a n g e s a t t h e r s t f r e q u e n c y c a n b e e x p e c t e d t o b e t w i c e a s
l a r g e . T h e d e s i g n e d r a n d o m w a l k c o v a r i a n c e s h o u l d t h e n b e
m a d e p r o p o r t i o n a l t o t h e s p e c i e d s q u a r e d t i m e r e s o l u t i o n
S
!
= C o v ( s
!
( t ) ) = c N
; 2
( ! ) ( 8 3 )
C o n s i d e r n o w t h e r e l a t i o n b e t w e e n S
!
a n d
̂
R
1
( t ) . A T a y l o r
e x p a n s i o n o f ( 2 6 ) a n d ( 2 7 ) a t = ( t ) g i v e s
l o g (
!
( t ) )
= l o g ( ^ r
2
)
; l o g ( 1 + W ( ! )
T
( t ) )
; l o g ( 1 + W ( ! )
( t ) )
l o g (
b
!
( t ) ) ;
2 r e a l ( W
( ! ) ( 1 + W ( ! )
( t ) ) )
j 1 + W ( ! )
( t ) j
2
( t )
= l o g (
b
!
( t ) ) + e
i ( t ! )
2 W
( ! )
j1 + W ( !
k
)
( t )
j
( t )
4
= l o g (
b
!
( t ) ) +
!
( t ) ( t ) ( 8 4 )
7/27/2019 Shaping Frequency Dependent Time Resolution When
http://slidepdf.com/reader/full/shaping-frequency-dependent-time-resolution-when 8/10
f o r s o m e p h a s e a r g u m e n t ( t ! ) . N o w
S
!
= C o v ( l o g (
!
( t + 1 ) ; l o g (
!
( t ) ) ) ) ( 8 5 )
= C o v (
!
( t + 1 ) ( t + 1 ) ;
!
( t ) ( t ) ) ( 8 6 )
I n t h e e n d ,
!
( t ) h a s t o b e a p p r o x i m a t e d b y p l u g g i n g i n t h e
c u r r e n t p a r a m e t e r e s t i m a t e , s o a s s u m e
!
( t + 1 )
!
( t ) . T h e n
S
!
C o v (
!
( t ) ( ( t + 1 ) ; ( t ) ) )
=
!
( t )
̂
R
1
!
( t )
= 4
1
j 1 + W ( ! )
( t ) j
2
W ( ! )
̂
R
1
W ( ! )
=
4
̂r
2
̂
y
( ! t ) W ( ! )
̂
R
1
W ( ! ) ( 8 7 )
C o m b i n i n g ( 8 3 ) a n d ( 8 7 ) g i v e s
1
n ̂r
2
W
( ! )
̂
R
1
( t ) W ( ! ) =
c
4 n N
2
( ! )
̂
y
( ! t )
( 8 8 )
w h i c h i s e q u i v a l e n t t o ( 7 4 ) i f t h e s c a l i n g f a c t o r i s c h o s e n a s
c = 1 6 n . T h a t i s , f o r a g i v e n m o d e l s t r u c t u r e A R ( n ) , t h e s e
t w o a p p r o a c h e s c o i n c i d e , b o t h h a v i n g o n e s c a l a r a s a d e s i g n
p a r a m e t e r . T h u s , w e h a v e c o n r m e d t h a t ( 7 4 ) i s a l o g i c a l b a s e
f o r t h e d e s i g n .
V I I . N u m e r i c a l I l l u s t r a t i o n s
A . A c h i e v e d f r e q u e n c y r e s o l u t i o n
A n o p e n q u e s t i o n f r o m E x a m p l e 1 i s w h a t h a p p e n s i f t h e t r u e
s p e c t r u m i s r e p l a c e d b y i t s e s t i m a t e , a s s u g g e s t e d i n A l g o r i t h m
1
F o r t h i s p u r p o s e , a n A R ( n ) m o d e l i s e s t i m a t e d f r o m w h i t e
n o i s e o f l e n g t h N = 5 0 0 . T h a t i s ,
o p t
= ( 1 0 : : : 0 )
T
T h e n
̂
R
1
i s c o m p u t e d f r o m t h e t h r e e m e t h o d s d e s c r i b e d i n S e c -
t i o n V a n d t h e f r e q u e n c y r e s o l u t i o n N ( ! ) e v a l u a t e d u s i n g e q u a -
t i o n ( 7 4 ) . F i g u r e 2 s h o w s t h e r e s u l t a v e r a g e d f r o m t h e l a s t
N ; 5 n v a l u e s o f
̂
N ( ! t ) f o r n = 5 a n d n = 2 0 , r e s p e c t i v e l y .
T h e l e f t p l o t s h o w s t h e a c c u r a c y o f A l g o r i t h m 1 . T h a t i s , h o w
w e l l c a n e q u a t i o n ( 7 4 ) b e s o l v e d f o r
̂
R
1
. T h e a c c u r a c y i s v e r y
g o o d f o r t h e h i g h e r m o d e l o r d e r e x c e p t f o r v e r y l o w f r e q u e n c i e s .
B . F r e q u e n c y t r a c k i n g
I n t h i s s u b s e c t i o n a p i e c e w i s e c o n s t a n t f o u r t h o r d e r A R m o d e l
i s s t u d i e d . T h e t h r e e d i e r e n t p a r a m e t e r v e c t o r s c o r r e s p o n d t o
t h e s p e c t r a i n F i g u r e 3 . T h a t i s , r s t t h e A R c o e c i e n t s a r e
c h o s e n t o g i v e t w o r e s o n a n c e p e a k s . T h e n t h e y a r e c h a n g e d
s u c h t h a t t h e p e a k a t t h e l o w e r f r e q u e n c y ( 0 . 6 ) i s a t t e n u a t e d
a n d t h e n c h a n g e d b a c k a g a i n . T h e n , i n t h e s a m e w a y , t h e h i g h
f r e q u e n c y ( 1 . 2 ) p e a k i s a t t e n u a t e d a n d t h e n c h a n g e d b a c k a g a i n .
T h e t r a c k i n g a b i l i t y o f t h e d i e r e n t m e t h o d s w i l l b e i l l u s -
t r a t e d a t t h e t w o m a r k e d f r e q u e n c i e s ( 0 . 6 a n d 1 . 2 ) i n F i g u r e
3 . A n A R ( 4 ) m o d e l i s e s t i m a t e d r s t w i t h R L S w i t h f o r g e t t i n g
f a c t o r 0 . 9 8 a n d t h e n w i t h a K a l m a n l t e r w i t h
̂
R
1
= 0 0 0 0 1 I ,
a n d t h e s p e c t r u m a t t h e s e t w o f r e q u e n c i e s i s e v a l u a t e d a t e a c h
t i m e i n s t a n t u s i n g t h e r e c u r s i v e l y e s t i m a t e d p a r a m e t e r s . T h e
r e s u l t i s s h o w n i n F i g u r e 4 f o r R L S a n d F i g u r e 5 f o r t h e K a l m a n
l t e r . F i g u r e 6 s h o w s t h e s a m e t h i n g f o r t h e f r e q u e n c y s e l e c t i v e
K a l m a n l t e r i n A l g o r i t h m 1 , w i t h 1 = ̂r
2
= 0 0 0 1 a n d
N ( ! ) =
1
!
( 8 9 )
Specified time window
Direct Toeplitz method
Inverse Toeplitz method
Least squares method
0 0.5 1 1.5 2 2.5 30
2
4
6
8
10
12
14Approximation ability of the time window
w [rad]
N ( w )
Specified time window
Direct Toeplitz method
Inverse Toeplitz method
Least squares method
0 0.5 1 1.5 2 2.5 30
2
4
6
8
10
12
14Approximation ability of the time window
w [rad]
N ( w )
F i g . 2 . A p p r o x i m a t i o n a b i l i t y o f s p e c i e d t i m e r e s o l u t i o n o f t h e t h r e e
m e t h o d s f o r m o d e l o r d e r s 5 ( u p p e r p l o t ) a n d 2 0 ( l o w e r p l o t ) .
T h e r e c u r s i v e p a r a m e t e r e s t i m a t e i s i n a l l c a s e s a v e r a g e d o v e r
5 0 r e a l i z a t i o n s . N o t e t h e f o l l o w i n g :
R L S h a s t h e o v e r a l l b e s t p e r f o r m a n c e , a f a c t s t e m m i n g f r o m
t h e a b r u p t p a r a m e t e r c h a n g e s w h e r e R L S i s i n a s e n s e t h e b e s t
l i n e a r t r a c k i n g a l g o r i t h m .
T h e t r a c k i n g a b i l i t y o f R L S a n d K F i s i n d e p e n d e n t f o r t h e
t w o f r e q u e n c i e s a n d t h e v a r i a n c e e r r o r s e e m s t o b e t h e s a m e .
T h e t r a c k i n g a b i l i t y o f F S K F i s m u c h b e t t e r f o r t h e h i g h e r
f r e q u e n c y t h a n f o r t h e l o w e r o n e a t t h e c o s t o f i n c r e a s e d v a r i -
a n c e .
W e s t r e s s a g a i n t h e t h e o p t i m a l c h o i c e o f
̂
R
1
d e p e n d s o n t h e
s i g n a l a n d n o t h i n g e l s e , b u t w i t h t h e a d v o c a t e d c h o i c e w e g e t a
p r e d e n e d f r e q u e n c y r e s o l u t i o n .
V I I I . C o n c l u s i o n s
I n t h i s c o n t r i b u t i o n , w e h a v e f o c u s e d o n t h e t i m e a n d f r e -
q u e n c y r e s o l u t i o n o f s e v e r a l p a r a m e t r i c m e t h o d s f o r s p e c t r a l
e s t i m a t i o n , w i t h t h e t e r m i n o l o g y u s e d i n t h e n o n - p a r a m e t r i c
c o n t e x t . I n t h e p a r a m e t r i c a p p r o a c h , w e c o m p u t e d t h e s p e c -
t r u m f r o m a r e c u r s i v e l y e s t i m a t e d A R m o d e l . I t w a s s h o w n
t h a t t h e t i m e w i n d o w s { t h a t i s , t h e e e c t i v e n u m b e r o f s a m -
p l e s u s e d t o c o m p u t e t h e s p e c t r u m a t a c e r t a i n f r e q u e n c y { f o r
c o m m o n a d a p t i v e m e t h o d s a s L M S a n d R L S a r e i n h e r e n t l y f r e -
q u e n c y i n d e p e n d e n t . T h e t i m e r e s o l u t i o n d e p e n d s o n l y o n t h e
d e s i g n p a r a m e t e r s a n d t h e s p e c t r u m i t s e l f .
W e h a v e s h o w n h o w t h e g e n e r a l K a l m a n l t e r f o r m u l a t i o n
a l l o w s u s t o s h a p e t h e t i m e r e s o l u t i o n a r b i t r a r i l y w i t h f r e q u e n c y .
I t i s j u s t a m a t t e r o f u s i n g t h e \ s t a t e n o i s e c o v a r i a n c e m a t r i x "
7/27/2019 Shaping Frequency Dependent Time Resolution When
http://slidepdf.com/reader/full/shaping-frequency-dependent-time-resolution-when 9/10
0 0.5 1 1.5 2 2.5 30
10
20
30
40
50
60
70
80
90
100Spectra for three AR(4) models
F i g . 3 . S p e c t r a f o r t h r e e A R ( 4 ) m o d e l s
0 200 400 600 800 1000 1200 1400 1600 1800 200010
0
101
102
Algorithm ff. Design parameter 0.98. Low frequency.
0 200 400 600 800 1000 1200 1400 1600 1800 200010
0
101
102
Algorithm ff. Design parameter 0.98. High frequency.
F i g . 4 . T h e s p e c t r a l e s t i m a t e
̂
y
( ! t ) a t t w o f r e q u e n c i e s ( u p p e r p l o t : l o w ,
l o w e r p l o t : h i g h ) u s i n g R L S
̂
R
1
a s a d e s i g n v a r i a b l e .
T h i s c o u l d , e . g . b e u s e d s o t h a t t h e t i m e r e s o l u t i o n i n c r e a s e s
w i t h h i g h e r f r e q u e n c i e s , s i m i l a r t o t h e w a v e l e t t r a n s f o r m . T h u s ,
t h e p r o p o s e d m e t h o d o e r s a d e f a u l t c h o i c e o f
̂
R
1
w h i c h i s n o t
a d h o c , i n c o n t r a s t t o t h e R L S a n d L M S a l g o r i t h m s .
A p p e n d i x
I . S o m e u s e f u l m a t r i x r e s u l t s
I n t h i s s e c t i o n w e w i l l s u m m a r i z e s o m e m a t r i x r e s u l t s t h a t
a r e e s s e n t i a l f o r t h e d e r i v a t i o n s i n t h e p a p e r . T h e r s t r e s u l t
s t a t e s t h a t g i v e n a m a t r i x A w i t h T o e p l i t z s t r u c t u r e , i . e .
A =
0
B
B
B
B
B
B
B
B
@
a
0
a
; 1
a
; 2
a
; 3
: : : a
; n
a
1
a
0
a
; 1
a
; 2
: : : a
; n + 1
a
n
: : : a
; 3
a
; 2
a
; 1
a
0
1
C
C
C
C
C
C
C
C
A
( 9 0 )
w e h a v e t h e s t a n d a r d r e s u l t
1
n
W
( ! ) A W ( ! ) =
n ; 1
X
= ; n + 1
( 1 ;
j j
n
) a
e
; i !
! a ( ! ) a s n ! 1
( 9 1 )
0 200 400 600 800 1000 1200 1400 1600 1800 200010
0
101
102
Algorithm kf. Design parameter 0.0001. Low frequency.
0 200 400 600 800 1000 1200 1400 1600 1800 200010
0
101
102
Algorithm kf. Design parameter 0.0001. High frequency.
F i g . 5 . T h e s p e c t r a l e s t i m a t e
̂
y
( ! t ) a t t w o f r e q u e n c i e s ( u p p e r p l o t : l o w ,
l o w e r p l o t : h i g h ) u s i n g t h e K a l m a n l t e r
0 200 400 600 800 1000 1200 1400 1600 1800 200010
0
101
102
Algorithm f3. Design parameter 0.001. Low frequency.
0 200 400 600 800 1000 1200 1400 1600 1800 200010
0
101
102
Algorithm f3. Design parameter 0.001. High frequency.
F i g . 6 . T h e s p e c t r a l e s t i m a t e
̂
y
( ! t ) a t t w o f r e q u e n c i e s ( u p p e r p l o t : l o w ,
l o w e r p l o t : h i g h ) u s i n g f r e q u e n c y s e l e c t i v e K F
w h e r e
a ( ! ) =
1
X
= ; 1
a
e
; i !
( 9 2 )
I n p a r t i c u l a r t h i s m e a n s t h a t i f A i s a c o v a r i a n c e m a t r i x o f a
s i g n a l t h e l i m i t t e n d s t o t h e s p e c t r u m o f t h e s i g n a l .
F u r t h e r m o r e w e h a v e t h a t , s e e 1 3 ] ,
l i m
n ! 1
1
n
W
( ! ) A
; 1
W ( ! ) =
1
a ( ! )
( 9 3 )
w h i c h m e a n s t h a t t h e l i m i t o p e r a t i o n a p p l i e d t o t h e i n v e r s e o f
a c o v a r i a n c e m a t r i x r e s u l t s i n t h e i n v e r s e o f t h e s p e c t r u m .
I n 5 ] c o r r e s p o n d i n g r e s u l t s a r e d e r i v e d f o r a c l a s s o f m a t r i c e s
t h a t a t t a i n T o e p l i t z s t r u c t u r e w h e n t h e i r d i m e n s i o n s i n c r e a s e .
T h e m a t r i c e s i n t h i s c l a s s a l s o h a v e t h e p r o p e r t y t h a t t h e e l e -
m e n t s d e c a y e x p o n e n t i a l l y , i . e .
j a
j C
( 9 4 )
f o r 0 < < 1 a n d s o m e c o n s t a n t C . F o r m a t r i c e s i n t h i s c l a s s
i t i s s h o w n t h a t
l i m
n ! 1
1
n
W
( ! ) A B W ( ! ) ! a ( ! ) b ( ! ) ( 9 5 )
7/27/2019 Shaping Frequency Dependent Time Resolution When
http://slidepdf.com/reader/full/shaping-frequency-dependent-time-resolution-when 10/10
w h e r e a s b e f o r e
a ( ! ) =
1
X
= ; 1
a
e
; i !
( 9 6 )
a n d
b ( ! ) =
1
X
= ; 1
b
e
; i !
( 9 7 )
R e f e r e n c e s
1 ] I . D a u b e c h i e s . T e n L e c t u r e s o n W a v e l e t s . S I A M , P h i l a d e l p h i a , 1 9 9 2 .
2 ] P . F l a n d r i n . \ A T i m e - F r e q u e n c y F o r m u l a t i o n o f O p t i m u m D e t e c t i o n " .
I E E E T r a n s . A c o u s t i c s , S p e e c h a n d S i g n a l P r o c e s s i n g , 3 6 : 1 3 7 7 { 1 3 8 4 , 1 9 8 8 .
3 ] W . A . G a r d n e r . S t a t i s t i c a l S p e c t r a l A n a l y s i s . P r e n t i c e H a l l , 1 9 8 8 .
4 ] S . G u n n a r s s o n . \ F r e q u e n c y d o m a i n a c c u r a c y o f r e c u r s i v e l y i d e n t i e d A R X
m o d e l s " . I n t e r n a t i o n a l J o u r n a l C o n t r o l , 5 4 : 4 6 5 { 4 8 0 , 1 9 9 1 .
5 ] S . G u n n a r s s o n a n d L . L j u n g . \ F r e q u e n c y d o m a i n t r a c k i n g c h a r a c t e r i s t i c s
o f a d a p t i v e a l g o r i t h m s " . I E E E T r a n s a c t i o n s o n A c o u s t i c s , S p e e c h a n d S i g n a l
P r o c e s s i n g , 3 7 : 1 0 7 2 { 1 0 8 9 , 1 9 8 9 .
6 ] L . G u o a n d L . L j u n g . \ P e r f o r m a n c e A n a l y s i s o f G e n e r a l T r a c k i n g A l g o -
r i t h m s " . I E E E T r a n s . A u t o m a t i c C o n t r o l , A C - 4 0 : 1 3 8 8 { 1 4 0 2 , 1 9 9 5 .
7 ] F . H l a w a t s c h a n d G . F . B o u d r e a u x - B a r t e l s . L i n e a r a n d q u a d r a t i c t i m e -
f r e q u e n c y s i g n a l r e p r e s e n t a t i o n . I E E E S i g n a l P r o c e s s i n g M a g a z i n e , 9 ( 2 ) : 2 1 {
6 8 , 1 9 9 2 .
8 ] G . M . J e n k i n s a n d D . G . W a t t s . S p e c t r a l A n a l y s i s a n d I t s A p p l i c a t i o n s
H o l d e n - D a y , 1 9 6 8 .
9 ] S . M . K a y . M o d e r n S p e c t r a l E s t i m a t i o n . P r e n t i c e H a l l , 1 9 8 8 .
1 0 ] G . K i t a g a w a a n d W . G e r s h . \ A s m o o t h n e s s p r i o r s t i m e - v a r y i n g A R c o -
e c i e n t m o d e l i n g o f n o n s t a t i o n a r y c o v a r i a n c e t i m e s e r i e s " . I E E E T r a n s .
A u t o m a t i c C o n t r o l , 3 0 : 4 8 { 6 5 , 1 9 8 5 .
1 1 ] L . L j u n g a n d S . G u n n a r s s o n . \ A d a p t a t i o n a n d t r a c k i n g i n s y s t e m i d e n t i -
c a t i o n { A s u r v e y " . A u t o m a t i c a , 2 6 : 7 { 2 1 , 1 9 9 0 .
1 2 ] L . L j u n g a n d T . S o d e r s t r o m T h e o r y a n d P r a c t i c e o f R e c u r s i v e I d e n t i c a t i o n
M . I . T . P r e s s , C a m b r i d g e , M A . , 1 9 8 3 .
1 3 ] L . L j u n g a n d Z . D . Y u a n . \ A s y m p t o t i c p r o p e r t i e s o f b l a c k - b o x i d e n t i c a t i o n
o f t r a n s f e r f u n c t i o n s " . I E E E T r a n s . A u t o m a t i c C o n t r o l , A C - 3 0 : 5 1 4 { 5 3 0 ,
1 9 8 5 .
1 4 ] O . R i o u l a n d M . V e t t e r l i . W a v e l e t s a n d s i g n a l p r o c e s s i n g . I E E E S i g n a l
P r o c e s i n g M a g a z i n e , 8 ( 4 ) : 1 4 { 3 8 , 1 9 9 1 .
1 5 ] B . W i d r o w a n d S . D . S t e a r n s . A d a p t i v e S i g n a l P r o c e s s i n g . P r e n t i c e - H a l l ,
E n g l e w o o d C l i s , N . J . , 1 9 8 5 .
F r e d r i k G u s t a f s s o n w a s b o r n i n 1 9 6 4 . H e r e c e i v e d
t h e M . S . d e g r e e i n e l e c t r i c a l e n g i n e e r i n g i n 1 9 8 8 a n d
t h e P h . D . d e g r e e i n a u t o m a t i c c o n t r o l i n 1 9 9 2 , b o t h
f r o m L i n k o p i n g U n i v e r s i t y , S w e d e n . H e i s a n a s s o c i a t e
p r o f e s s o r i n e l e c t r i c a l e n g i n e e r i n g a t L i n k o p i n g U n i -
v e r s i t y . H i s r e s e a r c h i s f o c u s e d o n s t a t i s t i c a l m e t h o d s
i n s y s t e m i d e n t i c a t i o n a n d s i g n a l p r o c e s s i n g .
S v a n t e G u n n a r s s o n w a s b o r n i n 1 9 5 9 . H e r e c e i v e d
h i s M . S c . i n 1 9 8 3 a n d h i s P h . D . i n 1 9 8 8 , b o t h f r o m
L i n k o p i n g U n i v e r s i t y . S i n c e 1 9 8 9 h e i s a s s o c i a t e p r o -
f e s s o r a t t h e d e p a r t m e n t o f e l e c t r i c a l e n g i n e e r i n g a t
L i n k o p i n g u n i v e r s i t y . H i s r e s e a r c h i n t e r e s t s a r e s y s -
t e m i d e n t i c a t i o n a n d a d a p t i v e c o n t r o l .
L e n n a r t L j u n g w a s b o r n i n M a l m o , S w e d e n . H e r e -
c e i v e d t h e P h . D . d e g r e e i n 1 9 7 4 f r o m L u n d U n i v e r s i t y
i n S w e d e n . S i n c e 1 9 7 6 h e h a s b e e n P r o f e s s o r o f t h e
C h a i r o f A u t o m a t i c C o n t r o l a t L i n k o p i n g U n i v e r s i t y ,
S w e d e n . P r o f e s s o r L j u n g i s a n a s s o c i a t e e d i t o r o f s e v -
e r a l j o u r n a l s . H e i s f e l l o w o f t h e I E E E , m e m b e r o f t h e
R o y a l S w e d i s h A c a d e m y o f E n g i n e e r i n g S c i e n c e s a n d
t h e R o y a l S w e d i s h A c a d e m y o f S c i e n c e , a n d a l s o a n
I F A C A d v i s o r .