a hopfield network implementation of the viterbi algorithm for hidden markov models
TRANSCRIPT
-
7/27/2019 A Hopfield Network Implementation of the Viterbi Algorithm for Hidden Markov Models
1/7
S . V . B . A i y e r & F . F a l l s i d e
J u n e 1 7 , 1 9 9 2
C a m b r i d g e U n i v e r s i t y E n g i n e e r i n g D e p a r t m e n t
T r u m p i n g t o n S t r e e t
C a m b r i d g e C B 2 1 P Z
E n g l a n d
: s v b 1 0 / f a l l s i d e @ d s l . e n g . c a m . a c . u k
S u b m i t t e d t o I J C N N - 9 1 - S e a t t l e
E m a i l
A H O P F I E L D N E T W O R K I M P L E M E N T A T I O N
O F T H E V I T E R B I A L G O R I T H M F O R
H I D D E N M A R K O V M O D E L S
C U E D / F - I N F E N G / T R 6 0
-
7/27/2019 A Hopfield Network Implementation of the Viterbi Algorithm for Hidden Markov Models
2/7
+ 1
t t
t t
1 2
1 2
= 1
1
= 1
N
i j j i
K
i j j i
t
k
t
i
M
t
p o
M
t
p p
r e t i n g t h e i t e r i l g o r i t h m s f o r m o f o m i n t o r i l o p t i m i z t i o n D t h i s p p e r s h o w s h o w i t n
e i m p l e m e n t e d o n o p e l d n e t w o r k F h e i m p l e m e n t t i o n u s e s f r m e w o r k d e v e l o p e d i n o u r p r e v i o u s
p p e r s I D P w h i h e n s u r e s t h e n e t w o r k n h i e v e v l i d s o l u t i o n s f o r m u h l r g e r l s s o f o m i n t o r i l
o p t i m i z t i o n p r o l e m t h n p r e v i o u s l y o n s i d e r e d F h i s l s s i n l u d e s d y n m i p r o g r m m i n g p r o l e m s
o f t h e t y p e r e p r e s e n t e d y t h e i t e r i l g o r i t h m F h e i m h e r e i s t o p r e s e n t i n d e t i l t h e t u l
m p p i n g r e q u i r e d t o i m p l e m e n t t h e i t e r i l g o r i t h m o n t h e o p e l d n e t w o r k D t o g e t h e r w i t h n n l y s i s
n d j u s t i t i o n o f i t F i n l l y D t o o n r m t h e t h e o r y D r e s u l t s r e p r e s e n t e d w h i h s h o w t h e o p e l d
n e t w o r k h i e v i n g t h e s m e s o l u t i o n s s t n d r d d y n m i p r o g r m m i n g s e d i t e r i l g o r i t h m D f o r
r e o g n i t i o n t s k s e d o n p r e E t r i n e d I H s t t e i d d e n r k o v m o d e l F
o p e l d n d n k 9 s I W V S p p e r Q e s t l i s h e d t h e o p e l d n e t w o r k D s n i m p o r t n t l t e r n t i v e m e t h o d
o f s o l v i n g o m i n t o r i l o p t i m i z t i o n p r o l e m s F l t h o u g h m n y r e s e r h e r s h v e s i n e p r o p o s e d
w i d e v r i e t y o f u s e s f o r t h e n e t w o r k D m o s t o f t h e s e p p l i t i o n s h v e e e n t o s o l v e h i g h l y r t i i l
o m i n t o r i l o p t i m i z t i o n p r o l e m s D s u h s t h e r v e l l i n g l e s m n n d r p h r t i t i o n i n g p r o l e m s F
v e n i n t h e s e s e s i t h s e e n f o u n d t h t t h e n e t w o r k r r e l y h i e v e s v l i d s o l u t i o n s t o t h e p r o l e m i t
i s e i n g u s e d t o s o l v e R D S F h i s p r o l e m o f r e l i i l i t y h s e e n d d r e s s e d i n I D P n d f r m e w o r k
f o r u s i n g t h e n e t w o r k w i t h g u r n t e e d r e l i i l i t y h s e e n d e v e l o p e d F o n s e q u e n e o f t h i s f r m e w o r k
@ s e e P A i s t h e p o s s i i l i t y o f u s i n g t h e n e t w o r k t o s o l v e y n m i r o g r m m i n g t y p e o m i n t o r i l
o p t i m i z t i o n p r o l e m s l i k e t h e i t e r i l g o r i t h m T F h i s l g o r i t h m h s d i r e t p p l i t i o n t o i d d e n
r k o v o d e l s D s p e i l l y f o r r e o g n i t i o n t s k s s u h s t h o s e t h t o u r i n s p e e h p r o e s s i n g F
n t h i s p p e r t h e p o s s i i l i t y o f u s i n g t h e o p e l d n e t w o r k t o s o l v e d y n m i p r o g r m m i n g p r o l e m s i s
d e v e l o p e d i n t o n t u l i m p l e m e n t t i o n o f t h e i t e r i l g o r i t h m F h e d e s r i p t i o n o f t h e i m p l e m e n t t i o n
i s d i v i d e d i n t o t h r e e s e t i o n s F h e r s t i n t r o d u e s t h e k e y o n e p t s n d n o t t i o n o n v e n t i o n s r e l e v n t
t o t h e i d d e n r k o v o d e l n d t h e i t e r i l g o r i t h m F h e s e o n d s e t i o n d e v e l o p s n d j u s t i e s t h e
e x p r e s s i o n s r e q u i r e d t o m p t h e i t e r i l g o r i t h m o n t o t h e p r m e t e r s o f t h e o p e l d n e t w o r k F i n l l y
t h e l s t s e t i o n p r e s e n t s n d d i s u s s e s t h e e x p e r i m e n t l r e s u l t s F
e t e d i s r e t e t i m e v r i l e w h e r e X I P F
e t e t h e s t t e s o f n w i t h s t t e s F
e t e t h e m t r i x o f i n t e r s t t e t r n s i t i o n p r o i l i t i e s X a r @ t C I t A
e t e s e t o f o u t p u t s y m o l s F
e t e t h e o u t p u t s y m o l p r o i l i t y m t r i x X a r t t
e t e e l e m e n t v e t o r w h i h d e n o t e s s e q u e n e o f o u t p u t s y m o l s X a i f t h e o u t p u t
s y m o l t t i m e i s
e t e e l e m e n t v e t o r w h i h d e n o t e s s e q u e n e o f s t t e s X a i f t t i m e t h e i s i n
s t t e
h e i t e r i l g o r i t h m s e e k s t o n d s e q u e n e o f s t t e s w h i h m x i m i z e s t h e j o i n t l i k e l i h o o d t h t
t h e g e n e r t e d w i t h s t t e s e q u e n e F e t @ A d e n o t e t h i s j o i n t l i k e l i h o o d F s i n g t h i s
e x p r e s s i o n t h e i t e r i l g o r i t h m r e d u e s t o X
r g m x @ A
o t e t h t y y e s t h e o r e m D @ A a @ A @ A D n d t h t X
@ A a @ I A
@ A a @ P A
t t ; ; : : : ; M
q ; q ; : : : ; q N
N N A q t q t
! ; ! : : : : ; ! K
N K B w t q t
M M O k
t !
M p i t
q
; ;
; ;
; ; ; ; ;
; ; B
; A
P f g
j
j
v j
v j
v j v j v j
v j
v j
A b s t r a c t
A
B
O
p
p
O p O p A B
p
O p A B
O p A B O A B p p A B
O A B p
p A B
1
I n t r o d u c t i o n a n d O u t l i n e
T h e H i d d e n M a r k o v M o d e l a n d V i t e r b i A l g o r i t h m
-
7/27/2019 A Hopfield Network Implementation of the Viterbi Algorithm for Hidden Markov Models
3/7
1
2
1 2
1 2 3 4 3 4
M
M
j
1
2
1 2 1 2
1 2 3 3 4 4
o p T o p o p
T
o p o p o p
o p o p
o p
o p
o p
p
p
i p i
p
t h
p
p
p
p
p
p p p
i j
p
i
T T
p
T
p
T
p
T
p
T
p
T
p
T
k i j
h i s m p p i n g h s t w o s i r e q u i r e m e n t s X
v e t o r o f o n e s n d z e r o s @ i F e v e t o r t h t o r r e s p o n d s t o h y p e r u e o r n e r A h s t o e f o u n d
t h t n u n i q u e l y r e p r e s e n t t h e s t t e s e q u e n e F e t t h i s v e t o r e d e n o t e d @ A F
q u d r t i i p u n o v f u n t i o n o f t h e n e t w o r k o u t p u t v e t o r h s t o e f o u n d D w h i h i s o f t h e f o r m
@ A a F h e m t r i x n d v e t o r m u s t e s u h t h t @ @ A A i s
m o n o t o n i f u n t i o n o f @ A F n o t h e r w o r d s
i f @ A @ A t h e n @ @ A A @ @ A A
s s u m i n g i s s y m m e t r i D i t n e s h o w n t h t t h e o p e l d n e t w o r k w i l l g r d u l l y h n g e s o
s t o m i n i m i z e @ A F u r t h e r D u s i n g t h e t e h n i q u e o f v l i d s u s p e o n n e m e n t d e v e l o p e d i n o u r
p r e v i o u s p p e r P D i t n l s o e e n s u r e d t h t w h e n e v e r n l s o l u t i o n i s r e h e d D i s o f t h e f o r m @ A F
i n i m i z i n g @ A s u j e t t o a @ A i s e q u i v l e n t t o m x i m i z i n g @ A o v e r D h e n e i t i s
p o s s i l e f o r t h e o p e l d n e t w o r k t o p e r f o r m t h e s m e o p t i m i z t i o n o p e r t i o n s t h e i t e r i l g o r i t h m F
e t @ A e t h e d i m e n s i o n l o E o r d i n t e v e t o r g i v e n y D
@ A a a
I i f a
H i f a
I P @ Q A
n e e t @ A i s t h e o l u m n o f t h e i d e n t i t y m t r i x F h e @ A p r t o f t h e v e t o r
@ A D s p e i e s t h e n u m e r o f e l e m e n t s i n t h i s v e t o r n d t h e r n g e o f F f t h i s i s o v i o u s f r o m t h e
o n t e x t o f u s e D t h e n i t w i l l e o m i t t e d D l e v i n g j u s t F
h e d i m e n s i o n l v e t o r @ A D w h i h o r r e s p o n d s t o t h e s t t e s e q u e n e d e n o t e d y D n n o w
e d e n e d s f o l l o w s X
@ A a
@ A
@ A
@ A
@ R A
n l t e r n t i v e w y o f r e p r e s e n t i n g i s y m t r i x F e t s u h m t r i x e d e n o t e d @ A D
n d e d e n e d y X
@ A a
@ A @ A @ A
o r @ A a @ A @ S A
o r R s t t e D w i t h t h e s e q u e n e o f s t t e s D t h e v e t o r s n d @ A p l u s t h e m t r i x
@ A w o u l d e x p n d s f o l l o w s D
@ A @ A
I P Q Q R R
I H H H H I H H H H I H H H I H H H H I H H H I
I H H H H H
H I H H H H
H H I I H H
H H H H I I
h e f u n t i o n v e @ A @ s e e U A D w h i h o n t e n t e s t h e o l u m n s o f m t r i x i n t o o n e v e t o r D n e u s e d
t o m p t h e m t r i x t o e l e m e n t v e t o r X
a v e @ A a w h e r e a @ I A C
r o m t h e d e n i t i o n s o f @ A n d @ A g i v e n i n @ R A @ S A D i t n e s e e n t h t @ A a v e @ @ A A F
E E
; ;
; ; ; ; E E
E
E ; ;
N N
N
i p
i p
p ; ; : : : ; N
N p N N N
N p
N M
N
N
N
N M
N N N
N
q q q q q q
; ; ; ; ;
N M N M
v V k N j i
v j
v j ! v j
v j
T
P f g
A
( i )
p v p
( i i ) v
v v T v i v T i v p
O p A B
O p A B O p A B v p v p
T v
v
v v p
v v v p O p A B p
N . B .
v p p
v p
p V p
V p V p
p v p
V p
p v p V p
V v
v V
v p V p v p V p
( )
2
A g e n e r a l e x p r e s s i o n f o r v p
M a p p i n g o f t h e V i t e r b i A l g o r i t h m f o r H M M s o n t o a H o p e l d N e t w o r k
&
P
T
T
R
Q
U
U
S
P
T
T
R
Q
U
U
S
-
7/27/2019 A Hopfield Network Implementation of the Viterbi Algorithm for Hidden Markov Models
4/7
+ 1
+ 1
+ 1 + 1
+ 1
j j
l
j
j
j j j j
t t
1 1 1 2 1
2 1 2 2 2
1 2
= 1 = 1 = 1
1
2
= 1 = 1 = 1 = 1 = 1
= 1 = 1
1
2
= 1 = 1
1
2
= 1
1
= 1
1
2
1
= 1
1
= 1
1
2
1
2
1
2
1
2
1
2
1
2
1
2
1
2
1
2
o p o p
o p
o p p q p q
T
p q
M
M
M M M M
T
T
T p q T
N M
i
i i
N
i
M
j
i j i j
p q T p q
j i
x y x y
T
k l
N
i
M
j
k i i j l j
N
i
M
j
k i p i l j
M
j
k p l j
l j l j k l
k p
p q
N
i
M
j
i j i j i j p i
p q
N
i
M
j
i j i p
N
i
M
j
p i i p
M
j
p p
M
t
p p
p q
T o p T p q p q
T
T p q T p q T
T o p
o p o p
h e e x p r e s s i o n s f o r n d r e l y o n t h e u s e o f t h e r o n e k e r p r o d u t n o t t i o n d e v e l o p e d i n P @ s e e
U f o r d e t i l e d d e n i t i o n s n d p r o o f s o f t h e r o n e k e r p r o d u t i d e n t i t i e s A D w i t h e i n g g i v e n y n
e x p r e s s i o n o f t h e f o r m X
a C C w h e r e a @ A a
n d w h e r e i s m t r i x D i s m t r i x F
e t t h e e l e m e n t v e t o r n d t h e m t r i x e r e l t e d y X a v e @ A F r o m t h e i d e n t i t y
@ s e e U A X
@ A a v e @ A w h e r e a v e @ A @ T A
i t f o l l o w s t h t i f a @ A t h e n a @ A @ A s i n e @ A a v e @ @ A A F e n e X
@ A @ A a @ A a @ A a @ A @ U A
o n s i d e r t h e v l u e o f a @ A @ A f o r t h e s e w h e r e X
a
I i f a I
H o t h e r w i s e
I P @ V A
a l o g @ A I P @ W A
s i n g @ S A n d @ Q A l l o w s a @ A t o e w r i t t e n i n o m p o n e n t f o r m X
a @ A a l o g @ A a l o g @ A
i n e a I o n l y i f a C I n d a H o t h e r w i s e X a
l o g @ A i f a I I
H i f a
u t f r o m @ U A a @ A D h e n e s i n e @ A a X
a
@ A l o g @ A i f a I I
H i f a
a l o g @ A a l o g @ A
r o m @ P A @ A a h e n e a l o g @ @ A A F h i s m e n s X
@ A @ A a @ A @ C C A @ A
a @ A C @ A @ A C @ @ A @ A A
a @ A C l o g @ @ A A C l o g @ @ A A
@ A @ A a C l o g @ @ A A @ I H A
P P P
P P P
P P P
M M N N
N M N M
U
E
P
i j
i ; j ; ; : : : ; M
Q A x ; y ; ; : : : ; N
U P A P A P
P j l P U
A l : : : M
l M
E U
E
A j : : : M
j M
A A
; A E ;
; ;
M ;
P f g
P f g
v j v j
j j
j j v j v j
A v j
T i
T
T I T T T P Q
Q Q Q
Q Q Q
Q Q Q
P Q
u U u U
P Q v Q V P v V
U Q V p P u P Q v p v p V p
v p T v p v p u v p u V p
v p T v p
U Q V p P
Q V p
V p V p
V p
p A B p A B
v p T v p v p I T T v p
v p v p T v p v p T v p
v p p A B p A B
v p T v p p A B
3
E x p r e s s i o n s f o r T a n d i
P
T
T
R
Q
U
U
S
&
&
&
-
7/27/2019 A Hopfield Network Implementation of the Viterbi Algorithm for Hidden Markov Models
5/7
j
j j
j j j j
= 1
= 1 = 1 = 1
1
2
1
2
1
2
1
1
= 1
1 2 2 0
1 1 0
1 1
o p o p o p o p
o p
i j i O
M
j
p O
o p
T
o p T
N
i
M
j
i O p i
M
j
p O
o p o p o p
T
o p
o p
z s z s
z s
i j i j
N
z s z s z s z s
z s z s
z s
i j
N
z s
z s
N
i
i j
b
z s o p b o p
T
N M
o w l e t t h e e l e m e n t v e t o r e r e l t e d t o t h e m t r i x y X a v e @ A F u r t h e r l e t X
a l o g @ A @ I I A
o t i n g f r o m @ I A t h t @ A a i t n n o w e s e e n t h t X
@ A a v e @ A v e @ @ A A a l o g @ A a l o g @ A a l o g @ @ A A @ I P A
u t t i n g @ I H A n d @ I P A t o g e t h e r X
@ @ A A a @ A @ A @ A a l o g @ @ A A l o g @ @ A A
@ @ A A a l o g @ @ A A
h u s D s r e q u i r e d D @ @ A A i s m o n o t o n i f u n t i o n o f @ A F @ h e p r m e t e r i s
u s e d t o e n s u r e o n v e r g e n e t o h y p e r u e o r n e r F o r d i s u s s i o n o f i t s r o l e s e e P A
o l l o w i n g t h e n l y s i s d e v e l o p e d i n P D t h e e n f o r e m e n t o f a @ A i s h i e v e d y o n n i n g t h e n e t w o r k
o u t p u t t o s u s p e E t h e v l i d s u s p e E s u h t h t i f i s h y p e r u e o r n e r t h t l i e s i n t h e v l i d
s u s p e D t h e n i t m u s t e o f t h e f o r m @ A F
h e g e n e r l e q u t i o n o f t h e v l i d s u s p e i s X
a C w i t h a @ A
w h e r e i s o n s t n t v e t o r n d i s p r o j e t i o n m t r i x D w h i h p r o j e t s o n t o t h e z e r o s u m s u s p e D
i s t h e i d e n t i t y m t r i x n d i s m t r i x g i v e n y X a F
e t a a v e @ A n d a v e @ A w h e r e n d r e m t r i e s F s i n g t h e i d e n t i t y
@ T A i t n e s e e n t h t X
a v e @ A a v e @ A
u l t i p l i t i o n y h s t h e e e t o f s e t t i n g t h e o l u m n s u m s o f m t r i x t o z e r o @ f o r p r o o f s e e P A D
h e n e t h e o l u m n s u m s o f r e l w y s z e r o F o w l e t e g i v e n y a F f a C t h e n
a C h e n e i f s t i s e s t h e v l i d s u s p e e q u t i o n t h e n m u s t h v e o l u m n s u m s e q u l t o
a I F l e r l y i f i s h y p e r u e o r n e r @ i F e v e t o r o f o n e s n d z e r o s A n d h s o l u m n
s u m o f o n e D t h e n m u s t e o f t h e f o r m @ A n d h e n e a @ A F
h e s i m p l e s t m e t h o d o f i m p l e m e n t t i o n i s t o s e t t h e o n n e t i o n m t r i x n d i n p u t i s o f t h e
n e t w o r k s p r o p o s e d i n Q o r d i n g t o e q u t i o n s @ R H A n d @ R Q A o f P F h u s X
a @ A C n d a C w h e r e i s v r i l e p o s i t i v e p r m e t e r @ I Q A
o w e v e r D f o r r e s o n s o f e i e n y i t i s e t t e r t o u s e t h e m o d i e d n e t w o r k p r o p o s e d i n P n d s h o w n i n
i g P F h i s w s t h e s e f o r t h e s i m p l e e x p e r i m e n t t h t w s p e r f o r m e d t o o n r m t h e t h e o r y e h i n d
t h e m p p i n g o f t h e i t e r i l g o r i t h m F
h e t u l e x p e r i m e n t o n s i s t e d o f n d i n g t h e o p t i m u m s t t e s e q u e n e f o r I H s t t e l e f t t o r i g h t
@ s h o w n i n i g I A t o g e n e r t e s e q u e n e o f P H o u t p u t s y m o l s F
s s i m p l i t i o n D t h e t o t l n u m e r o f p o s s i l e o u t p u t s y m o l s w s r e s t r i t e d t o P H n d t h e o u t p u t
s e q u e n e w s s s u m e d t o e X h e n e a I P P H F h e t r n s i t i o n m t r i x i s s h o w n
i n i g I n d t h e o u t p u t p r o i l i t y m t r i x w s g e n e r t e d r n d o m l y s u j e t t o t h e o n s t r i n t t h t
t h e s u m o f e h r o w w s o n e @ i F e t h e t o t l o u t p u t p r o i l i t y p e r s t t e w s o n e A F n d d i t i o n D t o e n s u r e
t h t t h e s t r t e d i n s t t e n d e n d e d i n s t t e D l l t h e e l e m e n t s o f t h e r s t n d l s t r o w s n d
o l u m n s o f w e r e s e t t o z e r o D e x e p t f o r t h e e l e m e n t n d w h i h w h e r e s e t t o o n e F i g Q
s h o w s t h e e v o l u t i o n o f t h e n e t w o r k o u t p u t f r o m n i n i t i l r n d o m s t t e t o t h e n l s o l u t i o n F
N M N M
B
; ; B
B B ; ;
E M ; ; ;
E M ; ;
E ; ;
M M N N R
N M
S
S
! ! ! ; ; : : : ;
q q
B B
v j
v j
v j v j
A v j
v j
i I i I
I
O A B p
i v p I V p O A B p
v p v p T v p i v p p A B O A B p
v p O p A B
v p O p A B N . B .
v v p
v v
v p
v s T v T I R
s T v
I R
v T v V s S V S
v V R V
R
V S v s v
V S V v V
v V
V V p v v p
T i
T T I T i s i
O A
B
B
= ( )
4
E n f o r c e m e n t o f v v p b y c o n n e m e n t t o t h e v a l i d s u b s p a c e
I m p l e m e n t a t i o n o n a H o p e l d n e t w o r k a n d R e s u l t s o f a S i m p l e E x p e r i m e n t
-
7/27/2019 A Hopfield Network Implementation of the Viterbi Algorithm for Hidden Markov Models
6/7
q1
q2
q3
q10
1 2 3 4 5 6 6 6 6 6 7 7 8 8 9 9 9 9 9 1 0
o p o p
a
H S H S H H
H H S H S H
H H H S H
H H H H S
h e o u t p u t s h o w n i n i g u r e Q l e r l y s h o w s t h e n e t w o r k h i e v i n g v l i d s o l u t i o n F u r t h e r t h e s t t e
s e q u e n e r e p r e s e n t e d y t h i s s o l u t i o n D i s i n f t t h e o p t i m u m D
s i n e s t n d r d d y n m i p r o g r m m i n g s e d i t e r i l g o r i t h m g i v e s e x t l y t h e s m e s t t e s e q u e n e F
h i s e x p e r i m e n t p r o v i d e s u s e f u l i l l u s t r t i o n o f s o m e o f t h e f e t u r e s i n t r i n s i t o t h e o p e l d n e t w o r k
p p r o h F n e o f t h e s e i s t h e i l i t y o f t h e n e t w o r k t o k e e p t i v e m o r e t h n o n e s o l u t i o n F o r e x m p l e D
t i t e r t i o n P H H i t n e s e e n t h t t w o p r t i l s o l u t i o n s r e t i v e s i m u l t n e o u s l y D o f w h i h o n e e v e n t u l l y
d o m i n t e s F n d d i t i o n D f r o m @ I P A n d @ I H A i t n e s e e n t h t t h e m p p i n g u s e d n e t l y s p l i t s u p t h e
j o i n t l i k e l i h o o d f u n t i o n i n t o n o u t p u t s e q u e n e p r t D @ A D w h i h i s h n d l e d y t h e i n p u t i s
t e r m D n d s t t e s e q u e n e p r t @ A w h i h i s h n d l e d y t h e q u d r t i t e r m @ A @ A F
i n e t h e i n p u t i s t e r m i s n e x t e r n l i n p u t t o t h e n e t w o r k D i t i s h i g h l y p p r o p r i t e t h t i t r r i e s
l l t h e i n f o r m t i o n o u t t h e e x t e r n l o u t p u t s e q u e n e w h i h t h e i s t r y i n g t o r e o g n i s e F v e r l l D
t h e s e f e t u r e s D t o g e t h e r w i t h t h e o v i o u s d v n t g e o f t h e n e t w o r k s i n h e r e n t p r l l e l s t r u t u r e D m k e
t h i s m p p i n g o f t h e i t e r i l g o r i t h m o n t o t h e o p e l d n e t w o r k n o t j u s t u r i o s i t y u t s e r i o u s
p p l i t i o n w i t h s i g n i n t p o t e n t i l F
I i y e r D F F D i r n j n D D l l s i d e D D
r n s F e u r l e t w o r k s D o l E I D s s u e P D p P H R E P I S D F
P i y e r D F F D i r n j n D D l l s i d e D D
m r i d g e n i v F n g i n e e r i n g e p t F e h F e p o r t G E
G E S S
Q o p e l d D F D n k D F D i o l o g i l
y e r n e t i s F S P D I E P S D F
R i l s o n D D w l e y D F i o E
l o g i l y e r n e t i s S V D p T Q E U H F
S h n g D D r o F
V W D o l D p S I Q E S P H D F
T e v i n s o n D D r o F D o l F U Q D o F I I D o v F
F
U r h m D D l l i s o r w o o d t d D h i h E
e s t e r F
: :
: :
:
:
q q q q q q q q q q q q q q q q q q q q
; ;
;
v j
v j
A T h e o r e t i c a l I n v e s t i g a t i o n i n t o t h e p e r f o r m a n c e o f t h e H o p -
e l d M o d e l
A S u b s p a c e A p p r o a c h t o S o l v i n g C o m b i n a t o r i a l O p t i m i z a t i o n
P r o b l e m s u s i n g H o p e l d N e t w o r k s
N e u r a l C o m p u t a t i o n o f D e c i s i o n s i n O p t i m i z a t i o n P r o b l e m s
O n t h e S t a b i l i t y o f t h e T S P P r o b l e m A l g o r i t h m o f H o p e l d a n d T a n k
T r a v e l i n g S a l e s m a n H e u r i s t i c s a n d E m b e d d i n g D i m e n s i o n i n t h e H o p e l d M o d e l
S t r u c t u r a l M e t h o d s i n A u t o m a t i c S p e e c h R e c o g n i t i o n
K r o n e c k e r P r o d u c t s a n d M a t r i x C a l c u l u s : w i t h A p p l i c a t i o n s
A
O A B p
i p A B v p T v p
1 9 9 0
1 9 9 0
1 9 8 5
1 9 8 8
1 9 8 9
1 9 8 5
1 9 8 1
F i g u r e 1 : D i a g r a m o f l e f t t o r i g h t 1 0 s t a t e H M M w i t h a 1 0 1 0 s t a t e t r a n s i t i o n m a t r i x
5
A
D i s c u s s i o n a n d C o n c l u s i o n
R e f e r e n c e s
P
T
T
T
T
R
Q
U
U
U
U
S
-
7/27/2019 A Hopfield Network Implementation of the Viterbi Algorithm for Hidden Markov Models
7/7
state 1
state 10t=1
t=20
state 1
state 10t=1
t=20
state 1
state 10t=1
t=20
state 1
state 10t=1
t=20
v=Topv+iop
+ v
v
v
(1) (2)
.
(3)
v=s+Tzsv
z s z s
o p
o p o p
o p o p
r o j e t i o n o f o n t o v l i d s u s p e
a C w h e r e a @ A
o n l i n e r s y m m e t r i r m p 9 t h r e s h o l d f u n E
t i o n s o n s t r i n i n g t o t h e u n i t h y p e r u e F
h n g e i n g i v e n y t h e g r d i e n t o f t h e o p t i E
m i z t i o n e n e r g y t e r m D w i t h a
t e r t i o n I H E a I V V S t e r t i o n P H H E a I R P U
t e r t i o n Q S H E a V I W t e r t i o n V H H E a R V I
E t
E : E :
E : E :
( 1 ) v
v s T v T I R
( 2 )
v
( 3 ) v
v v
F i g u r e 2 : S c h e m a t i c d i a g r a m o f m o d i e d n e t w o r k i m p l e m e n t a t i o n
F i g u r e 3 : 3 D M e s h P l o t s s h o w i n g t h e e v o l u t i o n o f ( t h e m a t r i x r e p r e s e n t a t i o n o f t h e n e t w o r k
o u t p u t v e c t o r , w h e r e v e c ( ) = ) i n a s i m u l a t i o n o f t h e m o d i e d n e t w o r k i m p l e m e n t i n g t h e
V i t e r b i a l g o r i t h m f o r a 1 0 s t a t e H M M a n d s e q u e n c e o f 2 0 o u t p u t s y m b o l s . T h e n a l s o l u t i o n
a t i t e r a t i o n 8 0 0 i s i d e n t i c a l t o t h e s o l u t i o n o b t a i n e d b y d y n a m i c p r o g r a m m i n g , i . e . i t i s t h e
g l o b a l o p t i m u m . ( N . B . T h e v e r t i c a l a x i s s c a l e c h a n g e s f o r e a c h m e s h p l o t . )
6
V
v V v