modèles stochastiques chaînes de markov discrètesferland/ift6575/contenu_cours/4_mo... ·...
TRANSCRIPT
![Page 1: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/1.jpg)
Modèles stochastiques
Chaînes de Markov discrètes
![Page 2: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/2.jpg)
{ }Suite de variables aléatoires ,
est un ensemble d'entiers non-négatifs et
représente u
1
n
. Processus s
e mesure d'une
tochasti
caractéristique au temps
que discret
t
t
X t T
T
X t
∈
Processus stochastique décrivant l'évolution d'un système qui est modifié d
2. Processus stochastique
Str
discret avec un espace d'é
ans
le temps.
1 états mutue
tats fi
llement
ucture
exclu
:
ni
sifs: M +
{ }{ } { }0 1
0,1, ,
= état du système au temps : 0,1, ,
= , , représentation du statut du système dans le temps.
t t
t
M
X t X M
X X X
∈
…
…
…
![Page 3: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/3.jpg)
Évolution de la météo d'un jour à l'autre. Souvent la météo à un jour donné peut
dépendre de la météo de la veille.
Observations sur les jours 0,1,
États de l
Exempl
a mété
e de la mét
o le jour :
é
o
t
t
= …
{ } { }0 1
état 0: beau
état 1: pluie.
Dénotons
0 beau le jour
1 pluie le jour .
Processus stochastique , ,
t
t
tX
t
X X X
=
= …
Processus stochastique décrivant l'évolution d'un système qui est modifié
2. Processus stochastique d
S
iscret avec une espace d'
dans
le temps.
1 états mut
tructur
uelleme
états fin
nt exclus
i
e:
ifs:M +
{ }{ } { }0 1
0,1, ,
= état du système au temps : 0,1, ,
= , , représentation du statut du système dans le temps.
t t
t
M
X t X M
X X X
∈
…
…
…
![Page 4: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/4.jpg)
{ } { }
{ } { }
0 1
0 1
est souvent une hypothèse souvent faite pour faciliter
l'étude d'un processus stochastique , , .
Le proce
3. Chaînes de Ma
ssus stochastique
Propriété
rko
,
markovienne
chaîn, est
v
e deune
t
t
X X X
X X X
=
=
…
…
( )( ) ( )
( )
1 0 0 1 1 1
1
ou possède la si
| , , | .
Probabilité conditionnelle de l'état demain étant donné les états passés
0,1, ,
Markov
propriété mar
1 et de celui d'aujourd'h
kovienn
e
ui
t t t t
t
P X j X k X k X i P X j X i
X
t t
+ +
+
= = = = = = =
−
…
…
1
est indépendantes des états passés;
i.e., probabilité conditionnelle de l'état de demain depend uniquement
de l'état d'aujourd'hui . t
t
X
X
+
Le processus stochastiqu sane e s mst dit émoire
![Page 5: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/5.jpg)
( )( ) ( ) { }1 1 0
Probabilités de transition entre deux moments consécutifs
4. Probabilités de transit
et 1
| | , 0, ,
ion
ij t t
t t
p P X j X i P X j X i i j M+
+
= = = = = = ∀ ∈ …
{ }Propriétés:
0 , 0, ,ij
p i j M≥ ∀ ∈ …
{ }0
1 0, ,M
ij
j
p i M=
= ∀ ∈∑ …
( ) ( ) { }1 1 0
stationnairesprobabilités de transition restent dans le temps
| | , 0, ,
t tP X j X i P X j X i i j M+ = = = = = ∀ ∈ …
( )( )
00 1
10 1
00 01 01 00
10 11 11 10
0 | 0 0.8
0 | 1 0.6
E
1 1 1 0.8
xemple de la mé
0.2
1 1 1 0
té
.6 0.
o:
4
t t
t t
p P X X
p P X X
p p p p
p p p p
+
+
= = = =
= = = =
+ = ⇒ = − = − =
+ = ⇒ = − = − =
( )( )
beau demain| beau aujourd'hui 0.8
beau demain| pluie aujourd'hui 0.6
0 beau le jour
1 pluie le jour .t
P
P
tX
t
=
=
=
![Page 6: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/6.jpg)
( )( ) ( ) { }1 1 0
Probabilités de transition entre deux moments consécutifs
4. Probabilités de transit
et 1
| | , 0, ,
ion
ij t t
t t
p P X j X i P X j X i i j M+
+
= = = = = = ∀ ∈ …
[ ]
00 01 0
10 11 1
0 1
états 0 1
0
1
Matrice de transitions
M
M
M M MM
M
p p p
p p pP
M p p p
=
…
…
…
� � � �
…
( )( )
00 1
10 1
00 01 01 00
10 11 11 10
0 | 0 0.8
0 | 1 0.6
E
1 1 1 0.8
xemple de la mé
0.2
1 1 1 0
té
.6 0.
o:
4
t t
t t
p P X X
p P X X
p p p p
p p p p
+
+
= = = =
= = = =
+ = ⇒ = − = − =
+ = ⇒ = − = − =
0.8 0.2
0.6 0.4P
=
![Page 7: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/7.jpg)
( )
Tant qu'un joueur a de l'argent en main, il joue en misant $1.
Il gagne $1 avec une probabilité de .
Il perd sa mise ($1) avec une probabilité de 1 .
Le jeux s'arrête lo
E
rsque le joueur
xemple du je
n
u:
p
p−
'a plus d'argent ou lorqu'il a $3 en main.
[ ]
( )( )
Matrice de transition
états 0 1 2 3
1 0 0 00
1 0 01
2 0 1 0
3 0 0 0 1
p pP
p p
− = −
États (somme que le joueur peut avoir en main): 0, 1, 2, 3
![Page 8: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/8.jpg)
( )
( ) ( ) ( ) { }0
Probabilités de transition entre les deux moments et
(incluant transitio
5. Équations de Chapman-Kolmogorov
équations de Chapman
ns)
| | , 0, ,
Les permet-Kolmogo ov ter
n
ij t n t n
t t n
n
p P X j X i P X j X i i j M+
+
= = = = = = ∀ ∈ …
( )
nt de determiner les probabilités
de transition à partir des probabilités de transition entre deux moments
consécutifs :
n
ij
ij
p
p
( ) ( ) ( ) { }0
, 0, ,
1, 2, , 1
1, 2,
Mn m n m
ij ik kj
k
p p p i j M
m n
n m m
−
=
= ∀ ∈
= −
= + +
∑ …
…
…
![Page 9: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/9.jpg)
( )
Les permettent de determiner les probabilités
de transition à partir des probabilités de transition e
équations de Chapma
ntre deux moments
c
n-Kolmo
onsécut
go
if
rov
s :
n
ij
ij
p
p
( ) ( ) ( ) { }0
, 0, ,
1, 2, , 1
1, 2,
Mn m n m
ij ik kj
k
p p p i j M
m n
n m m
−
=
= ∀ ∈
= −
= + +
∑ …
…
…
i j
k
étapesn
étapesm ( ) étapesn m−
( )n
ijp
( )m
ikp
( )n m
kjp
−
On doit considérer tous les états comme intermédiaires.k
![Page 10: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/10.jpg)
( )
( ) ( ) ( ) { }0
Probabilités de transition entre les deux moments et
(incluant transitions)
| | , 0, ,n
ij t n t n
t t n
n
p P X j X i P X j X i i j M+
+
= = = = = = ∀ ∈ …
( ) { }
( ) ( ) { }
( ) ( ) { }
2
0
1
0
1
0
, 0, ,
, 0, ,
, 0, ,
M
ij ik kj
k
Mn n
ij ik kj
k
Mn n
ij ik kj
k
p p p i j M
p p p i j M
p p p i j M
=
−
=
−
=
= ∀ ∈
= ∀ ∈
= ∀ ∈
∑
∑
∑
…
…
…
( )2P PP=
( ) ( )1 1n n nP PP PP
− −= =
( ) ( )1 1n n nP P P P P
− −= =
![Page 11: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/11.jpg)
( )
( ) ( ) ( ) { }0
Probabilités de transition entre les deux moments et
(incluant transitions)
| | , 0, ,n
ij t n t n
t t n
n
p P X j X i P X j X i i j M+
+
= = = = = = ∀ ∈ …
Exemple de la mét
0.8 0.2
éo:
0.6 0.4P
=
( )2 2 0.8 0.2 0.8 0.2 0.76 0.24
0.6 0.4 0.6 0.4 0.72 0.28P PP P
= = = =
( )3 2 3 0.8 0.2 0.76 0.24 0.752 0.248
0.6 0.4 0.72 0.28 0.744 0.256P PP P
= = = =
( )4 3 4 0.8 0.2 0.752 0.248 0.75 0.25
0.6 0.4 0.744 0.256 0.749 0.251P PP P
= = = =
( )5 4 5 0.8 0.2 0.75 0.25 0.75 0.25
0.6 0.4 0.749 0.251 0.75 0.25P PP P
= = = =
( )6 5 6 0.8 0.2 0.75 0.25 0.75 0.25
0.6 0.4 0.75 0.25 0.75 0.25P PP P
= = = =
5 6 7 8
P P P P= = = =…
![Page 12: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/12.jpg)
Dans le cas où est petit et que le système n'a pas atteint son stage d'équilibre,
il faut connaître les p
6. Probabilités non-cond
robabilités des états au d
itionnelles
épart (
des
i.e
état
0
s
., à )
n
t
P X
=
( ) { }
( ) ( ) ( )( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
0
0 0
0 0 0 0
0 0 0
0, , .
Alors
& 0 &
| 0 0 |
0
n n n
n n n
n n
j Mj
i i M
P X j P X j X P X j X M
P X j P X j X P X P X j X M P X M
p P X p P X M
= ∀ ∈
= = = = + + = =
= = = = = + + = = =
= = + + =
…
…
…
…
( ) ( )( )
( ) ( ) ( )
0 0
3
3 33 01 0 11 0
Supposons que 0 0.3 et 1 0.7
Quelle est la probabilité qu'il p
Exempl
leuve le jour 3, 1 ?
1 0 1
0.3 0.7
0.0744 0
e de la
0.
.1792 0
248
mét
0.256
éo
.253
:
6
P X P X
P X
P X p P X p P X
= = = =
=
= = = + =
= ⋅ + ⋅
= + =
( )3 0.752
0. 0.
0.
25
2
644
4
7
8P
=
![Page 13: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/13.jpg)
( )
Un état est accessible
7. Classification de
à partir de l'état
s états d'une chaîn
si
0 po
e de Markov
ur un certain 0n
ij
j i
p n> >
{ }
Les états 0 et 1 sont accessibles à partir des états 0 et 1 puisque
0.8 0.20 , 0,1 .
0.
Exemple d
6 0.4
e la météo:
ijP p i j
= ⇔ > ∀ ∈
![Page 14: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/14.jpg)
( )
Un état est à partir de l'état si
0 pour un certai
accessi
0
b
l
n
en
ij
j i
p n> >
( )
Tant qu'un joueur a de l'argent en main, il joue en misant $1.
Il gagne $1 avec une probabilité de .
Il perd sa mise ($1) avec une probabilité de .
Le jeux s'arrête lorsque le joueur n'a plus d'argen
p
i p−
( )( )
t ou lorqu'il a $3 en main.
1 0 0 0
1 0 0
0 1 0
0 0 0 1
p pP
p p
− = −
( ) ( ) ( )30 31 32
Les états 0, 1, 2 ne sont pas
accessibles à partir de l'état 3
car on ne peut repartir vers
d'autres états à partir de 3 0, 0, 0 0n n np p p n⇒ = = = ∀ >
Exemple du jeu:
23
L'état 3 est accessible à partir
de l'état 2 car
0p p= >
![Page 15: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/15.jpg)
Les états et si
l'état est accessible à partir de l'état et l'état est accessible à par
commu
tir d
niquen
e l'état
t
i j
i j j i
{ }
Les états 0 et 1 communiquent
0.8 0.20 , 0,1 .
0.
Exemple de la météo
4
:
6 0. ijP p i j
= ⇔ > ∀ ∈
( )( )00 0 communique avec lui-même | 1iii p P X i X i• = = = =
communique avec communique avec i j j i• ⇔
communique avec et communique avec communique avec i k k j i j• ⇒
( ) ( )
( ) ( ) ( ) ( ) ( )
1 2
1 2 1 2 1 2
1 2
0
>0 tel que 0 et >0 tel que 0
Donc >0
n n
ik kj
Mn n n n n n
ij il lj ik kj
l
n p n p
p p p p p+
=
∃ > ∃ >
= ≥∑
![Page 16: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/16.jpg)
Les états et si
l'état est accessible à partir de l'état et l'état est accessible à par
commu
tir d
niquen
e l'état
t
i j
i j j i
[ ]
( )( )
Les états 1 et 2 communiquent
états 0 1 2 3
1 0 0 00
1 0 01
2 0 0
3 0 0 0 1
Exemple du jeux
1
:
pP
p p
p
− =
−
( )( )00 0 communique avec lui-même | 1iii p P X i X i• = = = =
communique avec communique avec i j j i• ⇔
communique avec et communique avec communique avec i k k j i j• ⇒
![Page 17: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/17.jpg)
de tous leclasseUne est un sous-ensemble états communiquant ents re eux.
such that those states that communicate with each other are in the
s
classes
ame cla
... the states may be
ss.
partitioned into one or more sepa
rate
H.L.
![Page 18: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/18.jpg)
de tous leclasseUne est un sous-ensemble états communiquant ents re eux.
[ ]
( )( )
{ } { } { }
Les états 1 et 2 communiquent
états 0 1 2 3
1 0 0 00
3 classes: 0 , 1, 2 , 31 0
Exemple
01
2 0 1 0
3 0
du jeux:
0 0 1
p pP
p p
⇒− = −
Une chaîne de Markov est si elle ne comporte qu'une seirréducti ule clable sse.
{ }
Les états 0 et 1 communiquent
chaîne de Markov irréductible0.8 0.20 , 0,1 .
0.6 0
Exemple de la météo:
.4 ijP p i j
⇒
= ⇔ > ∀ ∈
![Page 19: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/19.jpg)
( )
Etat :
est un état si après y avoir accédé ,
le processus peut ne plus y revenir:
est transient accessible de , mais n'est pas accessible de
transient
transie (upon n entering this st e)t ati
i j i i i j⇔ ∃ ≠
[ ]
( )( )
{ }les états de la classe 1,2 sont transients:états 0 1 2 3
1 0 0 0 0 accessible de 1, mais 0
1 n'est pas acessible de 0;1 0 01
2 0 1 03 accessible de 2, 3 0
Exemple du jeux:
0 0 1
p pP
p p
⇒− = −
mais
2 n'est pas acessible de 3.
![Page 20: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/20.jpg)
Etat :
est un état si après y avoir accédé, le processus y reviendra:
est récurrent
récurrent
récurr
n'est pas t
e
ransie t
nt
n
i
i i⇔
[ ]
( )( )
( )
états 0 1 2 3les états 0 et 3 sont
Exempl
récurrents:0 0 00
1 0 01après avoir atteint 0 ou 3
2 0 1 0on y reste, donc on y revient.
e du
3 0
1
jeux
0
:
0 1
p pP
p p
⇒− = −
A state is said to be if, upon entering this state, the process
to this state again.
récurrent
H.L.definitely will return
![Page 21: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/21.jpg)
Etat :
est un état si après y avoir accédé, le processus y reviendra:
est récurrent
récurrent
récurr
n'est pas t
e
ransie t
nt
n
i
i i⇔
Tous les états d'une chaîne de Markov irréductible sont récurrents.
Une chaîne de Markov est si elle ne comporte qu'une sirréduct eul claible sse.
{ }
Les états 0 et 1 communiquent chaîne de Markov irréductible
0.8 0.20 , 0,1 .
0.6 0
E
0 et 1 sont
xemple de la mété
.4 récurren
o:
tsijP p i j
⇒
= ⇔ > ∀ ∈
![Page 22: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/22.jpg)
Etat :
est un état si après y avoir accédé, le processus ne peut en repartir:
absorbant
absorb
est absorbant =1
ant
ii
i
i p⇔
[ ]
( )( )
00 33
états 0 1 2 3
0 0 00les états 0 et 3 sont absorbants
1 0
Exemp
01puisque
le
=1 2 0 1 0
3 0 0
du jeux:
1
10
p pp pP
p p
⇒− == −
![Page 23: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/23.jpg)
[ ]états 0 1 2 3 4
0 0.2 0.8 0 0 0
1 0.5 0.5 0 0 0
2 0 0 1 0 0
3 0 0 0.3 0.7 0
4 1 0 0
Exemple pour illustrer les définiti
0
ons:
0
P
=
Etat :
est un état si après y avoir accédé, le processus y reviendra:
est récurrent
récurrent
récurr
n'est pas t
e
ransie t
nt
n
i
i i⇔
( )
Etat :
est un état si après y avoir accédé, le processus peut ne plus y revenir:
est transient accessible de , mais n'est pas accessible de
transient
transienti
i j i i i j⇔ ∃ ≠
Etat :
est un état si après y avoir accédé, le processus
ne peut en repartir:
absorbant
absorb
est absorbant =1
ant
ii
i
i p⇔
{ } { } { } { }Une est un sous-ensemble d'états communiquant entre eux.
0,1 ,
classe
2 , 3 , 4
2 est récurrent et absorbant
32 223 est transient puisque 0 et 1p p> =
0440
01 14
04 est transient puisque 1 et
0 mais 0
pp
p p
==
> =
![Page 24: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/24.jpg)
[ ]états 0 1 2 3 4
0 0.2 0.8 0 0 0
1 0.5 0.5 0 0 0
2 0 0 1 0 0
3 0 0 0.3 0.7 0
4 1 0 0
Exemple pour illustrer les définiti
0
ons:
0
P
=
Etat :
est un état si après y avoir accédé, le processus y reviendra:
est récurrent
récurrent
récurr
n'est pas t
e
ransie t
nt
n
i
i i⇔
( )
Etat :
est un état si après y avoir accédé, le processus peut ne plus y revenir:
est transient accessible de , mais n'est pas accessible de
transient
transienti
i j i i i j⇔ ∃ ≠
Etat :
est un état si après y avoir accédé, le processus
ne peut en repartir:
absorbant
absorb
est absorbant =1
ant
ii
i
i p⇔
{ } { } { } { }Une est un sous-ensemble d'états communiquant entre eux.
0,1 ,
classe
2 , 3 , 4
0 et 1 sont récurrents
Tous les éléments d'une classe sont récurrents ou transients.
Il ne peut y avoir une chaîne de Markov dont tous les éléments sont transients.
![Page 25: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/25.jpg)
( )
d'un état (Hillier & Lieberman).
is of if 0 for all values of other than
, 2 , 3 ,... H.L.
et
Pério
est la plus grande
de
périod
va
n
iii p n
d d d
d
d =
leur entière ayant cette propriété.
(2)11
(4)11
(6)11
Considérons l'état 1 (joueur possède $1 au départ)
1 0
revient à 1 au temps 2
2 1 0
revient à 1 au te
Exemple
mps 4
3 2 1 0
0
revient à 1 au temps 6
du
0
0
jeux:
p
p
p
→
↓
→ →
↓ ↓
→ →
↓
>
↓
>
>
↙
↙
↙
(8)11
3 2 1 0
revient à 1 au temps 8
3 2 1 0
0p
→ →
↓ >↓
→ →
↓ ↓
↙
[ ]
( )( )
états 0 1 2 3
1 0 0 00
1 0 01
2 0 1 0
3 0 0 0 1
p pP
p p
− = −
donc 2 d =
![Page 26: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/26.jpg)
( )( ) ( ) ( )
d'un état (Taylor & Karlin).
La de est le plus grand commun diviseur de tous les entiers
pour lesquels 0. (Par convention, 0 si 0 pour tout 1.
Pé
)
riode
période n n
ii ii
i n
p d
d i
i p n> = = ≥
[ ]
( )( )
états 0 1 2 3
1 0 0 00
1 0 01
2 0 1 0
3 0 0 0 1
p pP
p p
− = −
donc 2( )d i =
(2)11
(4)11
(6)11
Considérons l'état 1 (joueur possède $1 au départ)
1 0
revient à 1 au temps 2
2 1 0
revient à 1 au te
Exemple
mps 4
3 2 1 0
0
revient à 1 au temps 6
du
0
0
jeux:
p
p
p
→
↓
→ →
↓ ↓
→ →
↓
>
↓
>
>
↙
↙
↙
(8)11
3 2 1 0
revient à 1 au temps 8
3 2 1 0
0p
→ →
↓ >↓
→ →
↓ ↓
↙
![Page 27: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/27.jpg)
On peut démontrer que la période est la même pour tous les états d'une classe.
est si sa période ( ) 1
i.e. si
ap
0 pour tout
ériodic
1n
ii
i d i
p n
=
> ≥
Dans une chaîne de Markov avec un espace d'états fini,
un état récurrent qui est apériodic est ergodit dic.
Une chaîne de Markov avec un espace d'états fini est ,
si tous ses états sont
ergodic
ergod ics.
est un état si après y avoir accédé, le processus y reviendra:
est récurrent n'est p
réc
as
urr
tra
ent
nsient
i
i i⇔
( ) ( )1
est si sa période 1
i.e. deux moments consécutifs e
a
t 1 où 0
péri
e
o
t
d
0
ics s
ii ii
i d
s s p p+
=
∃ + > >
( )( ) ( ) ( )
d'un état (Taylor & Karlin).
La de est le plus grand commun diviseur de tous les entiers
pour lesquels 0. (Par convention, 0 si 0 pour tout 1.
Pé
)
riode
période n n
ii ii
i n
p d
d i
i p n> = = ≥
( )
d'un état (Hillier & Lieberman).
is of if 0 for all values of other than
, 2 , 3 ,... H.L.
et
Pério
est la plus grande
de
périod
va
n
iii p n
d d d
d
d =
leur entière ayant cette propriété.
![Page 28: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/28.jpg)
Dans le cas où est petit et que le système n'a pas atteint son stage d'équilibre,
il faut connaître les p
6. Probabilités non-cond
robabilités des états au d
itionnelles
épart (
des
i.e
état
0
s
., à )
n
t
P X
=
( ) { }
( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( )
0
0 0 0 0
0 0 0
0, , .
Alors
| 0 0 |
0
n n n
n n
j Mj
i i M
P X j P X j X P X P X j X M P X M
p P X p P X M
= ∀ ∈
= = = = = + + = = =
= = + + =
…
…
…
( ) ( )( )
( ) ( ) ( )
0 0
3
3 33 01 0 11 0
Supposons que 0 0.3 et 1 0.7
Quelle est la probabilité qu'il p
Exempl
leuve le jour 3, 1 ?
1 0 1
0.3 0.7
0.0744 0
e de la
0.
.1792 0
248
mét
0.256
éo
.253
:
6
P X P X
P X
P X p P X p P X
= = = =
=
= = = + =
= ⋅ + ⋅
= + =
( )3 0.752
0. 0.
0.
25
2
644
4
7
8P
=
![Page 29: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/29.jpg)
8. Probabilités à l'équilibre
Exemple de la mét
0.8 0.2
éo:
0.6 0.4P
=
( )5 0.75 0.25
0.75 0.25P
=
( )6 0.8 0.2 0.75 0.25 0.75 0.25
0.6 0.4 0.75 0.25 0.75 0.25P
= =
( )( ) ( )
( ) ( ) ( )( ) ( )
0 0
0 01 0 11
0 0
Après le jour 5, la probabilité qu'il pleuve 1 , 5
ne depend pas des probabilités des états au depart: 0 et 1
1 0 1
0 0.25 1 0.25 0.25.
t
t t
t
P X t
P X P X
P X P X p P X p
P X P X
= ≥
= =
= = = + =
= = + = =
![Page 30: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/30.jpg)
8. Probabilités à l'équilibre
Exemple de la mét
0.8 0.2
éo:
0.6 0.4P
=
( )5 0.75 0.25
0.75 0.25P
=
( )6 0.8 0.2 0.75 0.25 0.75 0.25
0.6 0.4 0.75 0.25 0.75 0.25P
= =
( )( )
Probabilité qu'il fasse beau 1 = 0.75 ne dépend plus de l'état initial du système
Probabilité de pluie 1 0.25
i
i
=
= =
( )
Donc en général quand il existe une valeur de assez grande pour que les lignes de
la matrice de transition soient identiques, alors la probabilité que le système se
trouve dans l'état ne dépend p
n
n
P
j lus de l'état initial du système (à 0) t =
![Page 31: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/31.jpg)
Les sont des propriétés à long probabilités à l'équilib terme des chaînes de Mre arkov
On peut démontrer que pour toute chaîne de Markov irréductible (ne comportant
qu'une seule
lim existe
classe) qui est e
et ne dépend pas
rgotic
de l'état n
ijn
p i→∞
0
0
De plus
lim 0
où les probabilités
1
n
ij jn
j
M
j i ij
i
M
j
j
p
p
π
π
π π
π
→∞
=
=
= >
=
=
∑
∑
( ) ( )5 6
( ) ( )01 11
0.75 0.25
0.75 0.25
lim lim 0.25n n
n n
P P
p p→∞ →∞
= = =
= =
…
![Page 32: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/32.jpg)
0
0
De plus
lim 0
où les probabilités
1
n
ij jn
j
M
j i ij
i
M
j
j
p
p
π
π
π π
π
→∞
=
=
= >
=
=
∑
∑
( ) ( )
0
Le système précédent comporte 1 inconnus et 2 équations,
et par conséquent une équation est redondante.
Si nous éliminons la dernière contrainte 1, nous obtenons plusieurs
solutions à un m
M
j
j
M M
π=
+ +
=∑
0
ultiple près.
Nous devons conserver cette dernière contrainte 1 pour sauvegarder
la propriété des probabilités.
M
j
j
π=
=∑
0 0
M M
j i ij i ij
i i
p pπα α απ π= =
= =∑ ∑
![Page 33: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/33.jpg)
0
0
De plus
lim 0
où les probabilités
1
n
ij jn
j
M
j i ij
i
M
j
j
p
p
π
π
π π
π
→∞
=
=
= >
=
=
∑
∑
Le est donc une de se retrouver à l'état après
après un très grand nombre d'itérations
probabilité au stage d'équilibre
indépendemment de l'état initiale à 0
j j
t
π
=
![Page 34: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/34.jpg)
0
0
De plus
lim 0
où les probabilités
1
n
ij jn
j
M
j i ij
i
M
j
j
p
p
π
π
π π
π
→∞
=
=
= >
=
=
∑
∑
0 0 1 0 10 1
1 0 1 1 0
0 11 1
0 1
1 0
0.8 0.6 0.2 0.63
0.2 0.4
Exemple de l
0.6 0.2
14 1 0.25
3
Don
a mét
c 0.25 et 0
o
. 5
é :
7
π π π π ππ π
π π π π π
π ππ π
π π
π π
= ⋅ + ⋅ ⇒ ⋅ = ⋅ ⇒ =
= ⋅ + ⋅ ⇒ ⋅ = ⋅
+ = ⇒ = ⇔ =
=
= =
0.8 0.2
0.6 0.4P
=
![Page 35: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/35.jpg)
est une (ne pas confondre avec le fait que les
probabilités de transition sont stationnaires) dans le sens où si la probabilité
initiale d'être d
probabil
ans l'éta
ité stati
t est
on
do
nair
nné
e
par
j
j
π
( )( )
( )
0 , alors la probabilité
de retrouver le système dans l'état aux temps 1, 2, est aussi :
j j
j
n j
P X j
j n
P X j
π π
π
π
= =
=
= =
…
( ) ( )( )
( ) ( ) ( )
0 0 0 1
3
3 33 01 0 11 0
0 1
Supposons que 0 0.75 et 1 0.25
Quelle est la probabilité qu'il pleu
Exemple
ve le jour 3, 1 ?
1 0 1
0.75 0.25
0.186 0.0
0.248
0.24
d
0.256
0.256
64
e la mété
8
0
o:
P X P X
P X
P X p P X p P X
π π
π π
= = = = = =
=
= = = + =
= ⋅ + ⋅
= ⋅ + ⋅
= + = .25
( )3 0.752
0. 0.
0.
25
2
644
4
7
8P
=
![Page 36: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/36.jpg)
( )
( )
Si les états et sont récurrents dans des classes différentes alors
0 1
Si l'état est transient alors
lim 0 .
Donc la probabilité de retourner dans
ij
n
n
ijn
j
p n
j
p
i
i→∞
•
= ∀ ≥
•
= ∀
( )
1
un état transient après un grand
nombre d'itérations tend vers 0.
On peut démontrer que pour une chaîne de Markov irreductible
1 lim
nk
ij jn
k
pn
π→∞
=
•
=
∑
![Page 37: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/37.jpg)
9. Coût moyen (à long terme) par unité de temps
( ){ }
( ) ( )
Soit un processus stochastique étant une chaîne de Markov
Considérons une fonction de coût définie par une variable aléatoire définie
pour les valeurs des états 0, , :
0 , , .
Supposons que la fonct
tC X
M
C C M
…
…
( ) ( )ion soit indépendante du temps; i.e., reste la
même pour tous les temps .tC C X
t
i
![Page 38: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/38.jpg)
( ){ }
( )
Soit un processus stochastique étant une chaîne de Markov irréductible
et ergotic.
Considérons une fonction de coût définie par une variable aléatoire définie
pour les valeurs des états 0, , :
0 , ,
tC X
M
C C
…
… ( )( ) ( )
.
Supposons que la fonction soit indépendante du temps; i.e., reste la
même pour tous les temps .t
M
C C X
t
i
( )1
Le coût moyen associé à pour les premières périodes:
1.
n
t
t
C n
E C Xn =
∑
( ) ( )
1
1 0
coût moyen (à lon
Utilisant le résulta
g terme) par unité d
t que
1lim =
on peut démontrer que le
est donné par
e temps
1lim
nk
ij jn
k
n M
t jn
t j
pn
C X C jn
π
π
→∞=
→∞= =
=
∑
∑ ∑
![Page 39: Modèles stochastiques Chaînes de Markov discrètesferland/ift6575/contenu_cours/4_Mo... · Équations de Chapman-Kolmogorov équations de Chapman ns) | | , 0, , ... n-Kolmo onsécut](https://reader031.vdocuments.site/reader031/viewer/2022021720/5bb94e6609d3f2930f8e12de/html5/thumbnails/39.jpg)
( ) ( )1 0
est Coût m donné oyen (à long par
1li
terme) par unité de temps
mn M
t jn
t j
C X C jn
π→∞
= =
=
∑ ∑
( )( )
1 0Nous avons 0.25 et 0.75
Considérons une entreprise dont le coût d'exploitation depend de la météo:
beau temps coût est de $25 0 25
pluie coût est de $
Exemple de la mété
1
o
0
:
0
C
C
π π= =
→ ⇒ =
→
i
( )
( ) ( ) ( )0 10
1 100.
Coût d'exploitation moyen (à long terme) par unité de temps:
0 1
0.75 25 0.25 100
18.75 25 43.75.
M
j
j
C
C j C Cπ π π=
⇒ =
= +
= ⋅ + ⋅
= + =
∑