chaîne de markov - 2 - li323 - baskiotisn/wiki/uploads/teaching/cours11li323.pdf · toute cha^ ne...
TRANSCRIPT
Chaıne de Markov - 2LI323
Hugues Richard(notes de cours: Pierre-Henri Wuillemin)
Universite Pierre et Marie Curie (UPMC)Laboratoire genomique des microorganismes (LGM)
Classements des etats
ý Definition (Periodicite)
Soit Ki ={
n ≥ 0 tel que P(n)ii > 0
},
Un etat i est periodique si et seulement si Ki 6= ∅ et pgcd(Ki ) 6= 1.La periode de i est alors ki = pgcd(Ki ).
ý Definition (Instant de premier retour)
Pour tout etat i , avec X0 = i , τi =
{min{n ≥ 1,Xn = i | X0 = i }+∞ sinon
ý Definition (Etat recurrent, etat transient)
Pour tout etat i , avec X0 = i ,
i recurrent ⇐⇒ P(τi <∞) = 1
i transient ⇐⇒ P(τi <∞) < 1
NB : transient=transitoire
H. Richard (UPMC, LGM) Chaıne de Markov - 2 2 / 16
Classement des etats, suite
ý DefinitionOn note et nomme :
la probabilite que le premier retour en i soit en n etapes : f(n)
ii = P(τi = n)
la probabilite de revenir en i : fii =∞∑
n=1f(n)
ii = P(τi <∞)
le temps moyen(1) de retour en i : Mi =∞∑
n=1
(n · f (n)
ii
)(1) quand ce calcul a un sens, = ∞ sinon.
ý Definition (Etat recurrent, etat transient)
Pour tout etat i , avec X0 = i ,
i transient ⇐⇒ fii < 1
i recurrent ⇐⇒ fii = 1I i recurrent nul si Mi =∞I i recurrent positif (ou non nul) si Mi <∞
Note : Periodicite, recurrence et transience sont des proprietes de classe :si i ↔ j alors i et j sont forcement du meme type.
H. Richard (UPMC, LGM) Chaıne de Markov - 2 3 / 16
Transience, recurrence, recurrence positive
Exemple
Soit la chaıne de Markov (infinie) suivante :
1 2 3
q q q
p p1
· · ·
Chaıne de Markov irreductible donc tous les etats de meme type.
Si p > q alors fii < 1 : etat transient
Si p = q alors fii = 1 mais Mi =∞ : etat recurrent nul
Si p < q alors fii = 1 mais Mi <∞ : etat recurrent positif
Proprietes
Toute chaıne de Markov, a etats finis, homogene a au moins un etat recurrent.En particulier, toute chaıne, homogene, a etats finis, irreductible sur un espaced’etats finis est recurrente positive.
H. Richard (UPMC, LGM) Chaıne de Markov - 2 4 / 16
Suite de la souris
souris et labyrinthe
6
50.25
0.25
0.25
0.25
0.5
0.5
0.5
0.5
2
43
1
Questions sachant qu’a n = 0, la souris est en 2 :
Nbr de deplacements moyens pour revenir en 2 ?
M2 =∞∑
n=1
(n · f (n)
22
)
f(1)
22 = P22 = 0
f(n)
22 = P21 · P(n−1)12 + P24 · P(n−1)
42 (cf. Chapman-Kolmogorov)
H. Richard (UPMC, LGM) Chaıne de Markov - 2 5 / 16
Le monopoly
Modelisation du Monopoly
Principe du Monopoly :
on jette a chaque etape deux des a 6 faces.
on achete des proprietes et on construit deshotels...
Case prison : deux doubles de suite ou la case enhaut a gauche
Y a-t-il une strategie optimale ?
Chaque case du plateau est un etat de la chaıne.
les probabilites de transition sont donnees par les jets de de.
H. Richard (UPMC, LGM) Chaıne de Markov - 2 6 / 16
Le monopoly
Le Monopoly et chaıne de Markov
Principe du Monopoly
on peut facilement integrer la case prison et les cartes chance et caisse de communaute.
Peut on decrire le systeme apres quelques tours de jeu ?
H. Richard (UPMC, LGM) Chaıne de Markov - 2 7 / 16
Etude en regime permanentCe qui nous interesse ici est le comportement de la chaıne de Markov si on laisse se derouler leprocessus durant un temps tres important.Que peut-on dire de la possition du systeme ? Suit-il une loi de probabilite particuliere ?En notant π(n) le vecteur de probabilite du systeme a l’instant n, on se rappelle que :
π(n+1) = π(n) · P = π(0) · Pn
ý Definition (distribution de probabilite invariante)
Une distribution de probabilite est invariante pour la chaıne de Markov siet seulement si elle s’ecrit comme le vecteur π et :
π = π · Pi.e. : π est un vecteur propre de PT pour la valeur propre 1
En supposant que (π(n))n∈N converge vers π∗ alors :π∗ = limn→∞π(n) = π(0) · limn→∞Pn = π(0) · P∗
Propriete
(π(n))n∈N converge vers π∗ independamment de π(0) si et seulement silimn→∞P(n) = P∗, matrice dont toutes les lignes sont egales entre elles (etegalent a π∗).
H. Richard (UPMC, LGM) Chaıne de Markov - 2 8 / 16
Ergodicite
ý Definition (Chaıne de Markov ergodique)
Une chaıne de Markov est ergodique si et seulement si elle est irreductible,aperiodique et recurente positive.
Theoreme (theoreme ergodique)
Une chaıne de Markov ergodique est telle que (π(n))n∈N converge, quelquesoit π(0), vers π∗ verifiant : {
π∗ · P = π∗
π∗ · 1 = 1
De plus, π∗j = 1Mj
Autrement dit, la proportion des instants ou la chaıne se trouve dans l’etait j tend vers π∗j avecprobabilite 1. Pour presque toutes les trajectoires, la moyenne temporelle est identique a lamoyenne spatiale.
H. Richard (UPMC, LGM) Chaıne de Markov - 2 9 / 16
Exemple 1
P =
0.25 0 0.750.25 0.25 0.50.25 0.5 0.25
2
0.25
0.75
0.25
0.25
0.250.50.5
0.25
1 3
π1 π2 π3n = 0 1 0 0n = 1 0.25 0 0.75n = 2 0.25 0.375 0.375n = 3 0.25 0.28125 0.46875n = 4 0.25 0.30469 0.44531n = 5 0.25 0.29883 0.45117n = 6 0.25 0.30029 0.44971n = 7 0.25 0.29993 0.45007n = 8 0.25 0.30002 0.44998n = 9 0.25 0.30000 0.45000
0.25 0.30000 0.45000· · · 0.25 0.30000 0.45000
irreductible, aperiodique, a etat fini ⇒ recurrente positive.
P∗ = limn→∞Pn =
0.25 0.3 0.450.25 0.3 0.450.25 0.3 0.45
π∗ = [0.25, 0.3, 0.45]
H. Richard (UPMC, LGM) Chaıne de Markov - 2 10 / 16
Exemple 2
P =
(0 11 0
)
1 2
π1 π2n = 0 1 0n = 1 0 1n = 2 1 0n = 3 0 1n = 4 1 0
0 1· · · 1 0
irreductible, periodique,
P2k =
(0 11 0
)et P2k+1 =
(1 00 1
): pas de P∗.
π = [0.5, 0.5] est bien une distribution invariante.
Aucune convergence vers π, sauf si π(0) = π (processus stationnaire)
H. Richard (UPMC, LGM) Chaıne de Markov - 2 11 / 16
Exemple 3
P =
1 0 0 00.5 0 0.5 00 0.5 0 0.50 0 0 1
1
0.5
0.5
0.5
3
0.5
2 4
π1 π2 π3 π4n = 0 0.25 0.25 0.25 0.25n = 1 0.375 0.125 0.125 0.375n = 2 0.4375 0.0625 0.0625 0.4375n = 3 0.46875 0.03125 0.03125 0.46875n = 4 0.484375 0.015625 0.015625 0.484375· · · · · · · · · · · · · · ·
0.5 0 0 0.5
reductible composantes irreductibles : {1},{23},{4}. absorbants : {1} et {4}
P∗ = limn→∞Pn =
1 0 0 00.67 0 0 0.330.33 0 0 0.670 0 0 1
π∗ = π(0) · P∗ =1 +2
3π2 +13π3, 0, 0, π4 +
23π3 +
13π2
Depend de π(0) !
H. Richard (UPMC, LGM) Chaıne de Markov - 2 12 / 16
Le monopoly
Monopoly et chaıne de Markov
Le calculs des premieres puissance de la matrice de transition permettent de voirl’occupation attendue des cases pendant les premiers tours de jeu
La chaıne de markov associee au Monopoly est bien irreductible et aperiodique, la loistationnaire permet de connaıtre les meilleurs investissements en moyenne.
H. Richard (UPMC, LGM) Chaıne de Markov - 2 13 / 16
Utilisation des chaınes de Markov : introduction a MCMC
Probleme : Estimer EP(f )La solution theorique : EP(f ) =
∑x f (x) · P(x).
Comment faire sur un espace de grande taille, difficile a enumerer ?
Les methodes MCMC creent une longue chaıne de Markov ergodique(Xn)n∈N, dont la loi π∗ est la loi P requise. On peut alors utiliser lesdifferents Xn comme des v.a. distribues suivant P :
Si Xn ∼ P, EP(f ) =1N
∑n f (xn).
Convergence d’apres la loi des grands nombres : il faut que N soit suffisamment grand.
H. Richard (UPMC, LGM) Chaıne de Markov - 2 14 / 16
Historique
Les methodes MCMC sont apparues dans les annees 50-60 pour laphysique statisitque. [Metropolis et al. 1953]
1970 : article precurseur de Hastings.
1984 : Echantillonneur de Gibbs [Geman and Geman, 1984]
1990 : apparition des methodes MCMC dans la litterature statistique etd’analyse du signal [Gelfand and Smith, 1990]
H. Richard (UPMC, LGM) Chaıne de Markov - 2 15 / 16
Extension des chaınes de Markov : Chaıne de MarkovcacheeLes modeles de Markov caches (HMM) sont une autre evolution possible des chaınes de Markov.Ces nouveaux modeles se basent cette fois sur deux processus stochastiques dependants l’un del’autre.L’etat du systeme n’est plus directement observable ; il est cache par un processus d’observation.
Un ou deux des ?Un joueur peut lancer un de (avec un resultat de 1 a 6) ou deux des (avec un resultat de 2 a 12).Sachant le lancer choisi, il est donc facile de predire le resultat attendu. Si, maintenant, lelanceur se trouve derriere un rideau, et annonce simplement le resultat, comment peut-ondeterminer s’il a lance 1 ou 2 des ?A partir d’une sequence d’observations, quelle est la sequence d’etats correspondante ?
modelisation
Une chaıne de Markov cachee est definie par :
S : ensemble d’etats
P(Xt | Xt−1) : la matrice de transition pour l’etat
P(O | X ) : la distribution de probabilite de l’observation, sachantl’etat.
H. Richard (UPMC, LGM) Chaıne de Markov - 2 16 / 16