cadeias de markov parte i - ee.ufpe.br · métodos matemáticos 1a - cadeias de markov quando as...

Cadeias de Markov

Parte I

Métodos Matemáticos 1A - Cadeias de Markov

Definições e Notações

Definição 1:Um Processo de Markov {Xt} é um processo estocástico

que, dado o valor Xt, os valores de Xs para s>t não são influenciadospelos valores de Xu, u<t.

Uma Cadeia de Markov Discreta no Tempo é um Processo deMarkov cujo espaço de estados é um conjunto finito ou contável, ecujo índice temporal do conjunto é T = 0,1,2,...

Em termos formais, a Propriedade de Markov é:

Pr{Xn+1=j / X0=i0, X1=i1,..., Xn-1=in-1, Xn=i} = Pr{Xn+1=j / Xn=i}, (1)

para todos os pontos no tempo n e todos os estados i0,..., in-1, i, j.


Notação:•O espaço de estados da Cadeia de Markov é indexado por inteirosnão negativos: {0,1,2,...};

•Xn está no estado i se Xn=i.

Definição 2:A probabilidade de Xn+1 estar no estado j dado que Xn está

no estado i é chamada probabilidade de transição de um passo eé denotada por Pij

n,n+1. Isto é:

Pijn,n+1 = Pr{Xn+1=j / Xn=i}. (2)

Esta notação enfatiza que, em geral, as probabilidades detransição são funções não somente dos estados inicial e final, mastambém do tempo de transição.


Quando as probabilidades de transição em um passo sãoindependentes da variável do tempo n, dizemos que a Cadeia deMarkov tem probabilidades de transição estacionárias.

Então Pijn,n+1 = Pij é independente de n e Pij é a probabilidade

condicional que o valor do estado transite de i a j em uma tentativa.

Pode-se visualizar as quantidades Pij de forma matricial, numarranjo quadrático infinito:

L

MMMM

L

L

L

i3i2i1i0

23222120

13121110

03020100

PPPP

PPPP

PPPP

PPPP


E chamamos

P =

Matriz de Markov ou Matriz de Probabilidades de Transição. Asprobabilidades Pij satisfazem as condições:

Pij ≥ 0, para i, j = 0,1,2,... (3)

= 1, para i = 0,1,2,... (4)

Proposição 1: Um Processo de Markov está completamentedefinido quando sua matriz de probabilidades de transição e seuestado inicial X0 (ou, mais genericamente, a distribuição deprobabilidade de X0) estão especificados.

∑∞

=0jijP

ijP


Prova:

Seja Pr{X0=i} = pi0. É suficiente mostrar como calcular asquantidades

Pr{X0=i0, X1=i1, X2=i2,..., Xn=in}, (5)

uma vez que qualquer probabilidade envolvendo Xj1,..., Xjk, para

j1<...< jk, pode ser obtida, de acordo com a lei da probabilidadetotal, somando os termos da forma (5).

Pela definição de probabilidade condicional, temos:Pr{X0=i0, X1=i1, X2=i2,..., Xn=in} =

Pr{X0=i0, X1=i1, X2=i2,..., Xn-1=in-1} . Pr{Xn=in / X0=io, X1=i1, X2=i2,..., Xn-1=in-1}. (6)


Agora, pela definição de Processo de Markov:Pr{Xn=in / X0=i0, X1=i1, X2=i2,..., Xn-1=in-1}= Pr{Xn=in / Xn-1=in-1} = Pin-1,in. (7)

Substituindo (7) em (6), temos:Pr{X0=i0, X1=i1, X2=i2,..., Xn=in} = Pr{X0=i0, X1=i1, X2=i2,..., Xn-1=in-1}. Pin-1,in.

Então, por indução, (5) torna-se:

Pr{X0=i0, X1=i1, X2=i2,..., Xn=in} = pi0Pi0,i1... Pin-1,in-2Pin-1,in. (8)

Observa-se, então, que todas as probabilidades de dimensão finita podemser obtidas a partir das probabilidades de transição e da distribuiçãoinicial. O processo é, portanto, definido por essas quantidades. €


A propriedade de Markov expressa em (1) é equivalente a:

Pr{Xn+1=j1,..., Xn+m=jm / X0=i0,..., Xn=in} =

Pr{Xn+1=j1,..., Xn+m=jm / Xn=in}, (9)

para todos os pontos no tempo n, m e todos os estadosi0,..., in, j1,..., jm. Em outras palavras, uma vez (9)estabelecido para o valor m=1, também é válido para todosos m>1.


Matrizes de Probabilidade de Transição deuma Cadeia de Markov

A análise de uma Cadeia de Markov caracteriza-seprincipalmente pelo cálculo das probabilidades de transições em npassos. Fundamentais, portanto, são as matrizes de probabilidadesde transição em n passos,

P(n) = ,

onde Pij(n) denota a probabilidade que o processo vá do estado i

para o estado j em n transições.

Formalmente,

Pij(n) = Pr{Xm+n=j / Xm=i}. (10)

n)(

ijP


Consideramos este processo homogêneo, ou seja, dependenteapenas da diferença [m - (m+n)], e possuindo probabilidades detransição estacionárias.

Teorema 1: As probabilidades de transição em n passos de umaCadeia de Markov satisfazem:

Pij(n) = Pik Pkj

(n-1) (11)

onde definimos Pij(0) = .

Pela iteração desta fórmula, obtemos:

P(n) = P X P X ... X P = Pn . (12)

∑∞

= 0k

≠

=

ji se ,0

ji se ,1

444 3444 21 vezesn


Prova: O evento de ir do estado i para o estado j em n transiçõespode ser realizado por caminhos mutuamente exclusivos, indo paraum estado intermediário k (k= 0,1,...), na primeira transição, eentão ir do estado k ao estado j nas (n-1) transições restantes. Porconta da propriedade de Markov, a probabilidade da segundatransição é Pkj

(n-1) (da primeira transição é obviamente Pik). Usandoa Lei da Probabilidade Total:

Pij(n) = Pr{Xn=j / X0=i} = Pr{Xn=j, Xn=k / X0=i}

= Pr{X1=k / X0=i} . Pr{Xn=j / X0=i, X1=k}

= Pik Pkj(n-1)

∑∞

=0k

∑∞

=0k

∑∞

=0k


Se a probabilidade do processo estar inicialmente no estado j é pj,isto é, a lei de distribuição de X0 é Pr{X0=j)=pj, então aprobabilidade do processo estar no estado k no tempo n é:

pk = pj Pjk(n) = Pr{Xn=k} (13)

Alguns Modelos de Cadeias de Markov

Modelo de Inventário

Uma mercadoria é armazenada a fim de satisfazer umademanda continuada. A reposição do estoque se dá ao final deperíodos n=0,1,2,... e a demanda durante um período n é umavariável aleatória ξn cuja função distribuição é independente doperíodo de tempo:

∑∞

= 0j


Pr{ξn=k} = ak , para k = 0,1,2,... (14)

onde ak ≥ 0 e ak = 1..

O nível do estoque é examinado ao final de cada período. Apolítica de reposição é determinada especificando dois númeroscríticos não negativos, s e S>s, cuja interpretação é:

I) Se a quantidade do estoque no final do período não é maior ques, então uma quantidade de mercadoria suficiente para aumentar oestoque até o nível S é providenciada;

II) Se, entretanto, o estoque disponível está em excesso de s, entãonenhuma reposição de estoque é realizada.

∑∞

=0k


Seja Xn a quantidade disponível ao final do período n antes darearmazenagem. Os estados do processo {Xn} consistem dospossíveis valores da quantidade em estoque:

S, S-1,..., 1, 0, -1, -2,...

onde um valor negativo é interpretado como uma demanda nãoatendida que será satisfeita imediatamente após o re-estoque.

O nível do estoque em dois períodos consecutivos estãorelacionados por:

Xn+1 = (15)

onde ξn é a quantidade demandada no n-ésimo período,determinada para seguir a lei das probabilidades (14).

≤

≤<

+

+

sX se ,-S

SXs se ,-X

n1n

n1nn

ξ

ξ


Se considerarmos que as sucessivas demandas ξ1, ξ2,... são

variáveis aleatórias independentes, então os valores do estoque X0,

X1, X2,... constituem-se numa Cadeia de Markov cuja matriz de

probabilidades de transição pode ser calculada de acordo com a

relação (15):

Pij = Pr{Xn+1=j / Xn=i}

= .

≤=

≤<=

+

+

si se ,j}-SPr{

Sis se ,j}-iPr{

1n

1n

ξ

ξ


Para um exemplo numérico, vamos supor:

Pr{ξn=0} = 0,5; Pr{ξn=1} = 0,4; Pr{ξn=2} = 0,1.

s= 0; S=2; Xn = 2, 1, 0, -1.

Para encontrarmos os elementos da matriz de probabilidades detransição fazemos, por exemplo:

P10= Pr{Xn+1=0 / Xn=1} = Pr{ξn+1=1} = 0,4;

P10= Pr{Xn+1=0 / Xn=0} = Pr{ξn+1=2} = 0,1.

Continuando, obtemos a matriz de probabilidades de transição:

P =

5,04,01,00

05,04,01,0

5,04,01,00

5,04,01,00


Cadeia de Markov de Enfileiramento Discreto

Clientes chegam para atendimento e tomam seu lugar emuma fila. Durante cada período de tempo, um único cliente éatendido, considerando que pelo menos um cliente está presente. Senenhum cliente aguarda atendimento, então durante este períodonenhum atendimento é realizado. Num período de atendimentonovos clientes podem chegar. Supomos que o número de clientesque chegam durante o n-ésimo período é uma variável aleatória ξn,cuja distribuição é independente do período e é dada por:

Pr{k clientes chegam em um período de atendimento} =

Pr {ξn=k} = ak, para k = 0,1,...

onde ak ≥ 0 e ak = 1.∑∞

=0k


Também consideramos que ξ1, ξ2,... são variáveis aleatóriasindependentes. O estado do sistema no início de cada período édefinido pelo número de clientes esperando na fila poratendimento. Se o estado atual é i, então, depois de um lapso de umperíodo, o estado é:

j = (18)

onde ξ é o número de novos clientes que chegaram no período,enquanto um único cliente foi atendido.

Em termos de variáveis aleatórias do processo, (18) pode serformalmente expressa como:

Xn+1=(Xn-1)+ + ξn,

onde Y+=max(Y,0).

=

≥+

0i se ,

1i se ,1-i

ξ

ξ


A partir de (18), obtemos a matriz de probabilidades de transição:

P =

MMMMM

L

L

L

L

L

10

210

3210

43210

43210

aa000

aaa00

aaaa0

aaaaa

aaaaa


Algumas Cadeias de Markov Especiais

Cadeia de Markov de Dois Estados

Seja P = ; 0<a, b<1 (19)

a matriz de transição de uma Cadeia de Markov de dois estados.

Quando a=1-b, tal que as linhas de P são iguais, os estados X1,X2,... são variáveis aleatórias independentes identicamentedistribuídas, com Pr{Xn=0}=b e Pr{Xn=1}=a.

Quando a≠1-b, a distribuição de probabilidade de Xn variadependendo da saída Xn-1 no estágio anterior.

b-1b

aa-1


Neste caso, é verificado por indução que a matriz de transição em npassos é dada por:

Pn = (20)

Observemos que quando 0<a, b<1, e daí

quando n→ ∝ e:

=

bb-

a-a

b)a(b)-a-1(

ab

ab

ba1 n

++

+

1b-a-1 < 0b-a-1n

→

baa

bab

baa

bab

++

++∞→n

nlim P


Para um exemplo numérico, suponha que os itens produzidos porum trabalhador estejam sendo separados em defeituosos ou não, eque, devido à qualidade da matéria prima, um item está com defeitoou não depende em parte de se ou não o item anterior estavadefeituoso. Seja Xn a qualidade do n-ésimo item, com Xn=0significando bom e Xn=1 significando defeituoso. Suponha que Xncaracteriza uma Cadeia de Markov cuja matriz de transição é:

P = .

Observe que itens defeituosos tendem a aparecer em grupos nasaída deste sistema.

Após execução longa, a probabilidade que um item produzido poreste sistema esteja defeituoso é dado por = 0,077.

88,012,0

01,099,0

baa+


Passeio Aleatório Unidimensional

Um deslocamento aleatório unidimensional é uma Cadeiade Markov cujo espaço de estados é um subconjunto finito ouinfinito a, a+1,...,b de inteiros, no qual a partícula, se está no estadoi, pode em uma única transição permanecer em i ou mover-se paraum dos estados vizinhos i-1, i+1. Se o espaço de estados é tomadocomo os inteiros não negativos, a matriz de transição de umdeslocamento aleatório tem a seguinte forma:

P =

MMMMMMM

LL

LMMMMMMM

LL

LL

LL

0prq000

0000rq0

0000prq

00000pr

iii

22

111

00


Onde pi>0, qi>0, ri≥0 e pi+qi+ri=1, i= 1,2,... (i≥1), p0 ≥ 0, r0 ≥ 0,

p0+r0=1. Especificamente, se Xn=i, então, para i≥1,

Pr{Xn+1=i+1 / Xn=i} = pi,

Pr{Xn+1=i-1 / Xn=i} = qi e

Pr{Xn+1=i / Xn=i} = ri,

com a modificações óbvias valendo para i=0.

O Conceito de Convergência emCadeias de Markov


Apresentação

• Matrizes de Transição de Probabilidades

Regulares;

• Distribuição Limite;

• Classificação dos Estados;

• Teorema Básico do Limite em cadeia de Markov

• Distribuição Estacionária.


Matrizes de Transição deProbabilidade Regulares

• Suponha que uma matriz de transição deprobabilidade P=||Pij|| em um número finitode estados chamados de 0, 1, ..., N, tem apropriedade que quando elevada a potênciak, a matriz Pk tem todos os seus elementosestritamente positivos. Esta matriz ou acorrespondente Cadeia de Markov échamada de regular.


• O fato mais importante relacionado a Cadeiasde Markov regulares é que existe umadistribuição de probabilidades limitesπ=(π 0,π 1,...,π N) onde π j>0 para todo j=0,1,...,Ne Σ jπ j=1 e que esta distribuição independe doestado inicial. Formalmente, temos aconvergência:

NjiXjX

NjP

jnn

jn

ijn

,...,1,0 para 0}|Pr{lim

},{X Markov de cadeia de termosemou

,...,1,0 para 0lim

0

n

)(

=>===

=>=

∞

∞

π

π


• Uma condição suficiente para determinar se

uma matriz transição de probabilidade é

regular é a seguinte:

• 1. Para cada par de estados i, j existe umcaminho k1,...,kr para o qual Pik1

Pk1k2...Pkrj

>0

• 2. Existe pelo menos um estado i para oqual Pii>0.


• Teorema 1: Seja P uma matriz transição deprobabilidade regular nos estados 0,1,...,N.

Então, a distribuição limite de probabilidadeπ=(π 0,π 1,...,π N) é a única solução nãonegativa das equações:

∑

∑

=

=

=

==

N

kk

N

kkjkj NjP

0

0

.1

,...,1,0 ,

π

ππ


• Prova:

• Visto que a cadeia de Markov é regularentão temos uma distribuição limite πj>0para todo j=0,1,...,N e Σjπj=1. Escreva Pn

como o produto de matrizes Pn-1P na forma:

• Agora façamos n→∞. Então, temos

• Pij(n) → πj enquanto Pjk

(n-1) → πk e a equaçãose torna: πj =Σ πkPkj como queríamos.

∑=

− ==N

kkj

nik

nij NjPPP

0

)1()( ,...,1,0 ,


• Resta-nos provar que a solução é única.

• Suponha que x0,x1,...,xN resolve, então:

• Temos que mostrar que xj= πj .

Multipliquemos a primeira equação por Pjl esomemos para todos os j’s então:

∑

∑

=

=

=

==

N

kk

N

kkjkj

x

NjPxx

0

0

.1

,...,1,0 ,


∑∑ ∑∑= = ==

==N

j

N

k

N

kklkjlkjk

N

jjlj PxPPxPx

0 0 0

)2(

0

Mas, sabemos que:

N,...,,lpara,Pxx

Pxx

N

k

)(klkl

N

jjljl

10

:a leva nosanterior equação a então

0

2

0

==

=

∑

∑

=

=


• Repetindo esse argumento n vezes temos:

e passando ao limite em n e usando Pkl(n) →πl,

temos que:

Mas sabemos que Σkxk=1, então xl= πl comoqueríamos.

NlparaPxxN

k

nklkl ,...,1,0 ,

0

)( == ∑=

NlxxN

klkl ,...,1,0 para ,

0

== ∑=

π


0

2

1

0,5

0,4

0,05

0,250,05

0,1

0,5

0,7

0,45


Exemplo 1• Seja a matriz transição de probabilidade

dada por:

1

45025010

507050

05005040

:são limites adesprobabilid das tesdeterminan

equações as

45050050

25070050

105040

210

2102

2101

2100

=++

++=

++=

++=

=

πππππππ

ππππ

ππππ

...

...

...

...

...

...

P


• Observe que temos uma equação redundante,eliminando uma delas chegaremos ao resultado:

•

104

318

565

5

2

1

0

=

=

=

π

π

π


Matrizes Duplamente Estocásticas

• Uma matriz transição de probabilidade éduplamente estocástica se as colunassomam 1 assim como as linhas.

• Se uma matriz duplamente estocástica éregular então a única distribuição limite é adistribuição uniforme π=(1/N,...,1/N), ondeN é o número de estados da cadeia.


• Prova:

• Como sabemos que uma matriz regular sótem uma única solução, então só temos queprovar que a distribuição uniforme satisfaza:

∑

∑−

=

−

=

=

−==

1

0

1

0

.1

1,...,1,0 ,

N

kk

N

kkjkj NjP

π

ππ


1. somam

colunas as pois ,111

e ,1N

1

Mas

1

0

1-N

0k

∑

∑−

=

=

==

=

N

jjk N

PNN


Interpretação da DistribuiçãoLimite

Existem duas interpretações para essadistribuição:

• 1) Após o processo está sendo executado porum longo período a probabilidade deencontrarmos a cadeia em um dado estado j éπj.

• 2) πj significa a fração média do tempo em quea cadeia se encontra no estado j.


Aplicações

• Geralmente um fenômeno que não énaturalmente um processo de Markov podeser modelado como um incluindo parte dahistória passada em cada estado.

• Suponha, por exemplo, que o clima emqualquer dia depende do clima nos dois diasanteriores. Especificamente, suponha que sehoje e ontem o clima foi ensolarado entãoamanhã o clima será ensolarado comprobabilidade 0,8.


• Se foi ensolarado hoje e chuvoso ontem, entãoamanhã será ensolarado com probabilidade 0,6. Sefoi chuvoso hoje mas ensolarado ontem, entãoamanhã será ensolarado com probabilidade 0,4. Ese os dois últimos dias foram chuvosos, entãoamanhã será ensolarado com probabilidade 0,1.Então, definiremos os estados assim:

• 0-Ensolarado nos últimos dois dias.

• 1-Ensolarado ontem, mas chuvoso hoje.

• 2-Chuvoso ontem, mas ensolarado hoje.

• 3-Chuvoso nos dois últimos dias.


• Logo, a matriz transição de probabilidadeserá:

• Resolvendo o sistema de equações para adistribuição limite obteremos:

=

9.01.000

004.06.0

6.04.000

002.08.0

P


11

6 e

11

1,

11

1,

11

33210 ==== ππππ

Então a probabilidade de estarmos em um diaensolarado é de: π0+π2, ou seja, é de 4/11.


Classificação dos Estados

• Nem todas as cadeias de Markov sãoregulares. Vamos considerar algunsexemplos:

• Como a cadeia de Markov permanece noestado inicial, existe uma distribuição limiteque depende obviamente do estado inicial.

=

10

01P


• A cadeia de Markov cuja matriz de transiçãoé dada por:

oscila deterministicamente entre os doisestados. Então ela é periódica e portanto nãoexiste distribuição limite pois não háconvergência de P(n) quando n→∞.

=

01

10P


• A cadeia de Markov cuja matriz de transição é dadapor:

=

∞→

−

=

=

∞→ 10

10lim

:é quando limite o e

102

11

2

1

:por dada é então ,10

2/12/1

n

n

nn

n

n

P

nP

PP

Aqui o estado 0 é transitório, após o processo iniciar noestado 0 existe uma probabilidade de nunca maisretornar a ele.


Cadeias de Markov Irredutíveis

• Um estado j é dito ser acessível a um estadoi se Pij

(n)>0 para algum n≥0.

• Dois estados i e j são ditos comunicáveis secada um deles for acessível ao outro eescrevemos: i↔j. Então, se dois estados i ej não são comunicáveis: Pij

(n)=0 ou Pji(n)=0

para todos n ≥0.


• O conceito de comunicação é uma relaçãode equivalência, ou seja satisfaz asseguintes propriedades:

• 1) i↔i (reflexividade);

• 2) Se i↔j, então j↔i (simetria) e

• 3) Se i↔j e j↔k então i↔k (transitividade).

• Podemos agora particionar nossa totalidadede estados em classes de equivalência.

• Os estados em uma mesma classe de equivalênciasão aqueles que se comunicam entre si.


• É possível, começarmos em uma classe deequivalência e entrar em uma outra, contudonão é possível retornar a classe original,caso contrário as duas classes serão uma só.

• Definimos como cadeia de Markovirredutível aquela que tem somente umaclasse de equivalência. Em outras palavras,uma cadeia de Markov é irredutível se todosos seus estados se comunicam entre si. Porexemplo considere a seguinte matriz detransição de probabilidade:


=

=2

1

0

0

01000

2/102/100

01000

0004/34/1

0002/12/1

P

PP


Periodicidade de uma Cadeia deMarkov

• Definimos o período de um estado i (d(i))como sendo o máximo divisor comum detodos os inteiros n≥1 para o qual Pij

(n)>0.(Se Pij

(n)=0 para todo n≥1 defina d(i)=0).

• Se um estado i tem Pii>0, então este estadotem período igual a 1. Uma cadeia deMarkov com período 1 é chamada de nãoperiódica.


• Vamos agora enunciar três propriedades doperíodo de um estado:

• 1) Se i↔j, então d(i)=d(j);

• 2) Se um estado i tem período d(i), entãoexiste um inteiro N dependendo de i quepara todos os inteiros n≥N:

• Isto assegura que um retorno para o estado iocorre para todo múltiplo do período d(i)suficientemente grande.

0))(( >indiiP


grande. mentesuficiente positivo) inteiro (um

todopara 0 então ,0 Se 3) ))(()(

n

PP indmji

mji >> +


Estados Recorrentes e Transitórios• Definimos:

Ou seja, fii(n) é a probabilidade que

começando em um estado i a primeira vezque a cadeia retorne para o estado i ocorrana enésima transição

}|1,...,2,1,,Pr{ 0)( iXnviXiXf vn

nii =−=≠==


• Seja a probabilidade da cadeia iniciando emum estado i retornar ao estado i em algumtempo fii:

• Definimos um estado como recorrente sefii=1. Por outro lado, se um estado não forrecorrente ele é dito ser transitório.

∑∑=

∞→=

==N

n

nii

N

N

n

niiii fff

0

)(

0

)( lim


• Considere então um estado transitório,então a probabilidade do processo retornar aeste estado pelo menos k vezes, pelapropriedade do processo de Markov, é (fii)

k.

• Seja M uma variável aleatória que conta onúmero de vezes que o processo retornapara o estado i. Então M tem umadistribuição geométrica na qual:

.1

]

e 1,2,...k para ,)(}|Pr{

0

0

ii

ii

kii

f

fiE[M|X

fiXkM

−==

===≥


• Teorema 2: Um estado i é dito serrecorrente se e somente se:

• Prova: Suponha que o estado i é transitórioentão por definição fii<1 e seja M a VA queconta o número total de retornos ao estado i.Então podemos escrever M em termos deVA’s indicadoras como:

∑∞

=

∞=1

)(

n

niiP


queríamos. como

]|{1[]|[

:Logo

io. transitóré i quando ]|[ vimoscomo Mas

. se 1

se 0}{1

onde },{1

1

)(

100

0

1

∑∑

∑

∞

=

∞

=

∞

=

=====>∞

∞<=

=≠

==

==

n

nii

nn

n

nn

nn

PiXiXEiXME

iXME

iX

iXiX

iXM


• Corolário 1: Se i↔j e se i é recorrente,então j é recorrente.

• Prova:

Como i↔j então existe m,n≥1 de modo que:

Seja v>0. Então temos que:

0 e 0 )()( >> mji

nij PP


∑∑

∑∑ ∑

∑∑

∞

=

∞

=

∞

=

∞

=

∞

=

++

∞

=

∞

=

++

=≥

≥=

0

)(

0

)(

0

)()()(

0 0

)()()()(

0 0

)()()()()()()(

diverge. também que temosdiverge, Como

:Somando

v

vjj

v

vii

v

vii

nij

mji

v v

nij

vii

mji

vmnjj

l l

nij

vii

mji

nil

vil

mjl

vnmjj

PP

PPPPPPP

PPPPPPP


O Teorema Básico do Limite dasCadeias de Markov

• Seja i um estado recorrente e definimosentão a VA Ri=min{n≥1;Xn=i}. A duraçãomédia entre visitas ao estado i é:

∑∞

=

===1

)(0 ]|[

n

niiii nfiXREm


• Enunciando de forma mais formal oteorema, temos:

• (a) Considere uma cadeia de Markovrecorrente irredutível não periódica.

Seja Pii(n) a probabilidade de retornarmos

ao estado i na n-ésima transição dado que oestado inicial é i. Seja fii

(n) a probabilidadedo primeiro retorno ao estado i na n-ésimatransição, onde fii

(0)=0. Então:

i

n

nii

nii

n mnf

P11

lim

0

)(

)( ==

∑∞

=

∞→


• (b) Sobre as mesmas condições de (a):

• Obs.: Se estivermos trabalhando em umaclasse recorrente C. Então uma vez em Cnão é possível sair de C. Este teorematambém é válido para a sub-matriz ||Pij||,i,j∈C de qualquer classe recorrente nãoperiódica.

. estados os todospara limlim )()( jPP nii

n

nji

n ∞→∞→=


• Definimos uma classe como de recorrência

positiva ou fortemente ergódica se mi<∞ e

de recorrência nula ou fracamente ergódica

se mi= ∞. Um método alternativo para

determinarmos a distribuição limite πi para

uma classe recorrente não periódica.


• Teorema 4: Em uma classe de recorrênciapositiva não periódica com estadosj=0,1,2,...

0,1,...j para e ,0 (*)

:equações de conjunto pelo

osdeterminad unicamente são s' esses e

1 e 1

lim

00ii

00

)(

==≥

====

∑∑

∑∑

∞

=

∞

=

∞

=

∞

=∞→

iijiji

ii

jiijij

njj

n

P

mPP

ππππ

π

πππ


• Qualquer conjunto (πi)i=0∞ satisfazendo (*)

é chamado de uma distribuição estacionáriada cadeia de Markov. O termo estacionárioderiva da propriedade de que uma cadeia deMarkov iniciando de acordo com umadistribuição estacionária vai seguir estádistribuição para todos os demais pontos dotempo. Formalmente, se Pr{X0=i}= πi entãoPr{Xn=i}= πi para todo n=1,2,3,...Vamoschecar isso para o caso n=1, o caso geralsegue por indução:


onde a última igualdade é válida porque ππ éuma distribuição estacionária.

ik

kik

k

P

kXiXkXiX

ππ ==

=====

∑

∑∞

=

∞

=

0

00101 }|Pr{}Pr{}Pr{`


• Quando o estado inicial é selecionado deacordo com a distribuição estacionária, adistribuição conjunta de (Xn,Xn+1) é dadapor:

• Quando uma distribuição limite existe, ela ésempre uma distribuição estacionária. Maspode existir uma distribuição estacionáriaque não seja distribuição limite.

.

}|Pr{}Pr{},Pr{ 11

iji

nnnnn

P

iXjXiXjXiX

π=

====== ++


• Por exemplo seja a cadeia de Markovperiódica (portanto sem distribuição limite)dada por:

).2/1,2/1(01

10)2/1,2/1(

:pois iaestacionár ãodistribuiç uma é (1/2,1/2) mas 01

10

=

=

= πP

cadeias de markov parte i - ee.ufpe.br · métodos matemáticos 1a - cadeias de markov quando as...

Documents