cadeias de markov em tempo continuo -...
TRANSCRIPT
Cadeias de Markov em Tempo Continuo
Ricardo [email protected]
Departamento de Matematica Aplicada e EstatısticaUniversidade de Sao Paulo
Capitulos 6 Taylor & Karlin
1 / 44
▶ Analogo ao processo de Markov ja visto para tempo discreto.
▶ Satisfaz a propriedade Markoviana.
▶ O processo de Poisson e uma cadeia de Markov em tempocontinuo com estados 0, 1, 2, . . . que sempre vai sempre doestado n para o estado n + 1.
▶ O processo de Poisson e um processo de nascimento puro.
▶ Processos baseados no modelo exponencial que podem saltarde n para n + 1 ou n − 1 sao chamados processos denascimento e morte.
2 / 44
Seja um processo estocastico {X (t), t ≥ 0} em tempo continuoque assume valores nos inteiros nao negativos 0, 1, 2, . . .
▶ Este processo e uma cadeia de Markov em tempo continuo se,
P[X (t + s) = j |X (s) = i ,X (u) = k, 0 ≤ u < s] =
P[X (t + s) = j |X (s) = i ], ∀s, t ≥ 0.
▶ A cadeia tem a propriedade Markoviana, a distribuicao dofuturo X (t + s), dado o presente X (s), nao depende dopassado X (u), 0 ≤ u < s.
▶ Se P[X (t + s) = j |X (s) = i ] nao depende de s a cadeia eestacionaria.
3 / 44
Seja uma cadeia de Markov em tempo continuo {X (t), t ≥ 0}.
▶ Se a cadeia entrou no estado i e permaneceu neste estado por10 minutos, qual a probabilidade da cadeia permanecer noestado i por mais 5 minutos?
▶ Pela propriedade Markoviana, a probabilidade de permanecerno estado i no intervalo [10,15] e a probabilidade de ficar noestado i por ao menos mais 5 minutos.
4 / 44
Seja Ti o tempo que a cadeia fica no estado i antes de fazer umatransicao para outro estado. Entao,
P(Ti > 15|Ti > 10) = P(Ti > 5).
No caso geral,
P(Ti > s + t|Ti > s) = P(Ti > t), ∀s, t ≥ 0.
Portanto a variavel aleatoria Ti nao tem memoria e temdistribuicao exponencial.
5 / 44
Definicao Alternativa
Um processo estocastico que quando entra num estado i tem asseguintes propriedades,
▶ o tempo Ti gasto em i antes de mudar para j = i temdistribuicao exponencial com parametro vi , e
▶ muda para o estado j com probabilidade Pij tal que Pii = 0 e∑j Pij = 1, ∀i ,
e uma cadeia de Markov em tempo continuo.
6 / 44
Processos de nascimento e morte
Considere um sistema cujo estado e o seu numero de individuos.Quando ha n individuos no sistema,
▶ novos individuos entram no sistema a uma taxa exponencialλn,
▶ individuos saem do sistema a uma taxa exponencial µn.
Equivalentemente,
▶ o tempo ate a proxima chegada tem distribuicao exponencialcom parametro λn,
▶ o tempo ate a proxima saida tem distribuicao exponencialcom parametro µn,
▶ estes tempos sao independentes.
Tal sistema e chamado de processo de nascimento e morte.
7 / 44
Definicao. Um processo de nascimento e morte e uma cadeia deMarkov em tempo continuo com estados 0, 1, 2, . . . cujastransicoes vao do estado n para n − 1 ou n + 1.
v0 = λ0
vi = λi + µi , i = 1, 2, . . .
P01 = 1
Pi ,i+1 =λi
λi + µi
Pi ,i−1 =µi
λi + µi
8 / 44
▶ A trajetoria do processo e similar a um passeio aleatorioporem as transicoes ocorrem em tempos aleatorios ao inves detempos fixos.
▶ Uma possivel trajetoria do processo seria,
X (t) =
i , para 0 < t < t1,i + 1, para t1 < t < t1 + t2,i , para t1 + t2 < t < t1 + t2 + t3,...
9 / 44
Exemplo. Considere um processo de nascimento e morte no qual,
µn = 0, n = 0, 1, . . .
λn = λ, n = 0, 1, . . .
Neste processo nao ocorrem saidas do sistema e o tempo entrechegadas sucessivas tem distribuicao exponencial com parametroλ. Portanto e um processo de Poisson.
10 / 44
Exemplo. (Processo de Yule). Considere uma populacao em queso ha nascimentos e ninguem morre. Os individuos agem de formaindependente e cada um leva um tempo exponencial comparametro λ para dar origem a um nascimento.
▶ Em uma populacao com n individuos a taxa total denascimento e λn = nλ, n = 0, 1, . . .
▶ Se X (t) representa o tamanho da populacao no tempo t entao{X (t), t ≥ 0} e um processo de nascimento com taxa λn
11 / 44
No caso geral, considere novamente uma populacao em que so hanascimentos sendo X (t) o numero de elementos na populacao notempo t. Assume-se que X (0) = 0.
Sejam S0, S1, . . . os tempos entre nascimentos, e
Wk =k−1∑i=0
Si , k = 1, 2, . . .
o tempo para o k-esimo nascimento.
Pelo que sabemos de processos de Poisson, S0, S1, . . . saoindependentes e Sk ∼ Exponencial(λk).
Dizemos que {X (t), t ≥ 0} e um processo de nascimento puro comtaxas de nascimento λ0, λ1, . . . .
12 / 44
Sejam as probabilidades de que a cadeia esteja no estado n em umtempo t dado que comecou no estado zero,
P[X (t) = n|X (0) = 0] = Pn(t).
Pelos resultados da Secao 1.2 temos que,
P0(t) = e−λ0t
P1(t) = λ0
[e−λ0t
λ1 − λ0+
e−λ1t
λ0 − λ1
]
Pn(t) =
(n−1∏k=0
λk
) n∑j=0
Bj ,ne−λj t
13 / 44
sendo,
B0,n =
n−1∏j=0
(λj+1 − λj)
−1
Bk,n =
n∏j=0,j =k
(λj − λk)
−1
, k = 1, . . . , n − 1
Bn,n =
n−1∏j=0
(λj − λn)
−1
14 / 44
Exemplo. Um processo de nascimento puro com X (0) = 0 temtaxas de nascimento λ0 = 1, λ1 = 3, λ2 = 2 e λ3 = 5. Calcule asprobabilidades, P0(t), P1(t), P2(t) e P3(t).
P0(t) = e−t
P1(t) =e−t
2− e−3t
2...
15 / 44
Exemplo. Um equipamento esta sujeito a operacoes dostipos 1, 2e 3 em sequencia. Os tempos para executar as operacoes S1, S2,S3 sao independentes e tem distribuicoes exponenciais comparametros λ1 = 5, λ2 = 3 e λ3 = 13. Seja X (t) a operacao queesta sendo executada no tempo t. Calcule as probabilidades P1(t),P2(t) e P3(t).
16 / 44
Exemplo. Seja um processo de nascimento com taxasλk = α+ kβ, k = 0, 1, 2, . . . . Neste modelo, β representa a taxade nascimento de cada individuo e α a taxa de imigracao.Assumindo que X (0) = 0 determine as probabilidades P0(t),P1(t), P2(t), . . .
17 / 44
Probabilidades de transicao
Dado que o processo esta no estado j , define-se a probabilidade deque esteja no estado i apos um tempo t como,
Pij(t) = P[X (t + s) = j |X (s) = i ]
que sao as probabilidades de transicao da cadeia.
Note que estas probabilidades nao dependem de s.
18 / 44
Equacoes de Chapman-Kolmogorov
Seja {X (t), t ≥ 0} uma cadeia de Markov em tempo continuo.
A cadeia se move do estado i para o estado j no tempo t + smovendo-se do estado i para o estado k no tempo t e de k para oestado j no tempo restante s,
Pij(t + s) =∞∑k=0
Pik(t)Pkj(s)
19 / 44
Alem disso,
Pn(t) = P(X (t) = n)
=∞∑i=0
P(X (t) = n|X (0) = i)P(X (0) = i).
20 / 44
Comportamento limite
Em processos de nascimento e morte deseja-se saber se existe umadistribuicao limite para a cadeia, independente do estado inicial.
Para uma cadeia sem estados absorventes pode-se mostrar que,
limt→∞
Pi0(t) = π0,
limt→∞
Pi1(t) = π1,
limt→∞
Pi2(t) = π2,
...
com πj ≥ 0, j = 0, 1, . . . Se πj > 0, j = 0, 1, . . . segue tambemque
∑∞j=0 πj = 1 e temos uma distribuicao de probabilidades limite.
21 / 44
Equacoes de Kolmogorov,
P ′i0(t) = −λ0Pi0(t) + µ1Pi1(t)
P ′ij(t) = −λj−1Pij−1(t)−(λj+µj)Pij(t)+µj+1Pi ,j+1(t), j = 1, 2, . . .
Passando o limite para t → ∞, obtem-se
0 = −λ0π0 + µ1π1
0 = λj−1πj−1 − (λj + µj)πj + µj+1πj+1, j = 1, 2, . . .
22 / 44
A solucao e obtida por inducao sendo dada por,
πj+1 = θj+1π0
definindo-se os parametros θ como,
θ0 = 1 e θj =
∏j−1k=0 λk∏jk=1 µk
, j = 1, 2, . . .
Somando-se ambos os lados segue que,
∞∑k=0
πk = π0
∞∑k=0
θk
e entao,
πj = θjπ0 =θj∑∞
k=0 θk, j = 0, 1, . . .
23 / 44
Portanto, fica claro que π0, π1, . . . define uma distribuicao deprobabilidades se
∑∞k=0 θk < ∞.
Caso contrario, se∑∞
k=0 θk = ∞ entao πj = 0, ∀j e a distribuicaolimite nao existe.
24 / 44
Exemplo. Seja um processo de nascimento e morte com taxasλn = a+ nλ e µn = nµ, n = 0, 1, . . . . Os parametros λ, µ > 0 saoas taxas individuais de nascimento e morte e a > 0 e a taxa deimigracao.
θ0 = 1
θ1 =a
µ
θ2 =a(a+ λ)
2µ2
θ3 =a(a+ λ)(a+ 2λ)
6µ3
...
θk =a(a+ λ) . . . (a+ (k − 1)λ)
k!µk
25 / 44
θk =aλ(
aλ + 1) . . . ( aλ + (k − 1))
k!
(λ
µ
)k
=
(a/λ+ k − 1
k
)(λ
µ
)k
Usando a expansao binomial,
(1− x)−N =∞∑k=0
(N + k − 1
k
)xk , para |x | < 1,
segue que,
∞∑k=0
θk =∞∑k=0
(a/λ+ k − 1
k
)(λ
µ
)k
=
(1− λ
µ
)−a/λ
, para λ < µ.
26 / 44
Conclui-se entao que, para λ < µ a distribuicao limite existe e edada por,
π0 =
(1− λ
µ
)a/λ
πk =
(a/λ+ k − 1
k
)(λ
µ
)k (1− λ
µ
)a/λ
, k = 1, 2, . . .
Se λ ≥ µ a distribuicao limite nao existe,
27 / 44
Exemplo. Um sistema e composto de N maquinas. Cada maquinaopera um tempo aleatorio com distribuicao exponencial(λ).Quando uma maquina falha ela e consertada num tempo aleatoriocom distribuicao exponencial(µ).
X (t): o numero de maquinas nao defeituosas no tempo t, e umprocesso de nascimento e morte finito com parametros,
λn = (N − n)λ
µn = nµ
para n = 0, 1, . . . ,N.
28 / 44
Temos entao,
θ0 = 1
θ1 =Nλ
µ
θ2 =N(N − 1)λ2
2µ2
...
θk =N(N − 1) . . . (N − k + 1)λk
k!µk=
(N
k
)(λ
µ
)k
.
Pela formula binomial temos que,
(1 + x)N =N∑
k=0
(N
k
)xk
e portanto,
N∑k=0
θk =N∑
k=0
(N
k
)(λ
µ
)k
=
(1 +
λ
µ
)N
29 / 44
Conclui-se que a distribuicao limite existe e e dada por,
π0 =
(1 +
λ
µ
)−N
=
(µ
λ+ µ
)N
πk =
(N
k
)(λ
µ
)k (1 +
λ
µ
)−N
=
(N
k
)(λ
µ
)k ( µ
λ+ µ
)N
=
(N
k
)(λ
λ+ µ
)k ( µ
λ+ µ
)N−k
,
ou seja distribuicao Binomial com parametros N e λ/(λ+ µ).
30 / 44
Cadeias com estados absorventes
▶ Em processos de nascimento e morte com λ0 = 0 o estado 0 eabsorvente.
▶ Neste caso, deseja-se calcular a probabilidade de absorcaodado que a cadeia iniciou no estado i = 1, 2, . . . ,
P(X (t) = 0|X (0) = i).
▶ Este nao e um evento certo pois a cadeia pode ficar parasempre vagando pelos estado 1, 2, . . .
31 / 44
A probabilidade pode ser reescrita como,
P(X (t) = 0|X (0) = i) =∞∑k=0
P(X (t) = 0|X (1) = k)P(X (1) = k|X (0) = i)
P(X (t) = 0|X (0) = i + 1)Pi ,i+1 + P(X (t) = 0|X (0) = i − 1)Pi ,i−1
Defina ui a probabilidade de absorcao dado que comecou no estadoi e lembrando que,
Pi ,i+1 =λi
λi + µi
Pi ,i−1 =µi
λi + µi
segue que,
ui =λi
λi + µiui+1 +
µi
λi + µiui−1
32 / 44
Podemos reescrever esta expressao como,
ui+1 − ui = (ui − ui−1)µi
λi, i = 1, 2, . . .
νi = νi−1µi
λi
= νi−2µi
λi
µi−1
λi−1
...
= ν0µiµi−1 . . . µ1
λiλi−1 . . . λ1
= ρiν0, com ρ0 = 1.
33 / 44
Some ambos os lados para i variando de 1 ate um inteiro m − 1,
m−1∑i=1
(ui+1 − ui ) = (u1 − u0)m−1∑i=1
ρi
um − u1 = (u1 − 1)m−1∑i=1
ρi , m = 2, 3, . . .
Sendo um ≤ 1 segue que se∑m−1
i=1 ρi = ∞ entao u1 = 1 e um = 1,m > 1 e a absorcao pelo estado 0 e certa para qualquer estadoinicial.
34 / 44
Por outro lado, se 0 < u1 < 1 entao∑m−1
i=1 ρi < ∞.
▶ Neste caso um e uma funcao decrescente de m (poisu1 − 1 < 0).
▶ Pode-se mostrar que um → 0 quando m → ∞.
▶ Passando ao limite temos uma solucao para u1,
u1 =
∑∞i=1 ρi
1 +∑∞
i=1 ρi
▶ Substituindo na equacao anterior, temos que
um =
∑∞i=1 ρi −
∑m−1i=1 ρi
1 +∑∞
i=1 ρi=
∑∞i=m ρi
1 +∑∞
i=1 ρi
35 / 44
Exemplo. Considere um processo de nascimento e morte comestados 0,1,2,3,4,5 e parametros
(λ0, λ1, λ2, λ3, λ4, λ5) = (0, 1, 2, 3, 4, 0)
(µ0, µ1, µ2, µ3, µ4, µ5) = (0, 4, 3, 2, 1, 0).
Se o processo inicia no estado 2 calcular a probabilidade deabsorcao no estado 0.
▶ Os estados 0 e 5 sao absorventes.
▶ Deseja-se calcular P(X (t) = 0|X (0) = 2).
36 / 44
Segue que,
ρ0 = 1
ρ1 = µ1/λ1 = 4
ρ2 = ρ1 µ2/λ2 = 6
ρ3 = ρ2 µ3/λ3 = 4
ρ4 = ρ3 µ4/λ4 = 1
ρ5 = 0
Portanto,
P(X (t) = 0|X (0) = 2) = u2 =
∑5i=2 ρi
1 +∑5
i=1 ρi= 0.73
37 / 44
Tempo medio ate absorcao
Seja um processo de nascimento e morte com estado 0 absorvente.
▶ Assume-se que∑∞
i=1 ρi = ∞ (absorcao certa).
▶ Seja wi o tempo medio de absorcao comecando no estado i .
▶ Seja Ti o tempo de permanencia no estado i antes de mudarpara i + 1 ou i − 1.
Sabemos que,
▶ Ti ∼ Exponencial(λi + µi), e
▶ Pi ,i+1 = λi/(λi + µi) e Pi ,i−1 = µi/(λi + µi ).
Entao,
wi =1
λi + µi+
λi
(λi + µi )wi+1 +
µi
(λi + µi )wi−1, i = 1, 2, . . .
38 / 44
A expressao anterior pode ser reescrita como,
wi =1 + λiwi+1 + µiwi−1
λi + µi
λi(wi − wi+1) = 1 + µi(wi−1 − wi )
zi =1
λi+
(µi
λi
)zi−1, i = 1, 2, . . .
Fazendo substituicoes sucessivas,
z1 =1
λ1+
(µ1
λ1
)z0
z2 =1
λ2+
µ2
λ2λ1+
(µ2µ1
λ2λ1
)z0
...
39 / 44
Finalmente,
zm =m∑i=1
1
λi
m∏j=i+1
µj
λj+
m∏j=1
µj
λj
z0.
sendo∏m
j=m+1µj
λj= 1. Voltando a notacao anterior segue que,
zm =m∑i=1
1
λi
ρmρi
+ ρmz0.
Equivalentemete, como zm = wm − wm+1 e z0 = w0 − w1 = −w1,
wm − wm+1
ρm=
m∑i=1
1
λiρi− w1.
40 / 44
Teorema. Seja um processo de nascimento e morte comparametros λn e µn, n = 1, 2, . . . e λ0 = 0. Entao,
um =
∑∞i=m ρi
1 +∑∞
i=1 ρi, se
∞∑i=1
ρi < ∞
1, se∞∑i=1
ρi = ∞
wm =
∞, se∞∑i=1
1
λiρi= ∞
∞∑i=1
1
λiρi+
m−1∑k=1
ρk
∞∑j=k+1
1
λjρj, se
∞∑i=1
1
λiρi< ∞
41 / 44
Exemplo. Considere uma populacao cujo numero de elementossegue um processo de nascimento e morte com parametrosλn = nλ e µn = nµ, n = 0, 1, . . . . O estado 0 e absorvente(extincao).
Neste caso, ρj = (µ/λ)j e portanto,
∞∑j=m
ρj =∞∑j=m
(µλ
)j.
Se λ > µ temos a soma dos termos de uma progressao geometricacom razao µ/λ < 1 e assim,
∞∑j=m
ρj =
(µ/λ)m
1− µ/λ, se λ > µ, e
∞, se λ ≤ µ,
Analogamente,
1 +∞∑j=1
ρj =1
1− µ/λ, se λ > µ.
42 / 44
Finalmente,
P(X (t) = 0|X (0) = m) =
(µ/λ)m, se λ > µ, e
1, se λ ≤ µ
43 / 44
Para λ ≤ µ (extincao certa) e X (0) = 1,
∞∑i=1
1
λiρi=
∞∑i=1
1
iλi
(λ
µ
)i
=1
λ
∞∑i=1
1
i
(λ
µ
)i
=
=1
λ
∞∑i=1
∫ λ/µ
0x i−1dx =
1
λ
∫ λ/µ
0
∞∑i=1
x i−1dx
=1
λ
∫ λ/µ
0
1
1− xdx
=
1
λlog
(µ
µ− λ
), se λ < µ
∞, se λ = µ.
44 / 44