descripci on e implementaci on del muestreador de gibbs en...

Descripcion e implementacion del Muestreadorde Gibbs en version bivariada

Manuel Alejandro Moreno Arevalo

Universidad Distrital Francisco Jose de CaldasFacultad de Ciencias y Educacion

Proyecto Curricular de MatematicasBogota, D.C.

Diciembre de 2016

Descripcion e implementacion del Muestreadorde Gibbs en version bivariada

Manuel Alejandro Moreno Arevalo

Disertacion presentada para optar al tıtulo deMatematico

DirectorM. Sc. Luis Alejandro Masmela Caita.

Universidad Distrital Francisco Jose de CaldasFacultad de Ciencias y Educacion

Proyecto Curricular de MatematicasBogota, D.C.

Diciembre de 2016

Tıtulo en espanol

Descripcion e implementacion del Muestreador de Gibbs en version bivariada

Title in English

Description and implementation of Gibbs Sampler in bivariate version

Resumen: Este trabajo de grado presenta un revision bibliografica de losfundamentos matematicos del muestreador de Gibbs y una descripcion especıfica dela mecanica de este. El muestreador de Gibbs es un algoritmo que permite generaruna muestra aleatoria a partir de la distribucion de probabilidad conjunta de dos omas variables aleatorias haciendo uso de sus distribuciones condicionales.

El trabajo se estructuro en tres capıtulos:

• Capıtulo 1: Se muestran los fundamentos de la teorıa de probabilidad en elcaso multivariado, delimitando este estudio a los conceptos empleados en elmuestreador de Gibbs.

• Capıtulo 2: Presenta la teorıa de las Cadenas de Markov a tiempo discreto conespacio de estados discreto. Por ser las cadenas de Markov un soporte teoricopara el muestreador de Gibbs.

• Capıtulo 3: Expone una descripcion del Muestreador de Gibbs en donde sediscute su aplicacion y su eficacia.

.

Abstract: This degree work presents a literature review of the mathematicalfoundations of the Gibbs sampler and a specified description of the mechanics ofthis. The Gibbs sampler is an algorithm that allows to generate a random samplefrom the joint probability distribution of two or more random variables making useof their conditional distributions.

The work was divided into three chapters:

• In chapter 1 the basics of probability theory in the multivariate case are shown,this study is limited to the concepts used in the Gibbs sampler.

• In chapter 2 it presents the theory of Markov chains with discrete time discretestate space. The Markov chains being theoretical support for the Gibbs sampler

• In chapter 3 expose a description of the Gibbs sampler where its applicationand effectiveness is discussed.

.

Palabras clave: Distribucion condicional, Cadenas de Markov, Sucesion de Gibbs.

Keywords: Conditional distribution, Markov chains, Gibbs sequence.

Nota de aceptacion

Trabajo de tesis

JuradoGabriel Cordoba Suarez

DirectorLuis Alejandro Masmela Caita

Bogota, D.C., Diciembre 7 de 2016

Dedicado a

Mi mama Rosalia Arevalo y mi abuelita Clementina Arevalo.

Agradecimientos

Quiero agradecer a Dios por brindarme las capacidades para desarrollar mis estudiosy por todas las otras bendiciones que ha derramado sobre mi. A mi mama RosaliaArevalo y mi abuelita Clementina Arevalo quienes han sido mi apoyo y guıa en lasdecisiones que he tomado en mi vida. Quiero agradecer tambien a los profesores delProyecto Curricular de Matematicas de la Universidad Distrital por sus leccionesacademicas y consejos de vida que han compartido conmigo a lo largo de estos anos.Agradezco especialmente al profesor Luis Alejandro Masmela quien dirigio este trabajode grado porque sin sus conocimientos y paciencia no se hubiese podido culminarsatisfactoriamente. Por ultimo, pero no por ello menos importante, al profesor GabrielCordoba, por las correcciones y sugerencias hechas a este documento.

Indice general

Indice general I

Indice de tablas III

Indice de figuras IV

Introduccion V

1. Preliminares 11.1. Algunos conceptos de la teorıa de la probabilidad en el caso multivariado 11.2. La prueba Ji-cuadrado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2. Cadenas de Markov 72.1. Comunicacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92.2. Periodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92.3. Primeras visitas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.4. Recurrencia y transitoriedad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.5. Tiempo medio de recurrencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.6. Clases cerradas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.7. Numero de visitas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.8. Recurrencia positiva y nula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.9. Evolucion de distribuciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152.10. Distribuciones estacionarias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152.11. Distribuciones lımite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172.12. Cadenas regulares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.13. Cadenas reversibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3. Muestreador de Gibbs 203.1. Algoritmo del muestreador de Gibbs para el caso bivariado . . . . . . . . 213.2. Ilustrando el muestreador de Gibss . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.2.1. Distribucion Beta-binomial . . . . . . . . . . . . . . . . . . . . . . . . . 223.2.1.1. Distribucion Beta-binomial como distribucion com-

puesta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

I

INDICE GENERAL II

3.2.2. Aplicando el Muestreador de Gibbs . . . . . . . . . . . . . . . . . . . 233.2.3. Distribucion trinomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

3.3. Una prueba de Convergencia simple . . . . . . . . . . . . . . . . . . . . . . . . 293.4. Evaluacion de P n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Conclusiones 38

Codigos en R 39

Bibliografıa 43

Indice de tablas

3.1. Distribucion de probabilidades de (X, Y ) . . . . . . . . . . . . . . . . . . . . 303.2. Distribucion de probabilidades conjunta de la variable aleatoria dis-

creta (X, Y ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313.3. Distribucion de probabilidades conjunta para el ejemplo 1. . . . . . . . . 33

III

Indice de figuras

3.1. Comparacion de histogramas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.2. Comparando el muestreador de Gibbs. . . . . . . . . . . . . . . . . . . . . . . 263.3. Comparacion de dos Histogramas . . . . . . . . . . . . . . . . . . . . . . . . . . 29

IV

Introduccion

Algunos calculos en la teorıa de probabilidad requieren de una cierta habilidadmatematica. Por ejemplo, si se tiene la funcion de densidad de probabilidad conjuntade dos variables aleatorias y se esta interesado en obtener la funcion de densidadde una variable aleatoria en particular. Aquı presentamos un metodo conocidocomo muestreador de Gibbs que entre sus bondades se encuentra facilitar este tipode operaciones. Es precisamente en el Capıtulo 3 que el lector podra observar lamecanica simple y el gran alcance que tiene dicho metodo. Para tal fin en el citadocapıtulo se encontrara un algoritmo que describe al muestreador de Gibbs y conel objetivo de que se observe la bondad del metodo, este se ha implementado parados distribuciones. Se podra apreciar las casi indistinguibles diferencias que existenentre las distribuciones teoricas encontradas por metodos analıticos y las simuladasmediante el muestreador de Gibbs. Dichas simulaciones fueron realizadas con elsoftware estadıstico R.

El muestreador de Gibbs es una tecnica novedosa desarrollada por los hermanos AlanGeman y Donald Jay Geman en 1984. Al igual que los demas algoritmos conocidoscomo MCMC su origen guarda una relacion fuerte con la fısica y su desarrollo ala computacion. Como si fuera poco es aplicado en campos como las finanzas, laeconomıa y la biologıa entre otros.

Se ha estructurado el presente trabajo en tres capıtulos.

En el capıtulo 1, se exponen conceptos basicos de la teorıa de la probabilidad en el casomultivariado, restringiendo el estudio a conceptos que se emplean para desarrollar elmuestreador de Gibbs.

En el capıtulo 2, se presenta dichos elementos con espacio de estados discreto. Para talfin se ha seguido muy de cerca el texto [8]. Este capıtulo comprende desde la definicionde Cadena de Markov a tiempo discreto con espacio de estado discreto hasta cadenasreversibles, pasando por la distribucion lımite que es de vital importancia para elmuestreador de Gibbs.

El capıtulo 3, comienza presentando una muy breve revision historica del muestreadorde Gibbs, expone el algoritmo del muestreador para el caso bivariado, continua condos ejemplos para los cuales se realizo en cada caso una simulacion empleando

V

INTRODUCCION VI

el muestreador de Gibbs y se contrastanlos resultados con la distribucion teorica.Luego se presentan mediante ejemplos la caracterıstica markoviana del muestreador.Culminamos este capıtulo con la seccion llamada evaluacion de la matriz P n

CAPITULO 1

Preliminares

El objetivo de este capıtulo es presentar algunos conceptos basicos de la teorıa de laprobabilidad en el caso multivariado. Al igual que como sucede en el caso univariadodonde a partir de la definicion de variable aleatoria se cimientan un gran numerode definiciones, teoremas y/o proposiciones, entre otros, en el caso multivariado lapiedra angular es la definicion de vector aleatorio n−dimensional.

En el campo de las aplicaciones es comun estar interesado en observar fenomenosnumericos de dos, tres o mas caracterısticas simultaneas. Ası, por analogıa conel caso univariado se presenta la definicion de funcion de distribucion conjuntaacumulada y algunas de sus propiedades. Se brinda tambien la definicion de densidadde probabilidad condicional, que es pieza clave para el muestreador de Gibbs.

1.1. Algunos conceptos de la teorıa de la probabili-

dad en el caso multivariado

Un concepto basico en probabilidad tiene que ver con la definicion de vector aleatorio.Este extiende el concepto de variable aleatoria por una funcion de valores en Rn.

Definicion 1. Sea X1, X2, · · ·Xn n-variables aleatorias reales definidas sobre elmismo espacio de probabilidad (Ω,=, P ) . La funcion X : Ω→ Rn definida por

X (w) := (X1 (w) , · · · , Xn (w))

es llamada un n−dimensional vector aleatorio.

Se puede asociar a un vector aleatorio n-dimensional su funcion de distribucion comolo hace la siguiente definicion. La distribucion permite calcular la probabilidad deque el valor del vector aleatorio, pertenezca a un conjunto.

1

CAPITULO 1. PRELIMINARES 2

Definicion 2. Sea X un n−dimensional vector aleatorio. La medida de probabilidaddefinida por:

PX (B) := P (X ∈ B) ; B ∈ Bn

Es llamada la distribucion del vector aleatorio X.

Nota 1. Bn denota la σ−algebra de Borel sobre Rn.

La naturaleza discreta de las variables aleatorias de un vector aleatorio X permitecaracterizar a este como un vector discreto. La siguiente definicion evidencia esto eincluye lo que se entendera en adelante por funcion de distribucion conjunta.

Definicion 3. Sea X = (X1, X2, · · · , Xn) un vector aleatorio n−dimensional. Silas variables aleatorias Xi, con i = 1, · · · , n son todas discretas, se dice que elvector aleatorio X es discreto. En este caso la funcion de masa de probabilidad deX, tambien llamada funcion de distribucion conjunta de las variables aleatoriasX1, X2, · · · , Xn, esta definida por:

pX (x) :=

P (X = x) si x pertenece a la imagen de X

0 en cualquier otro caso.

Es importante anadir que si en la definicion anterior las variables aleatorias Xi,con i = 1, · · · , n son todas continuas, el vector aleatorio X se dice continuo. Puedetambien presentarse el caso en que una variable aleatoria digamos Xj para 1 ≤ j ≤ npueda ser continua y las demas discretas o viceversa.

Definicion 4. Sea X = (X1, X2, · · · , Xn) un vector aleatorio n−dimensional. Lafuncion definida por:

F (x1, x2, · · · , xn) := P (X1 ≤ x1, X2 ≤ x2, · · · , Xn ≤ xn) ,

para toda (x1, x2, · · · , xn) ∈ Rn es llamada la funcion de distribucion conjuntaacumulada de las variables aleatorias X1, X2, · · · , Xn, o simplemente la funcion dedistribucion del vector aleatorio n−dimensional X.

Existe un procedimiento para encontrar la funcion de distribucion marginal acumuladade una variable aleatoria Xj para 1 ≤ j ≤ n de un vector aleatorio n−dimensionalX, dado este y su funcion de distribucion conjunta acumulada digamos F. Talprocedimiento es el que establece el siguiente teorema.

Teorema 1. Sea X = (X1, X2, · · · , Xn) un vector aleatorio n−dimensional confuncion de distribucion conjunta acumulada F. Para cada j = 1, · · · , n, la funcionde distribucion acumulada de la variable aleatoria Xj esta dada por

FXj(x) = lım

x1→∞· · · lım

xj−1→∞lım

xj+1→∞· · · lım

xn→∞F (x1, · · ·xn) .


La funcion de distribucion FXjes llamada la funcion de distribucion marginal

acumulada de la variable aleatoria Xj.

Dada la importancia de la funcion de distribucion de vectores aleatorios, es deinteres presentar caracterısticas de los mismos. Los Teoremas 2 y 3 ilustran dichascaracterısticas. Por ejemplo, como identificar si una funcion es en efecto funcionde distribucion conjunta acumulada en el caso bivariado. La demostracion de estosresultados puede consultarse en [4].

Teorema 2. Sea X = (X, Y ) un vector aleatorio 2−dimensional. La funcion dedistribucion conjunta acumulada F de las variables aleatorias X, Y tiene las siguientespropiedades:

1.∆baF := F (b1, b2) + F (a1, a2)− F (a1, b2)− F (b1, a2) ≥ 0

donde a = (a1, a2) , b = (b1, b2) ∈ R2 con a1 ≤ b1 y a2 ≤ b2.

2.lımxx0

F (x, y) = F (x0, y) (1.1)

3.lımyy0

F (x, y) = F (x, y0) (1.2)

4.lım

x→−∞F (x, y) = 0

ylım

y→−∞F (x, y) = 0

5.lım

(x,y)→(∞,∞)F (x, y) = 1

Teorema 3. Sea X = (X1, X2, · · · , Xn) un vector aleatorio n−dimensional. La fun-cion de distribucion conjunta acumulada F de las variables aleatorias X1, X2, · · · , Xn

tiene las siguientes propiedades:

1. ∆baF ≥ 0 para todo a = (a1, · · · , an) , b = (b1, · · · , bn) ∈ Rn con a ≤ b, donde:

∆baF :=

∑(ε1,···εn)∈0,1n

(−1)(∑n

i=1 εi) F (ε1a1 + (1− ε1) b1, · · · , εnan + (1− εn) bn) .

2. F es continua a derecha en cada componente.

3. Para todo a1, · · · , ai−1, ai+1, · · · , an ∈ R con i = 1, · · · , n, tenemos:

lımx−∞

F

a1, · · · , ai−1, x︸︷︷︸i-esima posicion

, ai+1, · · · , an

= 0


4.lım

(x1,x2,···xn)→(∞,∞,··· ,∞)F (x1, x2, · · ·xn) = 1

Definicion 5. Sean X1, X2, · · · , Xn n variables aleatorias de valor real definidassobre el mismo espacio de probabilidad. Se dice que las variables aleatorias sonconjuntamente continuas, si existe una funcion integrable f : Rn → [0,+∞) tal quepara todo conjunto de Borel C de Rn

P ((X1, X2, · · · , Xn) ∈ C) =

∫· · ·∫

C

f (x1, x2, · · · , xn) dx1dx2 · · · dxn.

La funcion f es llamada la funcion de densidad de probabilidad conjunta de lasvariables aleatorias X1, X2, · · ·Xn.

Nota 2. Es costumbre notar fdp a la funcion de densidad de probabilidad.

Los teoremas siguientes exhiben dos relaciones notables el Teorema 4 establece comodado un vector aleatorio 2−dimensional y su funcion de distribucion conjunta sepuede encontrar la funcion de densidad de probabilidad conjunta en las regiones enque esta sea continua. La demostracion de este hecho se puede encontrar en [4].

Teorema 4. Sean X y Y variables aleatorias continuas con funcion de distribucionconjunta F. Entonces, la funcion de densidad de probabilidad conjunta f es:

f (x, y) =∂2F (x, y)

∂x∂y=∂2F (x, y)

∂y∂x

para todos los puntos (x, y) donde f (x, y) es continua.

Algunas veces dado un conjunto de variables aleatorias, se esta interesado en conocerla funcion de densidad de una variable en particular. El teorema siguiente establecelos elementos que se deben conocer para llevar a buen fin esta tarea.

Teorema 5. Si X1, X2, · · · , Xn son n variables aleatorias de valor real, teniendo f(funcion de densidad de probabilidad conjunta), entonces

fXj(x) =

∫ ∞−∞· · ·∫ ∞−∞

f (x1, · · · , xj−1, x, xj+1, · · · , xn) dx1 · · · dxj−1dxj+1 · · · dxn

es la funcion de densidad de la variable aleatoria Xj para j = 1, 2, · · · , n.

La Definicion 6 y 8 son indispensables para formar la sucesion de Gibbs.

Definicion 6. Sean X y Y dos variables aleatorias discretas. La funcion de probabi-lidad condicional de X dado Y = y se define como

pX|Y (x|y) := P (X = x|Y = y) =P (X = x, Y = y)

P (Y = y).


Para todo y para el cual P (Y = y) > 0.Definicion 7. La funcion de distribucion condicional de X dado Y = y se definecomo:

FX|Y (x|y) := P (X ≤ x|Y = y) =∑k≤x

pX|Y (k|y) .

Para todo y para el cual P (Y = y) > 0.

La Definicion 8 caracteriza la relacion entre la funcion de densidad de una variablealeatoria y la funcion de densidad de probabilidad conjunta, llamaremos a esta lafuncion de probabilidad condicional. En la Definicion 6 se presento para el casodiscreto.

Definicion 8. Sean X y Y variables aleatorias continuas con funcion de densidadde probabilidad conjunta f. La funcion de densidad de probabilidad condicional de Xdado Y = y se define como

fX|Y (x|y) :=f (x, y)

fY (y)

para todo y con fY (y) > 0.

Definicion 9. La funcion de distribucion condicional de X dado Y = y se definecomo

FX|Y (x|y) := P (X ≤ x|Y = y) =

∫ x

−∞fX|Y (t|y) dt

Para todo y con fY (y) > 0.

1.2. La prueba Ji-cuadrado

Uno de los objetivos del presente trabajo es exponer al muestreador de Gibbs comoun metodo optimo para estimar la distribucion marginal de una variable aleatoria. Esası que con los valores obtenidos mediante la sucesion de Gibbs, se quiere presentarque su comportamiento se asemeja a la distribucion teorica. En [5] utilizan lasgraficas para mostrar esto, nosotros ademas lo presentamos por medio de la pruebaji-cuadrado implementada en R.

El test ji-cuadrado es un estadıstico de prueba formulado en 1990 por Karl Pearson.En este supone que desconocemos la distribucion de probabilidad y la hipotesis nulaes que dicha distribucion es alguna conocida. Para determinar si la hipotesis se aceptao rechaza se emplea una muestra. El estadıstico de prueba es

X2 =k∑i=1

[ni − npi]2

npi

Donde n es el tamano de la muestra y npi son lo valores medios teoricos. Un hechoque es conocido en estadıstica pero no es presentado aquı, pues su tratamiento escapa


de los objetivos del trabajo es que la distribucion del estadıstico X2 es un distribucionχ2 con k − 1 grados de libertad, cuando la hipotesis nula es cierta.

CAPITULO 2

Cadenas de Markov

Debido a la naturaleza Markoviana de la iteracion del muestreador de Gibbs sehace indispensable estudiar las cadenas de Markov que es el proposito del presentecapıtulo, para hacerlo se ha decidido seguir muy de cerca el texto [8].

Las cadenas Markov datan su aparicion entre 1905 a 1907 y se deben al matematicoruso Andrey Markov considerado por esto como precursor de los procesos estocasticos.El estudio de cadenas de Markov se extendio ampliamente en las primeras decadasdel siglo XX debido en gran parte a que muchos fenomenos fısicos, financieros ysociales encontraban su representacion en este tipo de modelo.

Definicion 10. Una cadena de Markov es un proceso estocastico a tiempo discretoXn : n = 0, 1, . . . , con espacio de estados discreto, y que satisface la propiedad deMarkov, esto es, para cualquier entero n ≥ 0, y para cualesquiera estados x0, . . . , xn+1,se cumple

p (xn+1|x0, . . . , xn) = p (xn+1|xn) (2.1)

La propiedad de Markov establece que la probabilidad condicional de un eventofuturo Xn+1 = k dado el estado presente Xn = i es independiente de cualquierevento en el pasado. Por otro lado dentro de la teorıa de las cadenas de Markovun concepto indispensable es la llamada probabilidad de transicion siendo estaP (Xn = k|Xn−1 = i) la probabilidad de que el proceso pase del estado i al estadok en un solo paso o unidad de tiempo, se suele denotar por pik. Ası mismo se diceque una cadena de Markov es homogenea o cadena de Markov con probabilidadestacionaria si la probabilidad de transicion es independiente del tiempo en el que seencuentre la cadena.

7

CAPITULO 2. CADENAS DE MARKOV 8

Definicion 11. Sea

P = (pij) =

p00 p01 p02 p03 · · ·p10 p11 p12 p13 · · ·p20 p21 p22 p23 · · ·p30 p31 p32 p33 · · ·...

......

...

(2.2)

La matriz para la cual sus elementos son las probabilidades de transicion entre losestados del proceso.

La matriz que se definio se conoce como matriz estocastica o matriz de probabilidad detransicion. La Proposicion 1 senala dos propiedades de esta matriz y su demostracionpuede ser consultada en [8].

Proposicion 1. La matriz de probabilidad de transicion P = (pij) satisface

1. pij ≥ 0

2.∞∑j=0

pij = 1 i = 0, 1, 2, 3, . . .

Definicion 12. Una distribucion inicial para una cadena de Markov con espacio deestados 0, 1, 2, 3, . . . es una distribucion de probabilidad sobre este conjunto.

La Proposicion 2 recibe su nombre gracias a dos matematicos de nacionalidadesdistintas pero apasionados por los procesos estocasticos, esto les permitio de maneraindependiente llegar a su formulacion; los matematicos aquı relacionados son SydneyChapman y Andrei Kolmogorov de nacionalidades inglesa y rusa respectivamente.

Proposicion 2. (Ecuacion de Chapman-Kolmogorov) Para cualesquiera en-teros m,n tales que 0 ≤ m ≤ n, y cualesquiera estados i y j se tiene que

pij(n) =∑k

pik(m)pkj(n−m). (2.3)

La demostracion de la Proposicion 2 requiere del teorema de probabilidad total yde la propiedad de Markov. La Proposicion 3 es un resultado de la Ecuacion deChapman-Kolmogorov y ambas demostraciones pueden ser consultadas en [8].

Proposicion 3. La probabilidad de transicion en n pasos. pij(n), esta dada por laentrada (i, j) de la n-esima potencia de la matriz P , es decir,

pij(n) = (P n)ij .


2.1. Comunicacion

La mayorıa de textos de procesos estocasticos, afirman que la comunicacion es unarelacion de equivalencia, la demostracion de este hecho se basa en la definicion depij (0) como la delta Kronecker, es decir,

pij (0) = δij =

0 si i 6= j

1 si i = j

y la ecuacion de Chapman Kolmogorov. Ası pues dada la relacion de estados que secomunican es posible descomponer las cadenas de Markov por los subconjuntos delespacio de estados que estan comunicados.

Definicion 13. Se dice que el estado j es accesible desde el estado i si existe unentero n ≥ 0 tal que pij (n) > 0, esto se escribe simplemente como i → j. Se diceademas que los estados i y j son comunicantes, y se escribe i↔ j, si se cumple quei→ j y j → i.

Se puede decir que una Cadena de Markov se dice irreducible cuando la relacionde comunicacion genera una unica clase de equivalencia o como se presenta en laDefinicion 14, ambas definiciones son equivalentes.

Definicion 14. Se dice que una cadena de Markov es irreducible si todos los estadosse comunican entre sı.

2.2. Periodo

Definicion 15. El periodo de un estado i es un numero entero no negativo denotadopor d (i), y definido como sigue:

d (i) = m.c.d. n ≥ 1 : pii (n) > 0 ,

en donde m.c.d. significa maximo comun divisor. Cuando pii (n) = 0 para toda n ≥ 1,se define d (i) = 0. En particular, se dice que un estado i es aperiodico si d (i) = 1.Cuando d (i) = k ≥ 2 se dice que i es periodico de periodo k.

Una cadena de Markov en la cual todos sus estados son aperiodicos es llamada unacadena de Markov aperiodica. El siguiente conjunto de Proposiciones 4, 5 y 6 sonalgunas propiedades del periodo. La Proposicion 4 se puede interpretar de diversasmaneras, por ejemplo, se puede decir que si dos estados estan comunicados entoncestendran el mismo periodo lo que sugiere que el periodo es una propiedad de clase.

Proposicion 4. Si los estados i y j pertenecen a la misma clase de comunicacion,entonces tienen el mismo periodo.


La Proposicion 5 afirma que para cada estado es posible retornar a este con multiploslo suficientemente grandes del periodo d(i).

Proposicion 5. Para cada estado i, existe un entero N tal que para toda n ≥ N, secumple pii (nd (i)) > 0.

La Proposicion 6 es un resultado de las Proposiciones 5 y 2.

Proposicion 6. Si pij (m) > 0 para algun entero m, entonces existe un entero Ntal que para toda n ≥ N se cumple pij (m+ nd (j)) > 0.

2.3. Primeras visitas

Esta seccion trata del tiempo de primera visita de un subconjunto del espaciode estados de una cadena de Markov. Existen diversas aplicaciones, por ejemplo,el tiempo de mantenimiento de cierta maquina, es decir, dado que la maquinafunciona correctamente en que periodo n de tiempo la maquina presentara undano y necesitara mantenimiento. Esta aplicacion sugiere que se puede relacionar laDefinicion 16 con la Definicion 17. Es decir, dado de que exista una primera visita alsubconjunto del espacio de estados A :=la maquina presenta averıa, con un unicoestado al que se puede llamar k y suponiendo que la cadena inicia en el estado j := lamaquina funciona correctamente. Entonces segun la Definicion 17 fij(n) representala probabilidad de que τij tome el valor n. La Proposicion 7 es una formula bastanteutil y la demostracion requiere de la ecuacion 2.1.

Definicion 16. Sea A un subconjunto del espacio de estados de una cadena deMarkov Xn : n ≥ 0 . El tiempo de primera visita al conjunto A es la variablealeatoria

τA =

mın n ≥ 1 : Xn ∈ A si Xn ∈ A para algun n ≥ 1,

∞ otro caso.

Definicion 17. Para cada n ≥ 1, el numero fij (n) denota la probabilidad de que unacadena que inicia en el estado i, llegue al estado j por primera vez en exactamente npasos, es decir,

fij (n) = P (Xn = j,Xn−1 6= j, . . . , X1 6= j|X0 = i) .

Adicionalmente se define fij (0) = 0, incluyendo el caso i = j.

Proposicion 7. Para cada n ≥ 1,

pij (n) =n∑k=1

fij (k) pij (n− k) .


2.4. Recurrencia y transitoriedad

En las secciones anteriores se han tratado las probabilidades de transicion de unestado a otro. El objetivo de esta seccion es presentar una clasificacion de los estadosde una cadena de Markov teniendo en cuenta su eventual probabilidad de regresar alestado dado que se partio del mismo estado.

Definicion 18. Se dice que un estado i es recurrente si la probabilidad de eventual-mente regresar a i, partiendo de i, es uno, es decir, si

P (Xn = i para alguna n ≥ 1|X0 = i) = 1

Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidadanterior es estrictamente menor a uno.

Definicion 19. Un estado i es recurrente si fii = 1, es decir, si la probabilidad deregresar a el en un tiempo finito es uno. Analogamente, un estado i es transitorio sifii < 1.

Proposicion 8. El estado i es:

1. recurrente si, y solo si∑∞

n=1 pii (n) =∞.

2. transitorio si, y solo si∑∞

n=1 pii (n) <∞.

La Proposicion 8 es empleada en algunos textos de procesos estocasticos como ladefinicion de estado recurrente y estado transitorio.

Proposicion 9. La recurrencia es una propiedad de clase, es decir,

1. Si i es recurrente e i↔ j, entonces j es recurrente.

2. Si i es transitorio e i↔ j, entonces j es transitorio.

Proposicion 10. Sea j un estado transitorio. Para cualquier estado inicial i, secumple que

∑∞n=1 pij (n) <∞. En consecuencia, lımn→∞ pij (n) = 0.

¿Se puede decir que todos los estados de una cadena de Markov finita son recurrentes?,de la Proposicion 11 se puede extraer respuesta.

Proposicion 11. Toda cadena de Markov finita tiene por lo menos un estadorecurrente.

Las pruebas de las Proposiciones 8, 9, 10 y 11, pueden ser consultadas en [8].


2.5. Tiempo medio de recurrencia

Definicion 20. El tiempo medio de recurrencia de un estado recurrente j, a partirdel estado i, se define como la esperanza de τij, y se denota por µij, es decir,

µij = E (τij) =∞∑n=1

nfij (n)

Notacion 1. Se denota τj al tiempo de primera visita cuando el estado de inicioy de llegada coinciden, para este caso µj denota el tiempo medio de recurrencia yrepresenta el promedio del numero de pasos que la cadena se toma en regresar alestado j que es recurrente.

2.6. Clases cerradas

En esta seccion se considera brevemente el concepto de clase cerrada como unacoleccion de estados no vacıa tales que para cualquier estado i que pertenezca a estacoleccion y cualquier j que no pertenezca se tiene que pij(n) = 0 para todo n ∈ N.

Definicion 21. Una coleccion de estados no vacıa C es cerrada si ningun estadofuera de C es accesible desde algun estado dentro de C , es decir, si para cualquieri ∈ C y j /∈ C , i9 j.

La Proposicion 12 establece una forma de caracterizar una clase de comunicacion vıacoleccion de estados que es cerrado e irreducible.

Proposicion 12. Toda coleccion de estados que es cerrada e irreducible es una clasede comunicacion.

2.7. Numero de visitas

Esta primera parte de la seccion concierne a definir una nueva variable aleatoria querepresenta el numero de visitas que una cadena de Markov hace sobre un estadoparticular para un tiempo finito n. La Proposicion 13 presenta algunas propiedadespara esta variable aleatoria su demostracion puede consultarse en [8].

Definicion 22. La variable aleatoria que registra el numero de visitas que una cadenarealiza sobre un estado j a partir del estado i, para cualquier tiempo finito n se definepor:

Nij (n) =n∑k=1

1Xk=j.


Cuando X0 = i.Notacion 2. Se acostumbra a denotar Ni(n) cuando los estados j e i coinciden.Proposicion 13. Para cualesquiera estados i y j,

1.

P (Nij ≥ k) =

1 si k = 0,

fij (fjj)k−1 si k ≥ 1.

2.

P (Nij = k) =

1− fij si k = 0,

fij (fjj)k−1 (1− fjj) si k ≥ 1.

3.

E (Nij) =∞∑n=1

pij (n) =

0 si fij = 0,fij

1−fjj si 0 ≤ fjj < 1,

∞ si fij 6= 0 y fjj = 1.

4.

P (Nij =∞) =

0 si j es transitorio,

fij si j es recurrente.

5.

P (Nij <∞) =

1 si j es transitorio,

1− fij si j es recurrente.

La siguiente definicion permite extender la propiedad de Markov a la Proposicion 14.

Definicion 23. Una variable aleatoria τ : Ω→ 0, 1, . . .∞ es un tiempo de parorespecto del proceso estocastico indicado si para cada entero n ≥ 0, el evento (τ = n)depende unicamente de X0, X1, . . . , Xn.

La propiedad fuerte de Markov establece que una cadena de Markov es invariante sies observada a partir de un tiempo aleatorio τ . La demostracion de la Proposicion14 se divide en dos partes verificar que las probabilidades de transicion siguen siendoestacionarias y que se satisface la ecuacion 2.4.

Proposicion 14. (Propiedad fuerte de Markov) Sea Xn : n ≥ 0 una cadenade Markov y sea τ un tiempo de paro respecto de este proceso. Condicionado alevento (τ <∞) , el proceso Xτ+n : n ≥ 0 es una cadena de Markov, es decir, laprobabilidad

P (Xτ+n+1 = j|X0 = x0, . . . , Xτ+n−1 = xn−1, Xτ+n = i) (2.4)

Es igual a P (Xτ+n+1 = j|Xτ+n = i)


Para finalizar esta seccion se presenta el teorema ergodico para cadenas de Markovjunto con un corolario. El teorema ergodico proporciona el comportamiento lımitedel promedio temporal del numero de vistas a un estado de una cadena de Markov,tanto el teorema ergodico como su corolario hacen parte de los teoremas lımites paracadenas de Markov. La demostracion de estos resultados puede ser consultada en [8].

Teorema 6. (Teorema ergodico para cadenas de Markov) Para cualesquieraestados i y j de una cadena de Markov irreducible se cumple que

lımn→∞

Nij (n)

n=

1

µjc.s. (2.5)

siendo este lımite cero cuando µj =∞.

Notacion 3. c.s.:= casi seguramente.

Corolario 1. Si una cadena es irreducible y recurrente, entonces

lımn→∞

1

n

n∑k=1

Pij (k) =1

µj

2.8. Recurrencia positiva y nula

En la Seccion 2.4 se presento una primera division para toda cadena de Markov porsu espacio de estados en dos subconjuntos disjuntos a saber recurrentes y transitorios.El objetivo de esta seccion es realizar una nueva division del espacio de estadosempleando la Definicion 20 y responder la pregunta ¿Existen estados recurrentesnulos en Cadenas de Markov finitas? Para lo cual es conveniente ver la Proposicion16.

Definicion 24. Se dice que un estado recurrente i es:

1. recurrente positivo si µi <∞.

2. recurrente nulo si µi =∞.

Proposicion 15. Sea i un estado recurrente. Entonces,

1. si i es recurrente positivo e i↔ j, entonces j es recurrente positivo.

2. si i es recurrente nulo e i↔ j, entonces j es recurrente nulo.

Proposicion 16. No existen estados recurrentes nulos en cadenas de Markov finitas.


2.9. Evolucion de distribuciones

Esta seccion es una adaptacion de [8] de la seccion del mismo nombre. El proposito esdescribir como se puede obtener una sucesion infinita de distribuciones de probabilidadteniendo como partida un espacio de estados finito 0, 1, . . . , n , una distribucioninicial π0 = (π0

0, π01, . . . , π

0n) . y una matriz de probabilidad de transicion en un

paso. La cadena se encuentre en alguno de sus posibles estados de acuerdo a ladistribucion π1 = (π1

0, π11, . . . , π

1n) , una vez pasada la primera unidad de tiempo, para

esta distribucion la j−esima entrada de este vector es

π1j = P (X1 = j)

=n∑i=0

P (X1 = j|X0 = i)P (X0 = i)

=n∑i=0

π0i pij

Esto evidencia que mediante la multiplicacion π1 = π0P, se puede obtener el vectorπ1 vıa el vector π0 y la matriz de probabilidades de transicion P , es decir

(π1

0, π11, . . . , π

1n

)=(π0

0, π01, . . . , π

0n

)p00 · · · p0n...

...pn0 · · · pnn

De manera analoga se puede obtener el vector π2 mediante π2 = π1P = π0P 2, si secontinuara con este procedimiento, se llegarıa que para m ≥ 1,

πm = πm−1P = π0Pm (2.6)

Ası se obtendrıa sucesion infinita de distribuciones de probabilidad π0, π1, π2, . . . ,en donde a excepcion de la primera, todas se obtuvieron de su inmediata anteriormultiplicando a derecha por la matriz de probabilidades de transicion en un paso.

2.10. Distribuciones estacionarias

Definicion 25. Una distribucion de probabilidad π = (π0, π1, . . .) es estacionaria oinvariante para una cadena de Markov con matriz de probabilidades de transicionP = (pij) si

πj =∑i

πipij.

Al igual que sucede en algebra lineal donde un sistema de ecuaciones lineales puedetener infinitas soluciones o unica solucion o no existir solucion una distribucion


estacionaria para una cadena de Markov puede tambien presentarse de manera unica,multiple o no existir. En libros de procesos estocasticos pueden encontrarse un buennumero de ejemplos.

Por lo dicho anteriormente es optimo enunciar una definicion alterna de distribucionestacionaria a saber: una distribucion de probabilidad π = (π0, π1, . . .) es estacionariao invariante para una cadena de Markov con matriz de probabilidades de transicionP = (pij) si,

π = πP. (2.7)

Producto de esta definicion alterna se facilita obtener algunos resultados, por ejemplo,si se tuviera una matriz de transicion P para una cadena de Markov y se quisieraconseguir una probable distribucion estacionaria se podrıa resolver el sistema deecuaciones π = πP con la condicion

∑j πj = 1. una interesante propiedad matematica

de las distribuciones estacionaria es que forma un conjunto convexo.

Se conoce como distribucion estacionaria debido a la propiedad de ser invariante porel paso del tiempo, esto es una consecuencia de la ecuacion 2.7 y se enuncia como:una distribucion π estacionaria satisface que para todo m ∈ N se tiene que π = πPm.

Es preciso destacar que aunque el vector nulo o vector de ceros cumple la ecuacion2.7 este no es una distribucion de probabilidad.

Proposicion 17. (Soporte de una distribucion estacionaria) Sea π unadistribucion estacionaria para una cadena de Markov. Si j es un estado transitorio orecurrente nulo, entonces πj = 0.

La demostracion de las Proposiciones 17 y 18 pueden ser consultadas en [8]. Laimportancia de la Proposicion 18 es que concibe una formula de la distribucionestacionaria para una cadena de Markov irreducible y recurrente positiva, tomandoel inverso del tiempo medio de recurrencia para el correspondiente estado. Comotambien establece que toda cadena finita e irreducible tiene una unica distribucionestacionaria.

Proposicion 18. (Existencia y unicidad de la distribucion estacionaria)Toda cadena de Markov que es irreducible y recurrente positiva tiene una unicadistribucion estacionaria dada por

πj =1

µj> 0,

en donde µj es el tiempo medio de recurrencia del estado j. En particular, todacadena finita e irreducible tiene una unica distribucion estacionaria.


2.11. Distribuciones lımite

Definicion 26. Considere una cadena de Markov con matriz de probabiliades detransicion P = (pij) y distribucion inicial π0. Se le llama distribucion lımite de estacadena al vector

π = lımn→∞

π0P n = lımn→∞

∑i

π0i pij(n)

La definicion de distribucion lımite para una cadena de Markov establece que esta sedetermina por el lımite de las potencia de P y por tanto no depende de la distribucioninicial. Ademas es una distribucion estacionaria.

No siempre una distribucion estacionaria es una distribucion lımite, es naturalentonces preguntarse que condiciones debe satisfacer una distribucion lımite paraser estacionaria, para responder esta pregunta se presenta la Proposicion 19 que esvalida tanto para espacios finitos como infinitos.

Observese tambien que la Proposicion 19 no hace la salvedad en que los lımitespuedan ser todos nulos pero finaliza recalcando que se obtiene una distribucion deprobabilidad verdadera cuando el espacio de estados es finito. La importancia deeste argumento es que existen vectores que satisfacen la Definicion 26 pero no sondistribuciones de probabilidad.

Proposicion 19. Considere una cadena de Markov con probabilidades de transicionpij tales que los lımites πj = lımn→∞ pij (n) existen para cada j, y no dependen delestado i. Entonces

1. ∑j

πj ≤ 1.

2.πj =

∑i

πipij.

Cuando el espacio de estados es finito se cumple la igualdad en el primer resultadoobteniendose una distribucion de probabilidad verdadera.

La Proposicion 20 amplia el conocimiento de la distribucion lımite pues enunciaque condiciones se deben tener para la existencia de los lımites de probabilidad. Suelepensarse debido a la condicion 3 que la Proposicion 20 aparenta ser un reciproco dela Proposicion 19.

Proposicion 20. (Convergencia a la distribucion estacionaria) Considereuna cadena de Markov que es:

1. irreducible,

2. aperiodica, y


3. con distribucion estacionaria π

entonces para cualesquiera estados i y j, lımn→∞ pij (n) = πj.

La Proposicion 21 juega un papel importante dentro de las cadenas de Markov, puesestablece las condiciones para la existencia de probabilidades limite y suministraademas una forma explıcita para hallarlas. Por otro lado es un argumento querelaciona una buena cantidad de elementos matematicos de las cadenas de Markovy fruto de esto su demostracion es bastante corta. La prueba de las proposicionespresentadas en esta seccion puede consultarse en [8].

Proposicion 21. (Convergencia para cadenas de Markov) Considere unacadena de Markov que es:

1. irreducible,

2. recurrente positiva, y

3. aperiodica.

Entonces las probabilidades lımite πj = lımn→∞ pij (n) existen, estan dadas porπj = 1/µj, y constituyen la unica solucion al sistema de ecuaciones

πj =∑i

πipij (2.8)

sujeto a las condiciones πj ≥ 0, y∑

j πj = 1.

2.12. Cadenas regulares

Existen cadenas de Markov para las cuales alguna potencia n de la correspondientematriz de transicion tiene todos sus elementos no nulos, es decir, P n es una matrizcon todas sus entrada mayores que cero para algun n ∈ N. A este tipo de cadenasde Markov se le conocen como cadenas regulares; un metodo no muy eficiente paraconocer si una cadena es regular consiste en calcular las potencias de la matriz detransicion asociada a la cadena hasta encontrar un n tal que P n tenga todas susentradas estrictamente positivas.

La Proposicion 22 es equivalente a la Definicion 27. La Proposicion 23 enuncia elcomportamiento lımite de algunas cadenas finitas.

Definicion 27. Se dice que una cadena finita o su matriz de probabilidades detransicion es regular si existe un natural n tal que pij (n) > 0, para cualesquieraestados i y j.

Proposicion 22. Una matriz estocastica es regular si, y solo si, es finita, irreducibley aperiodica.


Proposicion 23. Toda cadena finita que ademas es:

1. regular, tiene como distribucion lımite la unica solucion no negativa del sistemade ecuaciones 2.8.

2. regular y doblemente estocastica, tiene como distribucion lımite la distribucionuniforme.

3. irreducible, aperiodica y doblemente estocastica, tiene como distribucion lımitela distribucion uniforme.

2.13. Cadenas reversibles

Se cierra este capıtulo con un muy breve estudio de un tipo particular de cadenasirreducibles conocidas como cadenas reversibles. La condicion de reversibilidad sueledescribirse afirmando que para cualesquiera dos estados j e i de una cadena deMarkov la tasa de transicion de i a j coincide con la tasa de transicion de j a i. LaProposicion 24 describe como caracterizar una cadena de Markov reversible para lacual exista una distribucion que satisfaga la identidad 2.9.

Definicion 28. Se dice que una cadena de Markov irreducible con probabilidadesde transicion pij y con distribucion estacionaria π es reversible en el tiempo si paracualesquiera estados i y j,

πipij = πjpji. (2.9)

Proposicion 24. Considere una cadena irreducible para la cual existe una distribu-cion π que cumple la identidad 2.9. Entonces π es una distribucion estacionaria y lacadena es reversible.

CAPITULO 3

Muestreador de Gibbs

El muestreador de Gibbs es uno de los algoritmos markovianos, estos son conocidoscomo metodos MCMC (proviene del ingles Monte Carlo Markov Chain). Los cuales sebasan en emplear el metodo de Monte Carlo vıa cadenas de Markov. A continuacion,presentaremos un muy breve desarrollo historico de los metodos MCMC. Para esto,es conveniente iniciar por el metodo de Montecarlo, ya que como se ha dicho es laraız de los algoritmos MCMC. El metodo de Montecarlo surge entre 1944 y 1946, sudescubrimiento lo comparten los matematicos Stanislaw Ulam y John von Neumann.Es preciso destacar que la idea original del metodo se debe a Ulam, pero es Neumannquien realiza mejoras y un aporte significativo para que el metodo de Monte Carlose hubiese implementado en 1948, para obtener los valores singulares de la ecuacionde Schrodinger aunque tambien se recibio aportes del fısico Enrico Fermi.

Mas tarde, en 1953 el fısico-matematico Nicholas Constantine Metropolis propone elprimer algoritmo que lleva su nombre, para generar muestras de la distribucion deBoltzmann. Dicho algoritmo es generalizado en 1970 por el estadıstico canadienseW.K. Hastings

Vale la pena senalar, la estrecha relacion que ha existido entre la fısica y los algoritmosMCMC. Del cual el muestreador de Gibbs no es la excepcion, pues surge en elcampo de la fısica estadıstica con el proposito de poder simular campos aleatoriosmarkovianos, en especial los campos aleatorios de Gibbs.

El muestreador de Gibbs fue propuesto en 1984 por los hermanos y matematicosStuart Alan Geman y Donald Jay Geman en el paper “Stochastic Relaxation, GibbsDistribution, and the Bayesian Restoration of Images”. Pero, es hasta en 1990con la publicacion de Alan E. Gelfan y Adrian F.M. Smith de “Sampling-BasedApproaches to Calculating Marginal Densities ”y por sus conferencias impartidas queel muestreador de Gibbs se considera como una revelacion en estadıstica. Ademasdebido a los recientes avances de la computacion el muestreador de Gibbs se aplicaampliamente en campos como las finanzas, la economıa y la biologıa entre otros.

20

CAPITULO 3. MUESTREADOR DE GIBBS 21

3.1. Algoritmo del muestreador de Gibbs para el

caso bivariado

Esta seccion es un primer acercamiento a la mecanica del muestreador de Gibbs. Puesaquı se presenta un algoritmo para implementarlo en el caso bivariado. El objetivode dicho algoritmo es que el lector comprenda como surge la sucesion de Gibbs parael caso que estamos considerando y que observe tambien, el mecanismo sencillo quedescribe al muestreador de Gibbs.

Algoritmo 1.

Entrada: • Distribuciones condicionales, fX|Y (x | y) y fY |X (y | x) .

• Numero maximo de iteraciones k.

• Valor inicial de Y′

0 = y′0.

Salida: Sucesion de Gibbs

Paso 1. Sea i = 0, Y′

0 = y′0.

Paso 2. Mientras i+ 1 ≤ k realizar pasos 3 y 4.

Paso 3. Obtener X′i mediante f(x | Y ′i = y

′i).

Paso 4. Obtener Y′i+1 mediante f(y | X ′i = x

′i).

• Salida(X′i , Y

′i+1

)(Algoritmo culminado satisfactoriamente).

• PARAR.

Paso 5. Salida (Se pidio la implementacion del metodo como maximo para kiteraciones).

• PARAR.

Los valoresY′

0 , X′

0, Y′

1 , X′

1, Y′

2 , X′

2, . . . , Y′

k , X′

k, (3.1)

obtenidos al aplicar el Algoritmo 1 se conocen como “Sucesion de Gibbs”.

El exito del muestreador de Gibss se basa en que haciendo k lo suficientementegrande, la observacion de X

′

k = x′

k es un punto muestral de f(x), es decir, cuandok →∞ la distribucion de X

′

k → f(x) la verdadera marginal de X.

3.2. Ilustrando el muestreador de Gibss

Ahora ya familiarizados con el muestreador de Gibbs podemos implementarlo. Estaseccion lo hace, su objetivo es comparar los resultados obtenidos mediante metodosanalıticos y el muestreador de Gibbs. Para esto se consideran dos distribuciones con-juntas, a saber, las que establecen las ecuaciones 3.6 y 3.9. Para dichas distribuciones


se encuentra por medios analıticos sus distribuciones marginales y condicionales.Luego se emplea el muestreador de Gibbs para simular la distribucion marginal deX, para las distribuciones en 3.6 y 3.9. Por ultimo se comparan los histogramasentre la distribucion teorica y la simulada. Esto se desarrolla en la subsecciones3.2.2 y 3.2.3. Pues en la primera se quiso realizar una introduccion a la distribucionmarginal que se simulara mediante Gibbs en la subseccion 3.2.2. Ademas, porquedicha distribucion es frecuente en la estadıstica Bayesiana y se presenta una formapara obtenerla con metodos de estadıstica clasica.

3.2.1. Distribucion Beta-binomial

En estadıstica clasica los parametros de una distribucion son siempre constantes.Ahora bien, en estadıstica Bayesiana se consideran distribuciones cuyos parametrosno son constantes sino aleatorios. Un ejemplo, de tal situacion es la familia dedistribuciones discretas de probabilidad conocida como Beta-binomial. Esta se obtieneconsiderando que la probabilidad de exito p, en una distribucion Bin(n, p), por cadaensayo no es fija sino que se distribuye Beta(α, β) .Notacion 4. La funcion Beta es,

B (α, β) =

∫ 1

0

yα−1 (1− y)β−1 dy.

La notaremos por B (α, β) .

3.2.1.1. Distribucion Beta-binomial como distribucion compuesta

Sea X una variable aleatoria con parametro P que se distribuye Beta(α, β). Sabemosque,

pX|P (x | p) =

(n

x

)pk (1− p)n−x , (3.2)

entonces

f (p, x) = pX|P (x | p) =

(n

x

)px (1− p)n−x p

α−1 (1− p)β−1

B (α, β). (3.3)


Ası que la distribucion compuesta esta dada por,

pX (x) =

∫ 1

0

(n

x

)px (1− p)n−x p

α−1 (1− p)β−1

B (α, β)dp

=

(n

x

)1

B (α, β)

∫ 1

0

px (1− p)n−x pα−1 (1− p)β−1 dp

=

(n

x

)1

B (α, β)

∫ 1

0

B (x+ α, n− x+ β)px+α−1 (1− p)n−x+β−1

B (x+ α, n− x+ β)dp

=

(n

x

)B (x+ α, n− x+ β)

B (α, β).

(3.4)

Empleando la identidad B (α, β) = Γ(α)Γ(β)Γ(α+β)

, se puede reescribir la ecuacion 3.4 comosigue,

pX (x) =

(n

x

)B (x+ α, n− x+ β)

B (α, β)

=

(n

x

) Γ(x+α)Γ(n−x+β)Γ(n+α+β)

Γ(α)Γ(β)Γ(α+β)

=

(n

x

)Γ (α + β) Γ (x+ α) Γ (n− x+ β)

Γ (α) Γ (β) Γ (α + β + n)

(3.5)

la ecuacion 3.5, corresponde a la funcion de probabilidad de la distribucion beta-binomial.

3.2.2. Aplicando el Muestreador de Gibbs

Se busca exponer que el muestreador de Gibbs es un metodo optimo. Por ejemplo,para generar una muy buena aproximacion a la densidad marginal f(x) de unadistribucion conjunta f(x, y). Dicho lo anterior, dada una funcion de distribucionconjunta se obtendra de manera analıtica y haciendo uso del muesteador de Gibbs ladistribucion marginal para una variable aleatoria distribuida beta-binomial.

A continuacion, se presenta el desarrollo analıtico para las variables aleatorias X yY con funcion de probabilidad conjunta dada por:

fX,Y (x, y) =

(n

x

)Γ (α + β)

Γ (α) Γ (β)yx+α−1 (1− y)n−x+β−1 x = 0, 1, 2, 3, . . . , n 0 ≤ y ≤ 1.

(3.6)


Con respecto a 3.6, es posible encontrar las distribuciones fX (x) , fY (y) , fX|Y (x, y)y fY |X (y|x) como sigue

fX(x) =

∫ 1

0

(n

x

)Γ (α + β)

Γ (α) Γ (β)yx+α−1 (1− y)n−x+β−1 dy

=

(n

x

)Γ (α + β)

Γ (α) Γ (β)

∫ 1

0

yx+α−1 (1− y)n−x+β−1 dy

=

(n

x

)Γ (α + β)

Γ (α) Γ (β)

Γ (x+ α) Γ (n− x+ β)

Γ (α + n+ β).

(3.7)

Ası que fX(x) es beta-binomial de parametros n, α y β. A continuacion,

fY (y) =n∑x=0

(n

x

)Γ (α + β)

Γ (α) Γ (β)yx+α−1 (1− y)n−x+β−1

=Γ (α + β)

Γ (α) Γ (β)yα−1 (1− y)β−1

n∑x=0

(n

x

)yx (1− y)n−x

=Γ (α + β)

Γ (α) Γ (β)yα−1 (1− y)β−1 .

Es decir, fY (y) es Beta (α, β) . Luego,

fY |X(y | x) =

(nx

) Γ(α+β)Γ(α)Γ(β)

yx+α−1 (1− y)n−x+β−1(nx


Γ(x+α)Γ(n−x+β)Γ(α+n+β)

=Γ (α + n+ β)

Γ (x+ α) Γ (n− x+ β)yx+α−1 (1− y)n−x+β−1

=

(Γ (x+ α) Γ (n− x+ β)

Γ (n+ α + β)

)−1

yx+α−1 (1− y)n−x+β−1

=1

B (x+ α, n− x+ β)yx+α−1 (1− y)n−x+β−1 ,

donde se hizo uso de B (α, β) = Γ(α)Γ(β)Γ(α+β)

, para obtener que fY |X(y | x) es Beta(x +

α, n− x+ β). Por ultimo,

fX|Y (x | y) =

(nx


yx+α−1 (1− y)n−x+β−1

Γ(α+β)Γ(α)Γ(β)

yα−1 (1− y)β−1

=

(n

x

)yx (1− y)n−x ,

es decir fX|Y (x | y) es Binomial(n, y).

Hemos realizado una simulacion en R con k = 100000 iteraciones, de valor inicial Y′

0 =0.4, para la distribucion marginal de X de la distribucion conjunta 3.6, implementandoel muestreador de Gibbs. Esto con el fin de contrastar los resultados analıticos y el


muestreador de Gibbs. Ahora, el lector puede apreciar el objetivo de haber encontradopor metodos analıticos la ecuacion 3.7. Pues esta indica que la distribucion marginalde X es beta-binomial y que la grafica producida por la marginal simulada se debeparecer al comportamiento de dicha distribucion. En efecto, esto lo muestra lafigura 3.1, donde el histograma de color azul representa el obtenido empleando elmuestreador de Gibbs y el de color rojo se obtuvo directamente de la distribucionbeta-binomial con parametros n = 10, α = 2 y β = 5. El lector puede apreciartambien que ambos histogramas son similares, hecho que evidencia lo eficaz delmuestreador de Gibss.

Figura 3.1. Comparacion de histogramas

Hemos tambien querido implementar la prueba ji-cuadrado. Con el fin de compararlos valores obtenidos mediante la sucesion de Gibbs y los teoricos. El tamano de lamuestra es 100000, se construyeron k = 11 celdas. La hipotesis nula es H0 : Los datosprovienen de una distribucion Beta-binomial con parametros n = 10, α = 2 y β = 5.La hipotesis alterna es H1: Los datos no provienen de una distribucion Beta-binomialcon parametros n = 10, α = 2 y β = 5. Con el codigo 3.4 se obtuvo un p-valor de1 y un valor χ2 de 0.0001129436 dado que este es menor que χ2

0.05 = 18.3070 para10 grados de libertad. Se acepta H0, es decir, no hay evidencia para decir que estosdatos no provienen de una distribucion Beta-binomial con parametros n = 10, α = 2y β = 5.

Tambien se ha simulado la distribucion beta-binomial con el muestreador de Gibbs,con el animo de observar que para valores pequenos la distribucion simulada se asemejarapidamente a la teorica. La figura 3.2 permite apreciar esto. Los histogramas enazul y verde representan la distribucion simuladas empleando Gibbs con k = 1000 yk = 10000 respectivamente y el histograma de color rojo la distribucion teorica, esdecir, la distribucion beta-binomial con parametros n = 10, α = 2 y β = 5.


Figura 3.2. Comparando el muestreador de Gibbs.

3.2.3. Distribucion trinomial

La distribucion trinomial es un caso particular de la distribucion multinomial, quees la analoga de la distribucion binomial en el caso multivariado. La distribuciontrinomial cuantifica la probabilidad de que en n ensayos independientes se obtengaprecisamente xi veces un evento Ei, donde i = 1, 2, 3. Con la condicion de que enun unico ensayo se obtenga uno de los Ei, Ademas, pi denota la correspondienteprobabilidad. La distribucion trinomial tiene funcion de probabilidad dada por

f(x1, x2, x3;n, p1, p2, p3) =

n!

x1!x2!x3!px11 p

x22 p

x33 si

∑3i=1 xi = n,

0 en otro caso.(3.8)

Tambien 3.8 satisface∑3

i=1 pi = 1, de donde se sigue que p3 = 1− p1 − p2. Por otrolado x3 = n− x1 − x2. Ası que reemplazando estos valores en 3.8, se logra suprimirla dependencia de x3 y p3, es decir, podemos reescribir 3.8 como sige,

f(x1, x2;n, p1, p2) =n!

x1!x2! (n− x1 − x2)!px11 p

x22 (1− p1 − p2)n−x1−x2 . (3.9)

Encontremos ahora la distribucion marginal de X1 y X2.

fX1(x1) =

n−x1∑x2=0

n!

x1!x2! (n− x1 − x2)!px11 p

x22 (1− p1 − p2)n−x1−x2

=px11

x1!

n−x1∑x2=0

n!

x2! (n− x1 − x2)!px22 (1− p1 − p2)n−x1−x2

(3.10)

antes de realizar el siguiente paso observe que x1 + x2 + x3 = n, de donde n ≥ x1,ası que

n! = (1)(2)(3) · · · (n− x1)︸︷︷︸(n−x1)!

(n− x1 + 1)(n− x1 + 2) · · · (n)


regresando a 3.10

=px11

x1!(n− x1 + 1)(n− x1 + 1) · · · (n)

n−x1∑x2=0

(n− x1)!

x2! (n− x1 − x2)!px22 (1− p1 − p2)n−x1−x2

=px11

x1!(n− x1 + 1) · · · (n)

n−x1∑x2=0

(n− x1

x2

)px22 (1− p1 − p2)n−x1−x2

=px11

x1!

(n− x1)!(n− x1 + 1) · · · (n)

(n− x1)!(p2 + (1− p1 − p2))n−x1

=n!

x1! (n− x1)!px11 (1− p1)n−x1

=

(n

x1

)px11 (1− p1)n−x1 .

(3.11)

Es ası que fX1(x1) es Binomial(n, p1). En seguida para fX2(x2), se tiene que

fX2(x2) =

n−x2∑x1=0

n!

x1!x2! (n− x1 − x2)!px11 p

x22 (1− p1 − p2)n−x1−x2

=px22 n!

x2!

n−x2∑x1=0

(n− x2)!

(n− x2)!x1!(n− x2 − x1)!px11 (1− p1 − p2)n−x1−x2

=px22 n!

(n− x2)!x2!

n−x2∑x1=0

(n− x2)!

x1!(n− x2 − x1)!px11 (1− p1 − p2)n−x2−x1

=

(n

x2

)px22

n−x2∑x1=0

(n− x2

x1

)px11 (1− p1 − p2)n−x2−x1

=

(n

x2

)px22 (p1 + (1− p1 − p2))n−x2

=

(n

x2

)px22 (1− p2)n−x2 .

De donde fX2(x2) es Binomial(n, p2). Encontremos a continuacion la distribucioncondicional, fX1|X2(x1 | x2),


fX1|X2(x1 | x2) =

n!x1!x2!(n−x1−x2)!

px11 px22 (1− p1 − p2)n−x1−x2

n!x2!(n−x2)!

px22 (1− p2)n−x2

=n!x2! (n− x2)!

n!x1!x2! (n− x1 − x2)!

px22

px22

px11 (1− p1 − p2)n−x1−x2

(1− p2)n−x2(1− p2)x1

(1− p2)x1

=(n− x2)!

x1! (n− x2 − x1!)

px11

(1− p2)x1(1− p1 − p2)n−x1−x2

(1− p2)−x1 (1− p2)n−x2

=

(n− x2

x1

)(p1

1− p2

)x1 (1− p1 − p2

1− p2

)n−x2−x1=

(n− x2

x1

)(p1

1− p2

)x1 (1− p2

1− p2

− p1

1− p2

)n−x2−x1=

(n− x2

x1

)(p1

1− p2

)x1 (1− p1

1− p2

)n−x2−x1.

Por lo tanto fX1|X2(x1 | x2) se distribuye binomial de parametros n− x2 y p11−p2 . Para

la distribucion condicional, fX2|X1 (x2 | x1), se tiene que,

fX2|X1 (x2 | x1) =

n!x1!x2!(n−x1−x2)!

px11 px22 (1− p1 − p2)n−x1−x2

n!x1!(n−x1)!

px11 (1− p1)n−x1

=n!x1! (n− x1)!

n!x1!x2! (n− x1 − x2)!

px11

px11

px22 (1− p1 − p2)n−x1−x2

(1− p1)n−x1(1− p1)x2

(1− p1)x2

=(n− x1)!

x2! (n− x1 − x2)!

px22

(1− p1)x2(1− p1 − p2)n−x1−x2

(1− p1)n−x1 (1− p1)−x2

=

(n− x1

x2

)(p2

1− p1

)x2 (1− p1 − p2

1− p1

)n−x1−x2=

(n− x1

x2

)(p2

1− p1

)x2 (1− p1

1− p1

− p2

1− p1

)n−x1−x2=

(n− x1

x2

)(p2

1− p1

)x2 (1− p2

1− p1

)n−x1−x2.

Es decir, fX2|X1 (x2 | x1) se distribuye binomial de parametros n− x1 y p21−p1 .

La figura 3.3 contrasta la distribucion teorica en 3.11 y la simulada empleandoel muestreador de Gibbs, que ha sido creada en R con k=200000 iteraciones. Endicha figura puede apreciarse lo casi indistinguible que es el comportamiento deambas distribuciones, en donde el histograma en color azul representa la distribucion


simulada mediante Gibbs y el histograma en color rojo la distribucion teorica en3.11.

Figura 3.3. Comparacion de dos Histogramas

A continuacion se presenta la prueba ji-cuadrado con el fin de comparar los valoresobtenidos mediante la sucesion de Gibbs y los teoricos. El tamano de la muestra es200000, se construyeron k = 11 celdas. La hipotesis nula es H0 : Los datos provienende una distribucion trinomial con parametros n = 10 p1 = 0.3, p2 = 0.2 y p3 = 0.5.La hipotesis alterna es H1: Los datos no provienen de una distribucion trinomialcon parametros n = 10 p1 = 0.3, p2 = 0.2 y p3 = 0.5. En R se obtuvo un p-valor de0.9999997 y un valor χ2 de 0.2569682 como este valor es menor que χ2

0.05 = 18.3070con 10 grados de libertad. Se acepta H0, es decir, no hay evidencia para decir queestos datos no provienen de una distribucion distribucion trinomial con parametrosn = 10 p1 = 0.3, p2 = 0.2 y p3 = 0.5

3.3. Una prueba de Convergencia simple

En la seccion anterior se obtuvo de manera analıtica y por medio del muestreadorde Gibbs la distribucion marginal para la variable aleatoria X de dos distribucionesconjuntas f(X, Y ). Ahora, esta nueva seccion presenta una matriz que notaremospor AX|X y posee la propiedad de que su distribucion estacionaria es fX .Si biensu desarrollo se hace en el caso discreto tambien presentamos un paralelo entre laversion discreta y la continua.

El objetivo de esta seccion es que el lector se percate de la naturaleza markovianadel muestreador de Gibbs, para ello se han hecho comentarios y consideraciones quepermitan apreciarlo.

Para comenzar consideremos primero un ejemplo, Sean X y Y dos variables aleatoriascada una Bernoulli, con funcion de distribucion de probabilidad conjunta como loindica la tabla siguiente:


HHHHHHY

X0 1 Suma

0 0.2 0.1 0.31 0.4 0.3 0.7

Suma 0.6 0.4 1

Tabla 3.1. Distribucion de probabilidades de (X,Y ).

podemos expresar la tabla 3.1 en terminos de la funcion de probabilidad conjunta, esdecir, [

fX,Y (0, 0) fX,Y (1, 0)fX,Y (0, 1) fX,Y (1, 1)

]=

[0.2 0.10.4 0.3

]ası que las distribuciones marginales de X y Y estan dadas por

fX = [fX(0), fX(1)] = [0.6, 0.4]

fY = [fY (0), fY (1)] = [0.3, 0.7] ,

que se distribuyen Bernoulli con probabilidad de exito 0.4 y 0.7. Luego podemoscalcular la distribucion marginal de X | Y = y,

fX|Y (0 | 0) =P (0, 0)

P (0)=

0.2

0.3

fX|Y (1 | 0) =P (1, 0)

P (0)=

0.1

0.3

fX|Y (0 | 1) =P (0, 1)

P (1)=

0.4

0.7

fX|Y (1 | 1) =P (1, 1)

P (1)=

0.3

0.7.

Para construir una matriz que contenga las probabilidades condicionales de X dadoY = y

AX|Y =

[0.20.3

0.10.3

0.40.7

0.30.7

]y de manera analoga podemos calcular la distribucion marginal de Y | X = x, yobtener la siguiente matriz

AY |X =

[0.20.6

0.40.6

0.10.4

0.30.4

].

Si consideramos el espacio de estados 0, 1, es natural pensar en las matricesAX|Y y AY |X como matrices de transicion. Donde por ejemplo AX|Y contiene lasprobabilidades de ir del estado X al estado Y y AY |X posee las probabilidades deacceder del estado Y al estado X.

Con esta informacion uno estarıa interesado en obtener la matriz de probabilidadde transicion de la distribucion marginal de X (Denotada por AX|X). Para tal fin


el interes recae sobre la subsucesion X′

de la sucesion 3.1. Dado que 3.1 produceX′0 → Y

′1 → X

′1 → Y

′2 y ya que X

′0 → X

′1 forma una cadena de Markov e implica tener

que pasar por Y′

1 . Podemos escribir esto en terminos de la probabilidad condicionalgracias a la ecuacion 2 para obtener

P(X′

1 = x1|X′

0 = x0

)=∑y

P(X′

1 = x1|Y′

1 = y)× P

(Y′

1 = y|X ′0 = x0

),

con esto AX|X viene dado por

AX|X = AY |XAX|Y =

[0.20.6

0.40.6

0.10.4

0.30.4

] [0.20.3

0.10.3

0.40.7

0.30.7

]=

[3863

2563

2542

1742

]. (3.12)

En resumen hemos construidos la matriz de transicion para ir de X′0 a X

′1. Esto

es fundamental para el presente trabajo pues se puso en evidencia la naturalezaMarkoviana de la iteracion del Muestreador de Gibbs al considerar que ir de X

′0 a X

′1

forma una Cadena de Markov y poder escribir AX|X como un producto de matrices detransicion. En general la idea fundamental de los algoritmos MCMC, es el diseno deuna cadena de Markov cuya distribucion estacionaria es precisamente la distribucionque se quiere muestrear. Para el caso del muestreador de Gibbs presentamos lageneralizacion del ejemplo anterior y uno empleando la distribucion trinomial.

En este orden de ideas consideremos consideremos la tabla 3.2, con muestreo multi-nomial dado que X y Y son variables aleatorias con distribucion conjunta Bernoulli.

HHHH

HHYX

0 1

0 p1 p2

1 p3 p4

Tabla 3.2. Distribucion de probabilidades conjunta de la variable aleatoria discreta (X,Y ).

Teniendo en cuenta que pi ≥ 0, para i ∈ 1, 2, 3, 4 y es tal que p1 + p2 + p3 + p4 = 1.Luego expresando la tabla 3.2 en terminos de la funcion de probabilidad conjunta,tenemos que [

fX,Y (0, 0) fX,Y (1, 0)fX,Y (0, 1) fX,Y (1, 1)

]=

[p1 p2

p3 p4

]se sigue tambien que la distribucion marginal de X es una distribucion Bernoulli conprobabilidad de exito p2 + p4.

fX = [fX(0), fX(1)] = [p1 + p3 p2 + p4] (3.13)


de manera analoga a como se hizo en el ejemplo anterior se puede construir dosmatrices con todas las distribuciones condicionales de X|Y y Y |X a saber:

AX|Y =

[ p1p1+p2

p2p1+p2

p3p3+p4

p4p3+p4

]y

AY |X =

[ p1p1+p3

p3p1+p3

p2p2+p4

p4p2+p4

].

Si consideramos el espacio de estados 0, 1, es natural pensar en las matricesAX|Y y AY |X como matrices de transicion. Donde por ejemplo AX|Y contiene lasprobabilidades de ir del estado X al estado Y y AY |X posee las probabilidades deacceder del estado Y al estado X. Ademas sı aplicamos el esquema iterativo (3.1) seobtendrıa una sucesion de ceros y unos.

Nuevamente nos preguntamos ¿como obtener la distribucion marginal de X?, parahacerlo centraremos nuestra atencion en dos hechos, primero en la subsucesion deX′

de la sucesion de Gibbs y segundo en que los valores en 3.1 se obtuvieron fijandoun valor inicial y evaluando en las condicionales respectivas su inmediato anterior.Ası que si consideramos la sucesion de Gibbs como X

′0 → Y

′1 → X

′1 esta nos permite

acceder de X′0 a X

′1 pasando por Y

′1 . Ademas ya que X

′0 → X

′1 forma una cadena

de Markov podemos aplicar la ecuacion 2 para expresar esto en terminos de laprobabilidad de transicion, es decir,

P(X′

1 = x1|X′

0 = x0

)=∑y

P(X′

1 = x1|Y′

1 = y)× P

(Y′

1 = y|X ′0 = x0

)(3.14)

de donde resulta que la matriz de probabilidad de transicion AX|X de la sucesionX′, viene dada por

AX|X = AY |XAX|Y =

1p1+p3

(p21

p1+p2+

p23p3+p4

)1

p1+p3

(p1p2p1+p2

+ p3p4p3+p4

)1

p2+p4

(p2p1p1+p2

+ p4p3p3+p4

)1

p2+p4

(p22

p1+p2+

p24p3+p4

) . (3.15)

De manera que la matriz de transicion para P(X′

k = xk|X′0 = x0

)es(AX|X

)k. Esto

implica que podemos calcular facilmente la distribucion de probabilidad de cualquierX′

k en la sucesion 3.1. En efecto, si denotamos la distribucion marginal de X′

k por

fk = [fk (0) , fk (1)]

entonces para cualquier k, tendremos que,

fk = f0AkX|X =

(f0A

k−1X|X

)AX|X = fk−1AX|X . (3.16)


El lector en este punto puede llegarse a preguntar ¿que relacion tiene esto con elmuestreador de Gibbs? la respuesta la daremos de inmediato. En efecto, ya que comose ha indicado desde el inicio de este capıtulo el muestreador de Gibbs es uno delos algoritmos MCMC, los cuales tienen como idea fundamental el diseno de unacadena de Markov cuya distribucion estacionaria es precisamente la distribucion quese quiere muestrear. Esto y el hecho de que cuando la matriz AX|X tiene todas susentradas positivas, la ecuacion 3.16 garantiza que cuando k →∞, fk converge a ladistribucion f que es en un punto estacionario de 3.16. Sin importar la probabilidadinicial f0. Mas aun el hecho de que se satisface,

fAX|X = f. (3.17)

Responde al lector la pregunta planteada, es decir, la relacion de este desarrollo y elmuestreador de Gibbs es que hemos visto la naturaleza markoviana del muestreadorde Gibbs. Ası mismo de la ecuacion 3.17 para el caso descrito, podemos entenderporque el muestreador de Gibbs es uno de los algoritmos MCMC.

Veamos ahora que para fX en 3.13 se verifica 3.17,

fXAX|X = [p1 + p3 p2 + p4]

1p1+p3

(p21

p1+p2+

p23p3+p4

)1

p1+p3

(p1p2p1+p2

+ p3p4p3+p4

)1

p2+p4

(p2p1p1+p2

+ p4p3p3+p4

)1

p2+p4

(p22

p1+p2+

p24p3+p4

)= [p1 + p3 p2 + p4]

= fX

Ademas, si la sucesion 3.1 converge, la f que satisface 3.17 es la distribucion marginalde X. Para indicar este hecho se ha implementado el siguiente ejemplo con el softwareestadıstico R.Ejemplo 1.

Consideremos la distribucion dada por la tabla 3.3

HHHHHHY

X0 1 2 3 suma

0 0.008 0.036 0.054 0.027 0.1251 0.06 0.18 0.135 0 0.3752 0.150 0.225 0 0 0.3753 0.125 0 0 0 0.125

suma 0.343 0.441 0.189 0.027 1

Tabla 3.3. Distribucion de probabilidades conjunta para el ejemplo 1.


Sea P la matriz obtenida de expresar la tabla 3.3 en terminos de la funcion deprobabilidad conjunta,es decir,fX,Y (0, 0) fX,Y (1, 0) fX,Y (2, 0) fX,Y (3, 0)fX,Y (0, 1) fX,Y (1, 1) fX,Y (2, 1) fX,Y (3, 1)fX,Y (0, 2) fX,Y (1, 2) fX,Y (2, 2) fX,Y (3, 2)fX,Y (0, 3) fX,Y (1, 3) fX,Y (2, 3) fX,Y (3, 3)

=

0.008 0.036 0.054 0.0270.06 0.18 0.135 00.150 0.225 0 00.125 0 0 0

= P.

Los renglones en la matriz AY |X se obtienen dividiendo los respectivos renglonesde P T por la suma de la correspondiente columna en P . Por ejemplo calculemos laentrada (2, 1) de AY |X esta es 0.036/0.441 = 0.08163265. Ası obtenemos

AY |X =

0.02332362 0.1749271 0.4373178 0.36443150.08163265 0.4081633 0.5102041 00.28571429 0.7142857 0 0

1 0 0 0

para obtener AX|Y dividimos cada renglon de P por la suma de todos los elementosen este renglon, por ejemplo calculemos la entrada (1, 1) en la matriz AX|Y , esto es,0.008/0.125 = 0.064.

AX|Y =

0.064 0.288 0.432 0.2160.160 0.480 0.360 00.40 0.6 0 0

1 0 0 0

de manera que la matriz de transicion de la subsucesion X

′en la sucesion de Gibbs

viene dada por

AX|X = AY |XAX|Y =

0.5688397 0.3530729 0.07304956 0.0050379010.2746122 0.5255510 0.18220408 0.0176326530.1325714 0.4251429 0.38057143 0.061714286

0.064 0.2880 0.4320 0.2160

(3.18)

la cadena de Markov de las X′

es irreducible pues todos sus estados se comunican,es aperiodica ya que todos sus estados tienen periodo 1, como lo muestra la matriz3.18. Ademas tambien posee distribucion estacionaria f = [0.343, 0.441, 0.189, 0.027](que se corresponde con la marginal de X en la tabla 3.3). Ası que por el teorema20, se tiene que para cualesquiera estados i y j, lımn→∞ pij(n) = fj, en efecto, paran = 21 se tiene que:

A21X|X =

0.343 0.441 0.189 0.0270.343 0.441 0.189 0.0270.343 0.441 0.189 0.0270.343 0.441 0.189 0.027

.


Como un primer resultado se puede afirmar que para valores suficientemente grandesde k la distribucion marginal de X

′

k tiende a fX . Ası si detenemos la iteracion (3.1)a un valor suficientemente grande de k, podemos suponer que la distribucion de X

′

k

es aproximadamente fX .

Casella y George (1992) argumentan que es posible considerar X, Y alguna o ambascontinuas, si bien no presentan que condiciones se deben imponer para extender losargumentos de dimension finita, si afirman que la teorıa continua sirviendo y quepor tanto el muestreador de Gibbs determina una muy buena aproximacion a ladistribucion marginal de X. Es en este contexto que presentaremos un paralelo entrela version discreta que se ha desarrollado y el caso continuo. Para ello es pertinentepresentar pimero una version para este ultimo caso de la ecuacion 3.14, es decir, unaformula que represente la densidad condicional de X

′1 dado X

′0, esta es,

fX′1|X′0

(x1 | x0) =

∫fX′1|Y

′1

(x1 | y) fY ′1 |X′0

(y | x0) dy.

Una vez hecha esta precision, nuestro interes recae sobre tratar de describir una

matriz analoga a(Ax|x

)k, es decir, la matriz de transicion de k−pasos. Teniendo

presente que X o Y pueden ser continuas, entonces el elemento buscado es “unamatriz de transicion infinita ”. Cuyas entradas satisfacen la siguiente ecuacion:

fX′k|X′0

(x | x0) =

∫fX′k|X

′k−1

(x | t) fX′k−1|X0(t | x0) dt, (3.19)

Por ultimo vale la pena mencionar que la ecuacion 3.19 representa la version continua3.16, ası que la densidad fX′k|X

′k−1

representa una transicion de un solo paso, y las

otras dos densidades hacen referencia a fk y fk−1. Tambien en [5] se describe quecuando k →∞ se deduce que el punto estacionario de (3.19) es la densidad marginalde X, la densidad para la cual fX′k|X

′k−1

converge.

El siguientes aspecto a tratar es revelar el argumento por el que funciona el mues-treador de Gibbs ademas establecemos la forma limite de la ecuacion 3.19 todo estolo presentamos aquı en version bivariada. Para comenzar sabemos que conocidaslas distribuciones condicionales podemos determinar la distribucion conjunta si estaexiste, Lo que parece poner al muestreador de Gibbs como una aplicacion de estehecho. Pero es conveniente senalar que no siempre conocidas las distribuciones condi-cionales estas determinen una distribucion marginal adecuada. Para tal situacion ellector interesado puede consultar [5] donde se presenta un ejemplo de tal situacion.

Hay que recordarle al lector que el muestreador de Gibbs es capaz de simular ladistribucion marginal mediante las distribuciones condicionales correspondientes.Esta idea es clave para el siguiente desarrollo. Para comenzar sean X y Y dosvariables aleatorias para las cuales conocemos las densidades condicionales fX|Y (x | y),fY |X(y | x) y desconocemos fXY (X, Y ). Encontraremos ahora la densidad marginal


de X, fX(x), para hacerlo por definicion sabemos que

fX(x) =

∫fXY (x, y) dy,

donde fXY (x, y) es la densidad conjunta desconocida, pero sabemos que fXY (x, y) =fX|Y (x | y) fY (y), se deduce que

fX(x) =

∫fX|Y (x|y) fY (y) dy, (3.20)

ahora reemplazando fY (y) =∫fY |X (y|t) fX (t) dt, en 3.20 tenemos que

fX(x) =

∫fX|Y (x|y)

∫fY |X (y|t) fX (t) dtdy

=

∫ ∫fX|Y (x|y) fY |X (y|t) dy︸︷︷︸

h(x,t)

fX (t) dt

=

∫h (x, t) fX (t) dt.

(3.21)

Es decir, escribimos la distribucion marginal de X en terminos de las condicionales.Razon por la cual el lector debe apreciar el porque del exito del muestreador deGibbbs. Ademas la ecuacion (3.21) define una ecuacion integral de punto fijo para lacual fX(x) es solucion. La unicidad de la solucion se explica en [?].

Ademas de que la ecuacion 3.21 coloca a la distribucion marginal de X en terminosde las condicionales. Un hecho que no se mostrara aquı pues su desarrollo excede elobjetivo del presente trabajo, es que cuando k →∞ en (3.19), se tiene que

fX′k|X′0

(x|x0)→ fX (x) y fX′k|X′k−1

(x|t)→ h (x, t) (3.22)

muestran que 3.21 es la forma limite de 3.19.

3.4. Evaluacion de P n

La ecuacion 3.16 en la seccion anterior motiva trabajar con la k-esima potencia de lamatriz de transicion. Por otro lado, evaluar una matriz cuadrada digamos n× n conun exponente k ≥ 5, es una trabajo bastante tedioso en especial si n ≥ 4. Ası pues,el objetivo de esta seccion es presentar la matriz de transicion para una cadena deMarkov con espacio de estados finito, cuando es evaluada para alguna potencia enlos enteros mayores que cero. Se ha decidido seguir el texto [2], para el presentedesarrollo.


Sea P la matriz de transicion para una cadena de Markov con k estados. Supongamosque los autovalores de P son distintos entre sı. Ademas la ecuacion

Px = λx y y′P = λy

′

tiene solucion x y y distinta de cero si y solo si λ es una autovalor de P . Se sigueque para cada λj, podemos encontrar los correspondientes autovectores a derecha ya izquierda x

′

j y y′

j .

Ahora si definimos H = [x1,x2, · · · ,xk] y K = [y1,y2, · · · ,yk], es posible mediantealgunos calculos con estos elementos, llegar a caracterizar la matriz P n como

P n =k∑j=1

λnjAj,

dado que y′

jxj = 1 y Aj definido como xjy′

j . Sin embargo en [2], tambien se considera

el caso donde no se ajusta la condicion yjxj = 1 sino y′

jxj = cj , con el fin de obtener

P n =k∑j=1

c−1j λnjAj.

Tambien es posible presentar la matriz P n cuando P tiene multiples autovalores,dada por,

P n =∑j

1

(rj − 1)!

[drj−1

dλrj−1

λnadj (λI − P )

ψj (λ)

]λ=λj

donde ψj (λ) =∏

i 6=j (λ− λi)ri y rj es la multiplicidad de λj (Frazer, R.A., Duncan,W.J., AND Collar, A.R., 1946).

Conclusiones

• El muestreador de Gibbs es un algoritmo versatil para simular las distribucionesmarginales de una distribucion conjunta. Ademas dado que la mecanica quelo describe es sencilla su aplicacion en software como R no presenta mayordificultad y permite apreciar el buen comportamiento que tiene la distribucionsimulada mediante el muestreador de Gibbs a la distribucion teorica. Por otrolado la simulacion desarrollada tambien permite apreciar hechos como lo rapidoque converge la matriz de transicion a AX|X a la distribucion marginal de lavariable aleatoria X.

• Las cadenas de Markov hacen parte del soporte teorico del muestreador deGibbs. Pues permiten construir la matriz de transicion en k pasos para lavariable aleatoria que se quiere simular, considerando los valores de la variableen la sucesion de Gibbs como una cadena de Markov. La importancia deconstruir dicha matriz es que su distribucion estacionaria coincide con la quese quiere simular, como se menciono y se ilustro por medio de ejemplos en eltrabajo.

• El trabajo desarrollado tambien permite apreciar que el exito del muestreadorde Gibbs se basa en que la funcion marginal de X se puede escribir en terminosde las distribuciones condicionales X | Y y Y | X.

38

APENDICE

Codigos en R

Empleando el Muestreador de Gibbs para la distri-

bucion Beta-binomial

x<-c()

y<-c(0.4) ##Valor inicial para la sucesion de Gibbs##

##Algoritmo del Muestreador de Gibbs##

for(i in 1:100000)

x[i] <- rbinom(1,10,y[i])

y[i+1] <-rbeta(1,x[i]+2,15-x[i])

###Sucesion de Gibbs####

datos<-table(x)/100000

####Distribucion Teorica Beta-binomial

con parametros n=10, alfa=2 y beta=5#######

dbb <- function(x)

(choose(10,x)*30/factorial(16))*gamma(x+2)*gamma(15-x)

#### Evaluando la distribucion Beta-binomial


a <- 0:10

t <- dbb(a)

39

CODIGOS EN R 40

Prueba ji-cuadrado para la distribucion Beta-

binomial

x<-c()

y<-c(0.4) ##Valor inicial para la sucesion de Gibbs##


for(i in 1:100000)

x[i] <- rbinom(1,10,y[i])

y[i+1] <-rbeta(1,x[i]+2,15-x[i])

####Distribucion Teorica Beta-binomial


dbb <- function(x)

(choose(10,x)*30/factorial(16))*gamma(x+2)*gamma(15-x)

#### Evaluando la distribucion Beta-binomial


a <- 0:10

t <- dbb(a)

###Cuadrado de bondad de ajuste####

frecbb <- as.vector(table(x))/100000

estad_chi <- sum((frecbb-t)^2/t)

pvalor <- p_valor<- pchisq(estad_chi,10,lower.tail=FALSE)

Empleando el Muestreador de Gibbs para la distri-

bucion Binomial

x<-c()

y<-c(2) ##Valor inicial para la sucesion de Gibbs##


for(i in 1:200000)

x[i] <- rbinom(1,10-y[i],0.3/(1-0.2))

y[i+1] <-rbinom(1,10-x[i],0.2/(1-0.3))

###Sucesion de Gibbs####

datos2<-table(x)/200000

#### Evaluando la distribucion Binomial #######

db <- function(x)

choose(10,x)*((0.3)^(x))*((0.7)^(10-x))

CODIGOS EN R 41

l<-db(0:10)

Prueba ji-cuadrado para la distribucion Binomial

x<-c()

y<-c(2) ##Valor inicial para la sucesion de Gibbs##


for(i in 1:200000)

x[i] <- rbinom(1,10-y[i],0.3/(1-0.2))

y[i+1] <-rbinom(1,10-x[i],0.2/(1-0.3))

#### Evaluando la distribucion Binomial #######

db <- function(x)

choose(10,x)*((0.3)^(x))*((0.7)^(10-x))

l<-db(0:10)

###Cuadrado de bondad de ajuste####

frecb <- as.vector(table(x))/200000

estad_chi <- sum((frecb-l)^2/l)

pvalor <- p_valor<- pchisq(estad_chi,10,lower.tail=FALSE)

Codigo Ejemplo 1

install.packages("Matrix",dependencies=TRUE)

install.packages("expm",dependencies=TRUE)

#################################

#Distribucion conjunta trinomial#

#################################

trinomial<- function(x,y,n,p,q)

if(x+y<=n)

(factorial(n)/(factorial(x)*factorial(y)*factorial(n-x-y)))

*p^x*q^y*(1-p-q)^(n-x-y)

else 0

#################################

#Matriz probabilidades trinomial#

#################################

conjunta <- function(n,p,q)

T <- matrix(nrow=n+1,ncol=n+1)

for(i in 0:n)

for(j in 0:n)

T[i+1,j+1] <- trinomial(i,j,n,p,q)

CODIGOS EN R 42

print(T)

########################################################

#Obtencion de la matriz de probabilidades de transicion#

########################################################

##########

#Conjunta#

##########

fxy <- conjunta(3,0.5,0.3)

###############

#Marginal de x#

###############

fx <- apply(fxy,2,sum)

###############

#Marginal de y#

###############

fy <- apply(fxy,1,sum)

###################################################

#Marginal de X a partir de la matriz de transicion#

###################################################

Ayx <- t(fxy)/fx

Axy <- fxy/fy

Ax <- Ayx%*%Axy

PAx<- Ax %^% 21

###################################################

#Marginal de Y a partir de la matriz de transicion#

###################################################

Ay <- Axy%*%Ayx

PAy <- Ay %^% 21

Bibliografıa

[1] Alan, G AND Smith, A. Sampling-Based Approaches to Calculating MarginalDensities. Journal of the American Statistical Association, 85(40), 398–409, 1990.

[2] Bailey, N. The elements of Stochastic Processes with applications to the naturalsciences. United States of America: John Willey & Sons, Inc., 1964.

[3] Blanco, L. Probabilidad. Bogota, Colombia: Unibiblos, 2004.

[4] Blanco, L., Arunachalam W., AND Dharmaraja, D. Introduction toProbability and Stochastic Processes with Applications. New Jersey, USA: JohnWiley & Sons, Inc., 2012.

[5] Casella, G AND Edward, G. Explaining the Gibbs Sampler. The AmericanStatistical Association, 46(3), 167–174, 1992.

[6] Frazer, R.A., Duncan, W.J., AND Collar, A.R. Elementary Matrices.Cambridge University Press, 1946.

[7] Rincon, L. Curso intermedio de Probabilidad. Mexico DF, Mexico: Departa-mento de Matematicas Facultad de Ciencias UNAM, 2007.

[8] Rincon, L. Introduccion a los procesos estocasticos. Mexico DF, Mexico: Depar-tamento de Matematicas Facultad de Ciencias UNAM, 2012.

[9] Ross, S. Introduction to probability Models. San Diego, United States of America:John Willey & Sons, Inc., 2010.

[10] Prieto, V. VII Coloqio colombiano de matematicas, Cadenas de Markov.Bogota, Colombia: Universidad Nacional de Colombia, 1977

43

descripci on e implementaci on del muestreador de gibbs en...

Documents