mode los probabilistic os

This is page 179Printer: Opaque this

Capıtulo 5

Construccion de ModelosProbabilısticos

5.1 Introduccion

En el Capıtulo 3 se ha visto que la base de conocimiento de un sistemaexperto probabilıstico esta formada por un conjunto de variables y un mo-delo probabilıstico (una funcion de probabilidad conjunta) que describa lasrelaciones entre ellas. Por tanto, el funcionamiento del sistema experto de-pende de la correcta definicion de la funcion de probabilidad conjunta quedefine el modelo probabilıstico. Con el fin de que el proceso de definiciondel modelo sea lo mas preciso posible, es conveniente seguir los siguientespasos:

1. Planteamiento del problema. Como ya se menciono en el Capıtulo1, el primer paso en el desarrollo de un sistema experto es la definiciondel problema a resolver. Por ejemplo, el problema del diagnosticomedico es un ejemplo clasico en el campo de los sistemas expertos:Dado que un paciente presenta una serie de sıntomas, ¿cual es la enfer-medad mas probable en esa situacion?. La definicion del problema esun paso crucial en el desarrollo del modelo, pues un mal planteamientoinicial tendra consecuencias fatales para el modelo desarrollado.

2. Seleccion de variables. Una vez que el problema ha sido definido,el siguiente paso consiste en seleccionar un conjunto de variables quesean relevantes para su definicion (esta tarea debe ser realizada porexpertos en el problema a analizar). Por ejemplo, las variables rele-vantes para el problema de diagnostico medico son las enfermedades

180 5. Construccion de Modelos Probabilısticos

y sus correspondientes sıntomas. Las variables relevantes para ladefinicion de un modelo han de ser cuidadosamente seleccionadas afin de eliminar posibles redundancias. Por ejemplo, en un problemade diagnostico medico habran de elegirse aquellos sıntomas que mejordiscriminen el conjunto de enfermedades dado.

3. Adquisicion de informacion relevante. Una vez que se ha reali-zado el planteamiento inicial del problema, el siguiente paso consisteen la adquisicion y analisis de toda la informacion (datos) que searelevante para la definicion del modelo. La informacion puede sercuantitativa o cualitativa, obtenida de un experto, o de una basede datos. Esta informacion debera ser cuidadosamente analizada uti-lizando tecnicas de diseno experimental apropiadas. Es importantecontar en esta etapa con la ayuda de especialistas en Estadıstica,pues el uso de metodos estadısticos permite mejorar la calidad delos datos y confirmar la validez de los metodos empleados para laobtencion de las conclusiones.

4. Construccion del modelo probabilıstico. Una vez que se conoceun conjunto de variables relevantes para el problema a analizar, y quese ha adquirido suficiente informacion para su definicion, el siguientepaso consiste en la definicion de una funcion de probabilidad conjuntaque describa las relaciones entre las variables. Este es, quizas, el pasomas crıtico y difıcil en el desarrollo de un sistema experto:

(a) Es crıtico porque la bondad de los resultados del sistema expertodependera de la precision con que se haya definido la funcion deprobabilidad conjunta, es decir, la calidad de los resultados nopodra superar a la calidad del modelo. Por tanto, una incorrectadefinicion del modelo probabilıstico redundara en un sistemaexperto que dara conclusiones erroneas y/o contradictorias.

(b) La estructura de la funcion de probabilidad conjunta (es decir, laestructura de dependencia e independencia entre las variables)no suele ser conocida en la practica. Por tanto, habra de serinferida del conjunto de datos obtenidos previamente. Por tanto,la calidad del modelo tampoco podra superar la calidad de losdatos relevantes disponibles.

(c) La estructura del modelo probabilıstico puede depender de unnumero muy elevado de parametros que complican su definicion(ver Seccion 3.5). Cuanto mayor sea el numero de parametrosmas complicada sera la asignacion de valores numericos concre-tos en el proceso de definicion del modelo. En cualquier caso, estaasignacion habra de ser realizada por un experto, o estimada apartir de la informacion disponible.

5.2 Criterios de Separacion Grafica 181

Los dos proximos capıtulos estan dedicados a la construccion de modelosprobabilısticos (funciones de probabilidad conjunta) que definen la base deconocimiento de este tipo de sistemas expertos. Para ello, existen distintasmetodologıas

• Modelos definidos graficamente.

• Modelos definidos por un conjunto de relaciones de independenciacondicional.

Estas dos metodologıas se analizan en los Capıtulos 6 y 7, respecti-vamente. En este capıtulo se introducen los conceptos necesarios. En laSeccion 5.2 se describen algunos criterios de separacion grafica que per-miten obtener las relaciones de independencia condicional asociadas a ungrafo. Se recuerda al lector que una relacion de independencia condicional,o simplemente una independencia, denotada por I(X, Y |Z), significa que“X e Y son condicionalmente independientes dado Z”, donde X, Y y Zson subconjuntos disjuntos de un conjunto de variables {X1, . . . , Xn} (verSeccion 3.2.3). Cuando la relacion de independencia es obtenida medianteun criterio de separacion grafico se emplea, de forma equivalente, la termi-nologıa “X e Y estan separados por Z”. En la Seccion 5.3 se introducenvarias propiedades de la independencia condicional. Dada una lista inicialde relaciones de independencia, estas propiedades permiten obtener inde-pendencias adicionales que estaran contenidas en el modelo probabilıstico.La Seccion 5.5 analiza distintas formas de factorizar una funcion de proba-bilidad conjunta mediante un producto de funciones de probabilidad con-dicionada. Finalmente, en la Seccion 5.6 se describen los pasos necesariospara la construccion de un modelo probabilıstico.

5.2 Criterios de Separacion Grafica

Los grafos son herramientas muy potentes para describir de forma intuitivalas relaciones de dependencia e independencia existentes en un conjunto devariables {X1, . . . , Xn}. Por tanto, una forma de definir un modelo proba-bilıstico es partir de un grafo que describa las relaciones existentes entrelas variables (este grafo puede venir dado, por ejemplo, por un experto enel tema). Este planteamiento motiva el siguiente problema:

• Problema 5.1. ¿Pueden representarse las estructuras de dependen-cia e independencia definidas por un grafo (dirigido o no dirigido)de forma equivalente por un conjunto de relaciones de independen-cia condicional? En caso afirmativo, ¿como se puede obtener esteconjunto?

La respuesta al problema anterior es afirmativa, y una forma de obtenereste conjunto de independencias es utilizar un criterio de separacion grafica


para comprobar cuales, de entre todas las posibles relaciones de indepen-dencia condiconal, son satisfechas por el grafo. Los criterios de separaciongrafica son las reglas para entender como pueden codificarse dependenciase independencias en un grafo. Estos criterios dependen del tipo de grafo(dirigido o no dirigido) que se este considerando.

5.2.1 Separacion en Grafos no Dirigidos

En muchas situaciones practicas, las relaciones existentes entre un con-junto de variables {X1, . . . , Xn} pueden ser representadas por un grafo nodirigido G. Como ya se menciono en el Capıtulo 4, cada variable puede serrepresentada por un nodo del grafo. Si dos variables son dependendientes,esta relacion puede representarse por un camino que conecte estos nodos.Por otra parte, si dos variables son independientes, entonces no deberaexistir ningun camino que una estos nodos. De esta forma, el concepto dedependencia entre variables puede relacionarse con el concepto de conexionentre nodos.

De forma similar, si la dependencia entre las variables X e Y es indirecta,a traves de una tercera variable Z (es decir, si X e Y son condicionalmentedependientes dada Z), el nodo Z se representara de forma que no intersectetodos los caminos entre X y Y , es decir, Z no es un conjunto de corte (eningles, cutset) de X e Y . Esta correspondencia entre dependencia condi-cional y separacion en grafos no dirigidos constituye la base de la teorıa delos campos de Markov (Isham (1981), Lauritzen (1982), Wermuth y Lau-ritzen (1983)), y ha sido caracterizada axiomaticamente de formas diversas(Pearl y Paz (1987)).

Para representar relaciones de independencia condicional por medio degrafos no dirigidos se necesita definir de forma precisa un criterio de se-paracion apropiado, basandose en las ideas anteriormente expuestas. Estecriterio se conoce como criterio de U-separacion. A continuacion se da unadefinicion de este criterio y un algoritmo que permite su aplicacion.

Definicion 5.1 U-separacion. Sean X, Y y Z tres conjunto disjuntosde nodos de un grafo no dirigido G. Se dice que Z separa X e Y si y solosi cada camino entre nodos de X y nodos de Y contiene algun nodo de Z.Cuando Z separe X e Y en G, y se denotara I(X, Y |Z)G para indicar queesta relacion de independencia se deriva de un grafo G; en caso contrario,se denotara por D(X, Y |Z)G, para indicar que X e Y son condicionalmentedependientes dada Z, en el grafo G.

Se dice que X es graficamente independiente de Y dada Z si Z separaX e Y . Por tanto, el criterio de U -separacion permite obtener la lista derelaciones de independencia asociadas a un grafo no dirigido. Este criterioda la solucion al Problema 5.1 para grafos no dirigidos. El caso de grafosdirigidos se analizara en la Seccion 5.2.2.


Ejemplo 5.1 U-separacion. La Figura 5.1 ilustra cuatro casos distintosdel concepto de U -separacion En todos los casos, los tres conjuntos deinteres estan contenidos en cajas para su diferenciacion: la caja asociada conel primer conjunto no esta sombreada, la segunda tiene un sombreado claro,y la tercera (la asociada con el conjunto separador) muestra un sombreadooscuro.

• En la Figura 5.1(a), las variables A e I son condicionalmente inde-pendientes dada E, pues cada camino entre A e I contiene al nodoE. Por tanto, I(A, I|E)G.

• En la Figura 5.1(b), los nodos A e I son condicionalmente dependien-tes dada B. En este caso, existe un camino, (A−C −E − I), que nocontiene al nodo B.

• En la Figura 5.1(c), los subconjuntos {A, C} y {D, H} son condi-cionalmente independientes dado el conjunto {B, E}, pues cada ca-mino entre los dos conjuntos contiene, o bien a B, o bien a E. Portanto, se tiene

I({A, C}, {D, H}|{B, E})G.

• Finalmente, en la Figura 5.1(d), los subconjuntos {A, C} y {D, H}son condicionalmente dependientes dado {E, I}, pues el camino (A−B − D} no contiene ninguna de las variables E e I. Por tanto,

D({A, C}, {D, H}|{E, I})G.

Siguiendo un proceso analogo, se puede comprobar si el grafo satisfacecualquier otra relacion de independencia.

5.2.2 Separacion en Grafos Dirigidos

Para comprobar si un grafo dirigido verifica una relacion de independenciadada, es necesario introducir otro criterio de separacion, conocido comocriterio de D-separacion. Con el fin de dar una idea intuitiva de este con-cepto, considerese el siguiente ejemplo en el que intervienen seis variablesrelacionadas de la forma que se muestra en la Figura 5.2:

• L: Situacion laboral.

• G: Ganancias por inversiones.

• E: Situacion economica.

• S: Salud.

• D: Donaciones.

A

B C

D E F

H IG

(a) I(A, I | E)

A

B C

D E F

H IG

(b) D(A, I | B)

A

B C

D E F

IG

(c) I({A, C}, {D, H} | {B, E})

H

A

B C

D E F

IG

(d) D({A, C}, {D, H} | {E, I})

H


FIGURA 5.1. Ejemplo de ilustracion del concepto de U -separacion.

• F : Felicidad.

El grafo de la Figura 5.2 muestra que la situacion laboral y las ganancias,fruto de inversiones, son causas directas de la situacion economica de unapersona. Por otra parte, la situacion economica y la salud influyen en lafelicidad. Finalmente, la situacion economica determina las donaciones querealizada la persona. Dada esta situacion, serıa logico pensar, por ejemplo,que la salud y la situacion economica fuesen incondicionalmente indepen-dientes, pero condicionalmente dependientes una vez se tiene informacionsobre el estado de felicidad de la persona (un incremento de nuestra con-fianza en una variable disminuirıa nuestra confianza en la otra). Para de-tectar las independencias definidas por este grafo, se necesita introducirun criterio de separacion apropiado para grafos dirigidos, el concepto deD-separacion; ver Pearl (1988) y Geiger, Verma y Pearl (1990a).

Definicion 5.2 Nodo de aristas convergentes en un camino. Dadoun grafo dirigido y un camino no dirigido (. . .−U −A− V − . . .), el nodo

S

Situación laboral

Situacióneconómica

Salud

FelicidadDonaciones

Ganancias porinversiones

D F

L G

E


FIGURA 5.2. Un grafo dirigido ilustrando el concepto de D-separacion.

A se denomina un nodo de aristas convergentes en este camino si las dosaristas del camino convergen a este nodo en el grafo dirigido, es decir, siel grafo dirigido contiene las aristas U → A y V → A).

Ejemplo 5.2 Nodo de aristas convergentes. El nodo F es el uniconodo de aristas convergentes en el camino no dirigido L − E − F − S delgrafo de la Figura 5.2. Observese que aunque el nodo E posee dos aristasconvergentes, no es un nodo de aristas convergentes en el camino, pues laarista G → E no esta contenida en el camino. Sin embargo, el nodo E esun nodo de aristas convergentes en el camino no dirigido L − E − G.

Definicion 5.3 D-Separacion. Sean X, Y y Z tres subconjuntos dis-juntos de nodos en un grafo dirigido acıclico D; entonces se dice que ZD-separa X e Y si y solo si a lo largo de todo camino no dirigido entrecualquier nodo de X y cualquier nodo de Y existe un nodo intermedio Atal que, o bien

1. A es un nodo de aristas convergentes en el camino y ni A ni susdescendientes estan en Z, o bien

2. A no es un nodo de aristas convergentes en el camino y A esta en Z.

Cuando Z D-separa X e Y en D, se escribe I(X, Y |Z)D para indicarque la relacion de independencia viene dada por el grafo D; en caso con-trario, se escribe D(X, Y |Z)D para indicar que X e Y son condicionalmentedependientes dado Z en el grafo D.

Por tanto, si se puede encontrar un nodo en algun camino no dirigido queno cumpla las dos condiciones anteriores, entonces D(X, Y |Z)D; en casocontrario, I(X, Y |Z)D. Estas condiciones reflejan la idea de que las causas(padres) de cualquier mecanismo causal resultan dependientes una vez quese dispone de informacion del efecto que producen (un hijo). Por ejemplo, enel grafo dirigido de la Figura 5.2, la situacion laboral y las ganancias fruto


de inversiones son incondicionalmente independientes, es decir, I(L, G|φ)D.Sin embargo, si se dispone de alguna informacion de la situacion economica,entonces L y G se vuelven dependientes, D(L, G|E)D, porque existe unarelacion entre la creencia que se tiene en las dos causas.

Ejemplo 5.3 D-separacion. Considerese el grafo dirigido mostrado enla Figura 5.2. A partir de este grafo, se pueden derivar las relaciones deindependencia siguientes:

• Caso (a). Independencia incondicional, I(L, G|φ)D: Los nodos L y Gson incondicionalmente independientes pues estan D-separados porφ. Tal y como puede observarse en la Figura 5.3(a), el unico caminono dirigido, L − E − G, entre los nodos L y G contiene al nodo dearistas convergentes E, y ni el ni ninguno de sus descendientes estancontenidos en φ.

• Caso (b). Dependencia condicional, D(L, S|F )D: Los nodos L y S soncondicionalmente dependientes dado F . En la Figura 5.3(b) puedeverse que el unico camino no dirigido entre L y S, L − E − F −S, contiene a los nodos E y F , y ninguno de estos nodos cumplelas condiciones de la D-separacion. Por tanto, L y S no estan D-separados por F .

• Caso (c). Independencia condicional, I(D, F |{L, E})D: Los nodos Dy F son condicionalmente independientes dado {L, E}, pues el unicocamino no dirigido D−E−F entre los nodos D y F contiene un solonodo intermedio, E, que no es un nodo de aristas convergentes, peroesta contenido en {L, E} (ver Figura 5.3(c)).

• Caso (d). Dependencia condicional, D(D, {S, F}|L)D: El nodo D yel conjunto de nodos {S, F} son condicionalmente dependientes dadoL (ver Figura 5.3(d)). Observese que el camino no dirigido D − E −F entre D y F contiene al nodo E, que no es un nodo de aristasconvergentes en este camino, pero no esta contenido en {L}.

El concepto de D-separacion permite representar estructuras de dependen-cia e independencia en grafos dirigidos y, de esta forma, proporciona unasolucion al Problema 5.1. A continuacion se introduce una definicion alter-nativa de D-separacion que es mas facil de aplicar en la practica que laDefinicion 5.3.

Definicion 5.4 D-Separacion. Sean X, Y y Z tres subconjuntos disjun-tos en un grafo dirigido acıclico D, entonces se dice que Z D-separa a Xe Y si y solo si Z separa X e Y en el grafo moral del menor subconjuntoancestral1 que contenga a los nodos de X, Y y Z.

1Recuerdese que un conjunto ancestral es un conjunto de nodos que contienelos ascendientes de todos sus nodos (Definicion 4.20).

L G

E S

D F

(c) I(D, F | {L, E}) (d) D(D, {S, F} | L)

L G

E S

D F

L G

E

D F

(b) D(L, S | F)

S

L G

E S

D F

(a) I(L, G | Ø)


FIGURA 5.3. Ejemplos de ilustracion del criterio de D-separacion utilizando laDefinicion 5.3.

Esta definicion alternativa fue propuesta por Lauritzen y otros (1990) quemostraron la equivalencia de la Definicion 5.3 y la Definicion 5.4, que ellosdenominaron originalmente como A-separacion.

La idea de moralizar el grafo, utilizada en esta definicion, refleja laprimera de las dos condiciones de la Definicion 5.3. Si existiese un nodode aristas convergentes A en un camino entre los nodos X e Y , tal que Ao alguno de sus descendientes estuviese en Z, entonces A tambien estarıacontenido en el menor conjunto ancestral que contuviera a X, Y y Z. Portanto, puesto que A es un nodo de aristas convergentes, incluso en el casode que A estuviera en Z, el proceso de moralizacion garantizarıa la existen-cia de un camino no dirigido entre X e Y no interceptado por Z en el grafomoralizado correspondiente. Esta definicion alternativa sugiere el siguientealgoritmo para la D-separacion:

Algoritmo 5.1 D-Separacion.

• Datos: Un grafo dirigido acıclico, D, y tres subconjuntos disjuntosde nodos X, Y y Z.

• Resultado: Comprobacion de la relacion de independencia I(X, Y |Z)en D.


1. Obtener el menor subgrafo que contenga a X, Y , Z y sus subconjuntosde ascendientes.

2. Moralizar el grafo obtenido.

3. Utilizar el criterio de U -separacion para comprobar si Z separa a Xde Y .

Ejemplo 5.4 D-separacion. Considerese de nuevo el grafo dirigido de laFigura 5.2 y supongase que se quieren comprobar, utilizando el Algoritmo5.1, las mismas relaciones de independencia analizadas en el Ejemplo 5.3.La Figura 5.4 representa los cuatro casos, indicando con lınea discontinuaaquellas aristas que son eliminadas al construir el subgrafo ancestral.

• Caso (a). Independencia incondicional, I(L, G|φ)D: No existe ninguncamino que conecte los nodos L y G en el grafo moral del menorsubgrafo ancestral que contenga a L, G y φ (ver Figura 5.4(a)). Portanto, I(L, G|φ)D.

• Caso (b). Dependencia condicional, D(L, S|F )D: La Figura 5.4(b)muestra que existe un camino, L − E − S, que no contiene ningunnodo en {F} y que conecta los nodos L y S en el grafo moral del menorsubgrafo ancestral que contiene a L, S y F . Por tanto, D(L, S|F )D.

• Caso (c). Independencia condicional, I(D, F |{L, E})D: Existen doscaminos entre D y F , D−E −F y D−E −S −F , en el grafo moraldel menor subgrafo ancestral que contiene a D, L, E y F (ver Figura5.4(c)). Ambos caminos contienen al nodo E, que esta contenido enel conjunto {L, E}. Por tanto, I(D, F |{L, E})D.

• Caso (d). Dependencia condicional, D(D, {S, F}|L)D: La Figura 5.4(d), muestra el camino D−E−F que conecta D y {S, F} en el grafomoral del menor subgrafo ancestral de {D, S, F, L}. Sin embargo, estecamino no contiene al nodo L. Por tanto, D(D, {S, F}|L)D.

5.3 Algunas Propiedades de la IndependenciaCondicional

Hasta ahora se han introducido tres modelos distintos para definir rela-ciones de independencia condicional: modelos probabilısticos, modelos gra-ficos no dirigidos, y modelos graficos dirigidos. En esta seccion se analizanalgunas propiedades de la independencia condicional que cumplen algunosde estos modelos. Estas propiedades permiten obtener nuevas relaciones deindependencia a partir de un conjunto inicial de relaciones de independen-cia, dado por uno de estos modelos. Por ejemplo, dada la funcion de proba-bilidad conjunta p(x1, . . . , xn) de un conjunto de variables {X1, . . . , Xn},

L G

E S

D F

(c) I(D, F | {L, E}) (d) D(D, {S, F} | L)

L G

E S

D F

L G

E

D F

(b) D(L, S | F)

S

L G

E S

D F

(a) I(L, G | Ø)

5.3 Algunas Propiedades de la Independencia Condicional 189

FIGURA 5.4. Ejemplos de ilustracion del criterio de D-separacion utilizando laDefinicion 5.4.

se puede obtener el conjunto completo de relaciones de independenciaasociado a este modelo probabilıstico comprobando cuales de todas lasposibles independencias en {X1, . . . , Xn} son verificadas por la funcionp(x1, . . . , xn). Sin embargo, en la practica, esta funcion es a menudo des-conocida y, por tanto, solo se dispone de un conjunto de relaciones de in-dependencia que describen las relaciones entre las variables. Este conjuntose denomina lista inicial de independencias.

Definicion 5.5 Lista inicial. Una lista inicial de independencias L esun conjunto de relaciones de independencia de la forma I(X, Y |Z), dondeX, Y y Z son tres subconjuntos disjuntos de {X1, . . . , Xn}, lo cual significaque X e Y son condicionalmente independientes dado Z.

Una vez que se dispone de una lista inicial de independencias, es necesarioconocer si esta lista implica otras independencias que no esten contenidasen el modelo inicial, pero que tengan que ser satisfechas para que el modelocumpla una serie de propiedades de independencia condicional conocidas.Esto motiva el siguiente problema:


• Problema 5.2: Dada una lista inicial de independencias L, ¿comopueden obtenerse nuevas independencias a partir de L utilizandociertas propiedades de independencia condicional?

En esta seccion se introduce un algoritmo para obtener las independenciasderivadas de una lista inicial. Tambien se vera que para que una lista deindependencias sea compatible con los axiomas de la probabilidad, es nece-sario que cumpla una serie de propiedades conocidas que permitiran obtenernuevas independencias del modelo. Estas independencias adicionales se de-nominan independencias derivadas y, en caso de que existan, habran deser confirmadas por los expertos para que el modelo sea consistente conla realidad. El conjunto completo de independencias (iniciales y derivadas)describe las relaciones existentes entre las variables. Los modelos de de-pendencia resultantes son conocidos como modelos definidos por una listainicial, y se describen en el Capıtulo 7.

A continuacion se introducen algunas propiedades de la independenciacondicional. Cada uno de los modelos anteriormente descritos (probabilıs-tico, grafico no dirigido y grafico dirigido) verifica algunas de estas propie-dades, lo que permitira caracterizarlos parcial o totalmente. Con el fin deilustrar estas propiedades de forma grafica, se han utilizado los modelosgraficos no dirigidos mostrados en las Figuras 5.5 y 5.6. En estas figu-ras cada uno de los tres subconjuntos que intervienen en cada relacion deindependencia (por ejemplo, I(X, Y |Z)) esta contenido en un rectangulo.Para distinguir entre los tres subconjuntos, el rectangulo correspondiente alprimero de ellos no esta sombreado, el correspondiente al segundo muestrauna sombra clara, y el correspondiente al tercero (separador), una sombraoscura.

Primeramente se introducen cuatro propiedades que, como se muestraen el apendice de este capıtulo, son satisfechas por cualquier modelo pro-babilıstico. Un analisis mas amplio de estas propiedades puede obtenerse,por ejemplo, en Lauritzen (1974) y Dawid (1979, 1980). En el Capıtulo 6(Teoremas 6.1 y 6.8), se describen las propiedades que son satisfechas porlos modelos graficos no dirigidos y dirigidos, respectivamente.

1. Simetrıa: Si X es condicionalmente independiente de Y dada Z,entonces Y es condicionalmente independiente de X dada Z, es decir,

I(X, Y |Z) ⇔ I(Y, X|Z). (5.1)

La Figura 5.5(a) ilustra esta propiedad.

2. Descomposicion: Si X es condicionalmente independiente de Y ∪Wdada Z, entonces X es condicionalmente independiente de Y dada Z,y X es condicionalmente independiente de W dada Z, es decir,

I(X, Y ∪ W |Z) ⇒ I(X, Y |Z) y I(X, W |Z), (5.2)

Z

X

Y W

Z

X

Y W

(c) Unión débil

Z

X

Y W

&

Z

X

Y

Z

X

Y

(a) Simetría (b) Descomposición

Z

X

Y W

Z

X

Y W

Z

X

Y W

&

Z

X

Y W

Z

X

Y W

Z

X

Y W

&

(d) Contracción

(e) Intersección

Z

X

Y W

Z

X

Y W

Z

X

Y W

&


FIGURA 5.5. Ilustracion grafica de algunas propiedades de independencia condi-cional: (a) Simetrıa, (b) Descomposicion, (c) Union debil, (d) Contraccion, e (e)Interseccion. El conjunto separador se indica con un rectangulo con sombra os-cura, y los otros dos subconjuntos con rectangulos sin sombra, y con sombraclara, respectivamente.


Observese que Y y W no tienen por que ser necesariamente disjuntos.

Esta propiedad se ilustra en la Figura 5.5(b). La implicacion recıprocade (5.2) se conoce como propiedad de composicion. Sin embargo, estapropiedad no se cumple en todos los modelos probabilısticos, comoindica el ejemplo siguiente.

Ejemplo 5.5 Violacion de la propiedad de composicion. Con-siderese el conjunto de variables binarias {X, Y, Z, W}. En la Tabla5.1 se muestran dos funciones de probabilidad distintas para este con-junto de variables. Estas funciones han sido obtenidas fijando valoresnumericos para algunos de los parametros (los indicados con dos cifrasdecimales en la Tabla 5.1) y calculando los valores restantes para quela funcion de probabilidad p1 viole la propiedad de composicion, ypara que la funcion p2 cumpla esta propiedad.

Es facil comprobar que p1(x, y, z, w) cumple las relaciones de in-dependencia I(X, Y |Z) y I(X, W |Z) pero, en cambio, no cumpleI(X, Y ∪W |Z), lo que prueba que no satisface la propiedad de com-posicion. Puede comprobarse que no existe ninguna combinacion devalores de las variables (x, y, z, w) que cumpla la igualdad

p(x|y, w, z) = p(x|z).

Por el contrario, la funcion de probabilidad conjunta p2(x, y, z, w) ve-rifica I(X, Y |Z), I(X, W |Z) y I(X, Y ∪W |Z). Por tanto, esta funcionde probabilidad cumple la propiedad de composicion mientras quep1(x, y, z, w) no la cumple.

3. Union Debil:

I(X, Y ∪ W |Z) ⇒ I(X, W |Z ∪ Y ) y I(X, Y |Z ∪ W ). (5.3)

La Figura 5.5(c) ilustra graficamente esta propiedad, que refleja elhecho de que el conocimiento de informacion irrelevante Y no puedehacer que otra informacion irrelevante W se convierta en relevante.

4. Contraccion: Si W es irrelevante para X despues de conocer algunainformacion irrelevante Y , entonces W debe haber sido irrelevanteantes de conocer Y , es decir,

I(X, W |Z ∪ Y ) y I(X, Y |Z) ⇒ I(X, Y ∪ W |Z). (5.4)

La Figura 5.5(d) ilustra graficamente esta propiedad.

Las propiedades de union debil y contraccion caracterizan el hechode que la informacion irrelevante no debe alterar la relevancia de


x y z w p1(x, y, z, w) p2(x, y, z, w)

0 0 0 0 0.012105300 0.00375000 0 0 1 0.005263160 0.00500000 0 1 0 0.000971795 0.13122000 0 1 1 0.024838000 0.15746400 1 0 0 0.01 0.00875000 1 0 1 0.02 0.010 1 1 0 0.03 0.23619600 1 1 1 0.04 0.021 0 0 0 0.05 0.031 0 0 1 0.06 0.041 0 1 0 0.07 0.051 0 1 1 0.08 0.061 1 0 0 0.09 0.071 1 0 1 0.10 0.081 1 1 0 0.11 0.091 1 1 1 0.296822000 0.0076208

TABLA 5.1. Ejemplos de dos funciones de probabilidad conjunta. p2(x, y, z, w)verifica la propiedad de composicion; sin embargo p1(x, y, z, w) no la verifica.

otra informacion en el modelo. En otras palabras, la informacion re-levante permanece relevante y la informacion irrelevante permaneceirrelavante.

Cualquier modelo probabilıstico cumple las cuatro propiedades ante-riores; sin embargo, como se muestra en el apendice de este capıtulo,la propiedad siguiente solo se cumple si la funcion de probabilidad esno extrema.

5. Interseccion:

I(X, W |Z ∪ Y ) y I(X, Y |Z ∪ W ) ⇒ I(X, Y ∪ W |Z).

Esta propiedad se ilustra graficamente en la Figura 5.5(e) y estableceque, a menos que Y afecte a X cuando W es conocida, o que W afectea X cuando Y es conocida, entonces ni W ni Y , ni su combinacion,pueden afectar a X.

Las cuatro propiedades siguientes no son satisfechas, en general, porlos modelos probabilısticos pero, como se vera en el Capıtulo 7, per-mitiran caracterizar los modelos graficos de dependencia.

6. Union Fuerte: Si X es condicionalmente independiente de Y dadoZ, entonces X tambien es condicionalmente independiente de Y dado

(d) Cordalidad

o

&

o

B

A

C

D

B

A

C

D B

A

C

D

B

A

C

D B

A

C

D

B

A

C

D

(c) Transitividad débil

&Z

X

Y

Z

X

Y

Z

X

Y

Z

X

Y

o

A A A A

Z

X

Y

Z

X

Y

Z

X

Y

o

(b) Transitividad fuerte(a) Unión fuerte

Z

X

Y W

Z

X

Y W A AA


FIGURA 5.6. Ilustracion grafica de algunas propiedades de independencia condi-cional: (a) Union fuerte, (b) Transitividad fuerte, (c) Transitividad debil, y (d)Cordalidad. El conjunto separador se indica con un rectangulo con sombra os-cura, y los otros dos subconjuntos con rectangulos sin sombra, y con sombraclara, respectivamente.

(a)

Z

X

Y

W Z

X

Y

W

(b)


Z ∪ W , es decir,

I(X, Y |Z) ⇒ I(X, Y |Z ∪ W ). (5.5)

Esta propiedad se ilustra graficamente por medio del grafo no dirigidode la Figura 5.6(a). El ejemplo siguiente muestra que, por el contrario,los modelos graficos dirigidos cumplen esta propiedad.

Ejemplo 5.6 Violacion de la propiedad de union fuerte. Con-siderese el grafo dirigido acıclico dado en la Figura 5.7(a). Utilizandoel criterio de D-separacion se puede concluir que el grafo cumple larelacion de independencia I(X, Y |Z) (pues existe un unico caminoentre X e Y en el grafo moral del menor subgrafo ancestral que con-tiene a X, Y y Z, y este camino contiene al nodo Z). Sin embargo, sise anade el nodo W al conjunto separador, entonces los nodos X e Yresultan dependientes (ver Figura 5.7(b)). Este hecho es debido a queexiste un camino entre X e Y que no contiene al nodo Z en el grafomoral del menor subgrafo ancestral que contiene a {X, Y, W, Z}. Portanto, se tiene la relacion D(X, Y |{Z, W}), que muestra que los mo-delos graficos dirigidos no verifican la propiedad de union fuerte.

FIGURA 5.7. Ilustracion grafica de que los grafos dirigidos no verifican lapropiedad de union fuerte.

7. Transitividad Fuerte: Si X es condicionalmente independiente deA dado Z, y A es condicionalmente dependiente de Y dado Z, en-tonces X es condicionalmente dependiente de Y dado Z, es decir,

D(X, A|Z) y D(A, Y |Z) ⇒ D(X, Y |Z),

o, de forma equivalente,

I(X, Y |Z) ⇒ I(X, A|Z) o I(A, Y |Z), (5.6)

donde A es una unica variable.


La propiedad de transitividad fuerte afirma que dos variables han deser dependientes si existe otra variable A que dependa de ambas (verFigura 5.6(b)).

8. Transitividad Debil: Si X y A son condicionalmente dependientesdado Z, e Y y A son condicionalmente dependientes dado Z, entoncesX e Y son condicionalmente dependientes dado Z, o X e Y soncondicionalmente dependientes dado Z ∪ A, es decir,

D(X, A|Z) y D(A, Y |Z) ⇒ D(X, Y |Z) o D(X, Y |Z ∪ A),


I(X, Y |Z) y I(X, Y |Z ∪ A) ⇒ I(X, A|Z) o I(A, Y |Z), (5.7)

donde A es una unica variable. La Figura 5.6(c) ilustra esta propiedad.

9. Cordalidad: Si A y C son condicionalmente dependientes dado B,y A y C son condicionalmente dependientes dado D, entonces A yC son condicionalmente dependientes dado B ∪ D, o B y D soncondicionalmente dependientes dado A ∪ C, es decir,

D(A, C|B) y D(A, C|D) ⇒ D(A, C|B ∪ D) o D(B, D|A ∪ C),


I(A, C|B ∪ D) y I(B, D|A ∪ C) ⇒ I(A, C|B) o I(A, C|D), (5.8)

donde A, B, C y D son conjuntos de una unica variable. Esta propiedadse ilustra en la Figura 5.6(d).

Antes de concluir esta seccion, se muestran las siguientes implicacionesentre las propiedades descritas:

1. Union fuerte (UF) implica union debil:

I(X, Y ∪ W |Z)UF⇒ I(X, Y ∪ W |Z ∪ W )⇒ I(X, Y |Z ∪ W ).

2. Transitividad fuerte implica transitividad debil.

3. Union fuerte e interseccion (IN) implican contraccion:

I(X, Y |Z)UF⇒ I(X, Y |Z ∪ W )

I(X, W |Z ∪ Y )

}

IN⇒ I(X, Y ∪ W |Z).

4. Union fuerte e interseccion tambien implican composicion:

I(X, Y |Z)UF⇒ I(X, Y |Z ∪ W )

I(X, W |Z)UF⇒ I(X, W |Z ∪ Y )

}

IN⇒ I(X, Y ∪ W |Z).

5.4 Modelos de Dependencia 197

Las propiedades anteriores se utilizaran en la seccion siguiente para con-cluir independencias adicionales a partir de algunas listas de independen-cias particulares, que verifican ciertas propiedades y permitiran caracterizarlas estructuras de dependencia e independencia contenidas en los modelosprobabilısticos y graficos.

5.4 Modelos de Dependencia

Ahora que ya han sido introducidas algunas propiedades de la independen-cia condicional es posible analizar el Problema 5.2:

• Pregunta 5.2: Dada una lista inicial de relaciones de independen-cia L, ¿como pueden obtenerse nuevas independencias a partir de Lutilizando ciertas propiedades de independencia condicional?

Observese que, hasta ahora, no se ha requerido que las listas de rela-ciones de independencia cumpliesen ninguna condicion (solo que los sub-conjuntos que componen cada relacion sean disjuntos). Cuando se imponealguna condicion a estos modelos como, por ejemplo, que cumplan uncierto conjunto de propiedades de independencia condicional, se obtienenalgunos tipos especiales de listas de independencias, algunos de los cualesse describen a continuacion.

Definicion 5.6 Grafoide. Un grafoide es un conjunto de relaciones deindependencia que es cerrado con respecto a las propiedades de simetrıa,descomposicion, union debil, contraccion e interseccion.

Definicion 5.7 Semigrafoide. Un semigrafoide es un conjunto de rela-ciones de independencia que es cerrado con respecto a las propiedades desimetrıa, descomposicion, union debil y contraccion.

Por tanto, un grafoide debe satisfacer las cinco primeras propiedades, mien-tras que un semigrafoide debe satisfacer solo las cuatro primeras (ver Pearly Paz (1987) y Geiger (1990)).

Dada una lista inicial de independencias, un grafo, o una funcion deprobabilidad conjunta, siempre es posible determinar que relaciones de in-dependencia se cumplen en el modelo y, por tanto, determinar su estructuracualitativa. Por tanto, estos tipos de modelos definen clases particulares delos denominados modelos de dependencia.

Definicion 5.8 Modelo de Dependencia. Cualquier modelo M de unconjunto de variables {X1, . . . , Xn} mediante el cual se pueda determinarsi la relacion I(X, Y |Z) es o no cierta, para todas las posibles ternas desubconjuntos X, Y y Z, se denomina modelo de dependencia.


Definicion 5.9 Modelo de dependencia probabilıstico. Un modelode dependencia M se denomina probabilıstico si contiene todas las rela-ciones de independencia dadas por una funcion de probabilidad conjuntap(x1, . . . , xn).

Definicion 5.10 Modelo de dependencia probabilıstico no ex-

tremo. Un modelo de dependencia probabilıstico no extremo es un mo-delo de dependencia probabilıstico obtenido de una funcion de probabilidadno extrema, o positiva; es decir, p(x1, . . . , xn) toma valores en el intervaloabierto (0, 1).

Dado que todas las funciones de probabilidad satisfacen las cuatro primeraspropiedades de independencia condicional, todos los modelos de dependen-cia probabilısticos son semigrafoides. Por otra parte, dado que solo las fun-ciones de probabilidad no extremas satisfacen la propiedad de interseccion,solo los modelos de dependencia probabilısticos no extremos son grafoides.

Definicion 5.11 Modelo de dependencia compatible con una pro-

babilidad. Un modelo de dependencia M se dice compatible con una fun-cion de probabilidad p(x1, . . . , xn) si todas las relaciones de independenciaderivadas M son tambien satisfechas por p(x1, . . . , xn).

Observese que un modelo de dependencia compatible con una probabilidades aquel que puede obtenerse de una funcion de probabilidad conjuntap(x1, . . . , xn), pero sin necesidad de ser completo, es decir, no tienen porque contener todas las relaciones de independencia que pueden obtenersede p(x1, . . . , xn).

Dado que toda funcion de probabilidad cumple las cuatro primeras pro-piedades de la independencia condicional, si un modelo de dependenciaM es compatible con una funcion de probabilidad p(x1, . . . , xn), entoncesel menor semigrafoide generado por M tambien debe ser compatible conp(x1, . . . , xn). Por tanto, un problema interesante desde el punto de vistapractico es calcular el menor semigrafoide generado por un modelo dedependencia M . El siguiente algoritmo puede ser utilizado con este fin:

Algoritmo 5.2 Generando un grafoide mınimo.

• Datos: Un modelo de dependencia inicial M .

• Resultado: El mınimo grafoide que contiene a M .

1. Generar nuevas relaciones de independencia aplicando las propieda-des de simetrıa, descomposicion, union debil, contraccion e inter-seccion a las relaciones del modelo M . El conjunto resultante es elgrafoide buscado.

El algoritmo anterior tambien puede ser utilizado para generar un semi-grafoide; para ello basta con no utilizar la propiedad de interseccion. Elejemplo siguiente ilustra este algoritmo.

5.5 Factorizaciones de una Funcion de Probabilidad 199

Ejemplo 5.7 Generando grafoides. Supongase que se tiene un con-junto de cuatro variables {X1, X2, X3, X4} y que se da la siguiente lista derelaciones de independencia:

M = {I(X1, X2|X3), I(X1, X4|X2), I(X1, X4|{X2, X3})}. (5.9)

La Tabla 5.2 muestra las relaciones de independencia iniciales, y las rela-ciones derivadas necesarias para completar el modelo hasta convertirlo enun semigrafoide y un grafoide, respectivamente. Las nuevas relaciones de in-dependencia son generadas utilizando un programa de ordenador llamadoX-pert Maps,2 que implementa el Algoritmo 5.2. La Tabla 5.2 tambienmuestra las relaciones de independencia que se utilizan para obtener lasnuevas independencias.

Por tanto, las cinco primeras propiedades pueden ser utilizadas para au-mentar un modelo de dependencia M compatible con una funcion de pro-babilidad p(x1, . . . , xn). Tanto el modelo inicial como el completado soncompatibles con p(x1, . . . , xn). Esto motiva el siguiente problema:

• Pregunta 5.3. ¿Constituyen las cuatro propiedades descritas ante-riormente una caracterizacion completa de los modelos probabilısticos?

Pearl y Paz (1987) (ver Pearl, (1988) p. 88) conjeturaron que las primerascuatro propiedades (simetrıa, descomposicion, union debil, y contraccion)eran completas. Sin embargo, esta conjetura fue refutada por Studeny(1989) encontrando, primeramente, un propiedad que no puede derivarsede las cuatro anteriores y mostrando, despues, que no existe ningun con-junto completo de propiedades que caractericen los modelos probabilısticos(Studeny (1992)).

Como se vera en los capıtulos siguientes, la estructura cualitativa deun modelo probabilıstico puede ser representada mediante un modelo dedependencia que permitira obtener una factorizacion de la funcion de pro-babilidad. En la seccion siguiente se introducen algunos conceptos sobrefactorizaciones de una funcion de probabilidad.

5.5 Factorizaciones de una Funcion deProbabilidad

Cualquier funcion de probabilidad de un conjunto de variables aleato-rias puede ser definida por medio de funciones de probabilidad condicio-nada mas sencillas formando una factorizacion. En esta seccion se analizandistintas formas de factorizar una funcion de probabilidad.

2El programa X-Pert Maps puede obtenerse en la direccion WWWhttp://ccaix3.unican.es/˜AIGroup.


Lista inicial

M = {I(X1, X2|X3), I(X1, X4|X2), I(X1, X4|X2X3)}

RIC adicionales para Semigrafoide

Propiedad RIC Derivadas Derivada de

Simetrıa I(X2, X1|X3) I(X1, X2|X3)Simetrıa I(X4, X1|X2) I(X1, X4|X2)Simetrıa I(X4, X1|X2X3) I(X1, X4|X2X3)Contraccion I(X1, X2X4|X3) I(X1, X2|X3) y I(X1, X4|X2X3)Simetrıa I(X2X4, X1|X3) I(X1, X2X4|X3)Union Debil I(X1, X2|X3X4) I(X1, X2X4|X3)Simetrıa I(X2, X1|X3X4) I(X1, X2|X3X4)Descomposicion I(X1, X4|X3) I(X1, X2X4|X3)Simetrıa I(X4, X1|X3) I(X1, X4|X3)

RIC adicionales para Grafoide

Propiedad RIC Derivadas Derivada de

Interseccion I(X1, X2X4|φ) I(X1, X2|X3X4) y I(X1, X4|X2)Simetrıa I(X2X4, X1|φ) I(X1, X2X4|φ)Descomposicion I(X1, X2|φ) I(X1, X2X4|φ)Simetrıa I(X2, X1|φ) I(X1, X2|φ)Union Debil I(X1, X2|X4) I(X1, X2X4|φ)Simetrıa I(X2, X1|X4) I(X1, X2|X4)Descomposicion I(X1, X4|φ) I(X1, X2X4|φ)Simetrıa I(X4, X1|φ) I(X1, X4|φ)

TABLA 5.2. Mınimos semigrafoide y grafoide generados por la lista inicial M derelaciones de independencia condicional (RIC) en (5.9), obtenidos utilizando elAlgoritmo 5.2.

Definicion 5.12 Factorizacion mediante funciones potenciales. SeanC1, . . . , Cm subconjuntos de un conjunto de variables X = {X1, . . . , Xn}. Sila funcion de probabilidad conjunta de X puede ser escrita como productode m funciones no negativas Ψi (i = 1, . . . , m), es decir,

p(x1, . . . , xn) =m∏

i=1

Ψi(ci), (5.10)

donde ci es una realizacion de Ci, entonces se dice que (5.10) es una fac-torizacion de la funcion de probabilidad. Las funciones Ψi se denominanfactores potenciales de la funcion de probabilidad.

En el Capıtulo 6 se veran ejemplos importantes de este tipo de factorizacion.Observese que los conjuntos C1, . . . , Cm no son necesariamente disjuntos


y que las funciones Ψi no son necesariamente funciones de probabilidad.Cuando se exige que las funciones Ψi sean funciones de probabilidad, seobtienen factorizaciones particulares, algunas de las cuales se comentan acontinuacion.

Sea {Y1, . . . , Ym} una particion (subconjuntos disjuntos dos a dos cuyaunion es el conjunto total) del conjunto {X1, . . . , Xn}. Un tipo importantede factorizaciones se obtiene aplicando la formula siguiente, conocida comoregla de la cadena.

Definicion 5.13 Regla de la cadena. Cualquier funcion de probabilidadde un conjunto de variables {X1, . . . , Xn} puede ser expresada como elproducto de m funciones de probabilidad condicionada de la forma

p(x1, . . . , xn) =

m∏

i=1

p(yi|bi), (5.11)

o, de modo equivalente,

p(x1, . . . , xn) =m∏

i=1

p(yi|ai), (5.12)

donde Bi = {Y1, . . . , Yi−1} es el conjunto de variables anteriores a Yi yAi = {Yi+1, . . ., Yn} es el conjunto de variables posteriores a Yi. Observeseque ai y bi son realizaciones de Ai y Bi, respectivamente.

Cuando los conjuntos Yi estan formados por una unica variable, en-tonces se tiene m = n y el conjunto {Y1, . . . , Yn} es simplemente unapermutacion de {X1, . . . , Xn}. En este caso, (5.11) y (5.12) se denominanreglas canonicas de la cadena y se tiene

p(x1, . . . , xn) =

n∏

i=1

p(yi|bi) (5.13)

y

p(x1, . . . , xn) =n

∏

i=1

p(yi|ai), (5.14)

respectivamente.

Ejemplo 5.8 Regla de la cadena. Considerese el conjunto de variables{X1, . . . , X4} y la particion Y1 = {X1}, Y2 = {X2}, Y3 = {X3}, Y4 ={X4}. Entonces (5.13) y (5.14) proporcionan la siguientes factorizacionesequivalentes de la funcion de probabilidad:

p(x1, . . . , x4) = p(x1)p(x2|x1)p(x3|x1, x2)p(x4|x1, x2, x3) (5.15)

yp(x1, . . . , x4) = p(x1|x2, x3, x4)p(x2|x3, x4)p(x3|x4)p(x4). (5.16)


Por tanto, la funcion de probabilidad puede expresarse como el producto decuatro funciones de probabilidad condicionada. Notese que existen variasformas de aplicar la regla de la cadena a una misma funcion de probabili-dad (considerando distintas particiones), lo que origina distintas factoriza-ciones. Por ejemplo, a continuacion se muestran dos factorizaciones equi-valentes obtenidas aplicando la regla de la cadena a distintas particionesde {X1, . . . , X4}:

• La particion Y1 = {X1}, Y2 = {X2, X3}, y Y3 = {X4} da lugar a

p(x1, . . . , x4) = p(x1)p(x2, x3|x1)p(x4|x1, x2, x3).

• La particion Y1 = {X1, X4} y Y2 = {X2, X3} produce la factorizacion

p(x1, . . . , x4) = p(x1, x4)p(x2, x3|x1, x4).

En la Seccion 3.5 se ha visto que el numero de parametros que definen unmodelo probabilıstico puede ser reducido imponiendo ciertas restricciones.Por ejemplo, los distintos modelos presentados en la Seccion 3.5 fueron ob-tenidos suponiendo ciertas relaciones de independencia condicional para elmodelo. Con el fin de ilustrar la forma en la que la inclusion de una relacionde independencia en un modelo probabilıstico da lugar a una reduccion deparametros en el modelo, es conveniente escribir la funcion de probabili-dad conjunta como producto de funciones de probabilidad condicionadautilizando, por ejemplo, la regla de la cadena. Este hecho se ilustra en elsiguiente ejemplo.

Ejemplo 5.9 Restricciones dadas por independencias. Considereseel conjunto de variables dado en el Ejemplo 5.8 y supongase que un expertopropone las dos siguientes relaciones de independencia:

I(X3, X1|X2) y I(X4, {X1, X3}|X2). (5.17)

A fin de incluir estas relaciones en el modelo probabilıstico, interesa calcularlas restricciones que deben cumplir los parametros del modelo para satis-facer estas condiciones de independencia. La primera de estas relacionesimplica

p(x3|x1, x2) = p(x3|x2), (5.18)

mientras que la segunda implica

p(x4|x1, x2, x3) = p(x4|x2). (5.19)

Observese que la forma general del modelo probabilıstico no es una formaconveniente para calcular las restricciones entre los parametros, dadas por(5.18) y (5.19). Sin embargo, si se sustituyen estas dos igualdades en la


factorizacion del modelo probabilıstico (5.15), se obtiene la siguiente es-tructura

p(x1, . . . , x4) = p(x1)p(x2|x1)p(x3|x2)p(x4|x2). (5.20)

Suponiendo que las variables son binarias, la funcion de probabilidad en(5.15) depende de 24−1 = 15 parametros libres.3 Por otra parte, la funcionde probabilidad en (5.20) depende de siete parametros (p(x1) depende deun parametro, y cada una de las restantes funciones de probabilidad con-dicionada depende de dos parametros). Por tanto, las dos relaciones deindependencia dadas en (5.17) dan lugar a una reduccion de 8 parametrosen el modelo probabilıstico.

Definicion 5.14 Funcion de probabilidad condicionada canonica.

Sea Ui ⊂ X = {X1, . . . , Xn}. Una funcion de probabilidad condicionadap(xi|ui) se dice canonica si Xi esta formada por una unica variable que noesta contenida en Ui.

El siguiente teorema, probado por Gelman y Speed (1993), garantiza quecada conjunto de funciones de probabilidad condicionada, dado en formano canonica, tiene asociado un conjunto canonico equivalente.

Teorema 5.1 Existencia de formas canonicas. Considerese el con-junto de variables X = {X1, . . . , Xn} y suponganse las funciones de pro-babilidad marginales y condicionadas P = {p(u1|v1), . . . , p(um|vm)}, dondeUi y Vi son subconjuntos disjuntos de X, tal que Ui 6= φ y Vi puede ser vacıo(para el caso de funciones marginales). Entonces, a partir de P puede obte-nerse un conjunto equivalente en el que los nuevos conjuntos Ui contienenuna unica variable de X.

Demostracion: Aplicando la regla de la cadena a p(ui|vi) pueden ob-tenerse tantas nuevas funciones condicionadas canonicas como variablescontenga el conjunto Ui, es decir, el conjunto

{p(xj |cij , vi) ∀Xj ∈ Ui}, (5.21)

donde Cij = {Xr |Xr ⊂ Ui, r < j}.

El algoritmo siguiente convierte un conjunto dado de funciones condi-cionadas P en una representacion canonica equivalente.

Algoritmo 5.3 Forma canonica.

• Datos: Un conjunto P = {p(ui|vi), i = 1, . . . , m} de m funciones deprobabilidad condicionada, donde Ui y Vi son subconjuntos disjuntosde X.

3Realmente existen 16 parametros, pero la suma de todos ha de ser 1. Portanto, existen unicamente 15 parametros libres.


• Resultado: Un conjunto equivalente P ∗ en forma canonica.

1. Iniciacion: Considerar P ∗ = φ e i = 1.

2. Asignar j = 1, Si = Ui ∪ Vi y L = card(Ui).

3. Eliminar de Si una de las variables contenidas en Ui, por ejemplo Xℓ,y anadir p(xℓ|si) a P ∗.

4. Si j < L, incrementar el ındice j en una unidad e ir a la Etapa 3; encaso contrario, ir a la Etapa 5.

5. Si i < m, incrementar el ındice i en una unidad e ir a la Etapa 2; encaso contrario, devolver P ∗ como resultado.

Ejemplo 5.10 Supongase el conjunto de variables X = {A, B, C, D} yel conjunto de funciones de probabilidad P = {p(a, b|c), p(a, c, d|b)}. Uti-lizando la notacion del Algoritmo 5.3, los conjuntos Ui y Vi son

U1 = {A, B}, V1 = {C},U2 = {A, C, D}, V2 = {B}.

Para convertir las dos funciones de probabilidad condicionada de P en susformas canonicas correspondientes, se utiliza el Algoritmo 5.3 obteniendose

p(a, b|c) = p(a|b, c)p(b|c),p(a, c, d|b) = p(a|c, d, b)p(c|d, b)p(d|b).

(5.22)

Por tanto, se obtiene la representacion canonica

P ∗ = {p(a|b, c)p(b|c); p(a|c, d, b)p(c|d, b)p(d|b)}. (5.23)

La Figura 5.8 muestra un programa de Mathematica para convertir el con-junto dado P en forma canonica. Dada una lista de pares {U, V }, el pro-grama devuelve la lista canonica asociada. Por ejemplo, dadas las funcionesde probabilidad en (5.22) los siguientes comandos de Mathematica permitenobtener la forma canonica correspondiente mostrada en (5.23):

In:=Canonical[List[{{A,B},{C}},{{A,C,D},{B}}]]

Out:=List[{{A},{B,C}},{{B},{C}},{{A},{C,D,B}},{{C},{D,B}},{{D},{B}}]

Definicion 5.15 Probabilidad condicionada canonica estandar.

Sea {Y1, . . . , Yn} una permutacion del conjunto X = {X1, . . . , Xn}. Unafuncion de probabilidad condicionada p(yi|si) se dice que es una funcion deprobabilidad condicionada en forma canonica estandar si Yi esta formadopor una unica variable y Si contiene todas las variables anteriores a Yi, otodas las variables posteriores a Yi, es decir, o bien Si = {Y1, ..., Yi−1}, obien, Si = {Yi+1, ..., Yn}.


Canonical[P List]:= Module[{U,V,S,l,PCan},PCan={};Do[U=P[[i,1]]; (* Primer elemento del par i-esimo *)

V=P[[i,2]];

S=Join[U,V];

l=Length[U];

Do[S=Drop[S,1]; (* Elimina el ultimo elemento *)

AppendTo[PCan,{{U[[j]]},S}],{j,1,l}]

,{i,1,Length[P]}];Return[PCan]

]

FIGURA 5.8. Programa de Mathematica para convertir un conjunto dado P defunciones de probabilidad condicionada a forma canonica.

Por ejemplo, dada la permutacion Y = {Y1, Y2, Y3, Y4}, las funciones deprobabilidad p(y1) y p(y3|y1, y2) son probabilidades condicionadas en formacanonica estandar; sin embargo, p(y2|y1, y3) y p(y1|y3, y4) son canonicaspero no estan en forma estandar.

Definicion 5.16 Representacion canonica estandar de una pro-

babilidad. Sea {Y1, . . . , Yn} una permutacion del conjunto de variablesX = {X1, . . . , Xn}. Entonces la funcion de probabilidad p(x) puede ex-presarse como el producto de n funciones de probabilidad condicionada enforma canonica estandar de la forma siguiente

p(x) =n

∏

i=1

p(yi|bi), (5.24)

donde Bi = {Y1, . . . , Yi−1} o, de forma equivalente,

p(x) =n

∏

i=1

p(yi|ai), (5.25)

donde Ai = {Yi+1, . . . , Yn}. Las ecuaciones (5.24) y (5.25) se denomi-nan representaciones canonicas estandar de la probabilidad. Los terminosp(yi|bi) y p(yi|ai) se denominan componentes canonicas estandar.

Por ejemplo, (5.24) y (5.25) corresponden a dos representaciones canonicasestandar de p(x1, . . . , x4). Las formas canonicas estandar no son unicas,al igual que las formas canonicas, pues pueden obtenerse distintas repre-sentaciones aplicando la regla de la cadena a distintas permutaciones deX.


Las consecuencias practicas de la existencia de una representacion cano-nica para cualquier conjunto P de funciones de probabilidad condicionadason

1. Cualquier conjunto no canonico de funciones de probabilidad condi-cionada P puede ser expresado en forma canonica de forma equiva-lente.

2. Cualquier funcion de probabilidad puede ser factorizada, utilizandola regla de la cadena, como un producto de funciones de probabilidadcondicionada en forma canonica estandar.

3. Solo es necesario considerar funciones de probabilidad condicionadade una unica variable para definir la funcion de probabilidad de unconjunto de variables.

Las principales ventajas de este tipo de representaciones son las si-guientes:

• La definicion de un modelo probabilıstico se simplifica enorme-mente al tratar con funciones de probabilidad condicionada deuna unica variable (dado un conjunto de variables). Este pro-ceso es mas sencillo que la especificacion directa de una funcionde probabilidad pues, generalmente, las funciones de probabili-dad condicionada dependen de muchas menos variables que lafuncion de probabilidad conjunta.

• La programacion de algoritmos tambien se simplifica ya quesolo es necesario considerar un unico modelo generico para lasfunciones de probabilidad condicionada.

4. Las formas canonicas estandar permiten identificar facilmente aque-llos conjuntos de funciones de probabilidad condicionada que son con-sistentes con algun modelo probabilıstico. Tambien permiten determi-nar cuando es unico el modelo probabilıstico definido (ver el Capıtulo7).

5.6 Construccion de un Modelo Probabilıstico

El problema de construir una funcion de probabilidad para un conjunto devariables puede simplificarse notablemente considerando una factorizacionde la probabilidad como producto de funciones de probabilidad condicio-nada mas sencillas. El grado de simplificacion dependera de la estructura deindependencia (incondicional o condicional) existente entre las variables delmodelo. Por tanto, para encontrar una factorizacion apropiada del modeloprobabilıstico, primero se necesita conocer su estructura de independencia.Esta estructura de independencia (modelo de dependencia) caracteriza la

5.6 Construccion de un Modelo Probabilıstico 207

estructura cualitativa de las relaciones entre las variables. Por ejemplo, senecesita definir que variables son independientes y/o condicionalmente in-dependientes de otras y cuales no. La estructura de independencia y, portanto, la factorizacion asociada al modelo probabilıstico, puede ser obtenidade varias formas:

1. Modelos definidos graficamente: Como se ha visto en las sec-ciones anteriores, las relaciones existentes entre las variables de unconjunto pueden ser descritas mediante un grafo. Posteriormente,utilizando un criterio de separacion apropiado, se puede obtener elconjunto de relaciones de independencia asociado. Estos modelos dedependencia se conocen como modelos definidos graficamente, y tie-nen como ejemplos mas importantes a las redes de Markov, y las redesBayesianas, que se analizan en detalle en los Capıtulos 6 y 7. Las ta-reas de comprobar la validez de un grafo, entender sus implicaciones,y modificarlo de forma apropiada han de ser realizadas partiendode la comprension de las relaciones de dependencia e independenciaexistentes en el conjunto de variables.

2. Modelos definidos por listas de independencias: Los grafos sonherramientas muy utiles para definir la estructura de independenciade un modelo probabilıstico. El problema de los modelos graficos esque no todas las funciones de probabilidad pueden ser representadasmediante estos modelos (ver Seccion 6.2). Una descripcion alternativaa los modelos graficos consiste en utilizar directamente un conjuntoM de relaciones de independencia que describan las relaciones en-tre las variables. Este conjunto puede ser definido por un expertoa partir de sus opiniones sobre las relaciones entre las variables delmodelo. Cada una de las independencias del conjunto indica que va-riables contienen informacion relevante sobre otras y cuando el cono-cimiento de algunas variables hace que otras sean irrelevantes paraun conjunto de variables dado. Este conjunto inicial de independen-cias puede ser completado incluyendo aquellas otras que cumplan unaserie de propiedades de independencia condicional. El conjunto resul-tante puede ser finalmente utilizado para obtener una factorizacionde la funcion de probabilidad del modelo. Los modelos resultantesse conocen como modelos definidos por listas de relaciones de in-dependencia. El Capıtulo 7 presenta un analisis detallado de estosmodelos.

3. Modelos definidos condicionalmente: Como alternativa a los mo-delos graficos y los modelos dados por listas de relaciones de indepen-dencia, la estructura cualitativa de un modelo probabilıstico puedevenir dada por un conjunto de funciones de probabilidad marginalesy condicionadas

P = {p1(u1|v1), . . . , pm(um|vm)}.


Sin embargo, las funciones de este conjunto no pueden definirse li-bremente, sino que han de satisfacer ciertas relaciones para ser com-patibles y definir un unico modelo probabilıstico. En el Capıtulo 7se analiza detalladamente la forma de comprobar la compatibilidad,la unicidad, y de obtener la funcion de probabilidad asociada a unconjunto de probabilidades marginales y condicionadas.

Una ventaja de utilizar modelos graficos, o modelos definidos por listas deindependencias, para construir un modelo probabilıstico es que estos mode-los definen una factorizacion de la funcion de probabilidad como productode funciones de probabilidad condicionada que determinan la estructuracualitativa del modelo probabilıstico. Normalmente, estas funciones condi-cionadas contienen un numero menor de variables que la funcion de pro-babilidad conjunta y, por tanto, el proceso de definicion del modelo proba-bilıstico es mas sencillo. Esta tecnica de romper (“de dividir y conquistar”)la funcion de probabilidad como producto de funciones condicionadas massencillas se analiza en los Capıtulos 6 y 7.

Una vez que se conoce la estructura cualitativa del modelo probabilıstico(la factorizacion de la funcion de probabilidad), la estructura cuantita-tiva de un modelo particular se define mediante la asignacion de valoresnumericos a los parametros asociados a las funciones de probabilidad con-dicionada que intervienen en la factorizacion del modelo. Estos valores hande ser definidos por algun experto, o estimados a partir de un conjunto dedatos.

Por tanto, si la estructura cualitativa del modelo es desconocida, quees el caso habitual en la practica, entonces tanto la estructura cualitativa,como la cuantitativa (los parametros) han de ser estimadas a partir delconjunto de datos disponible (una base de datos, etc.). Este problema, quese conoce como aprendizaje, se trata en detalle en el Capıtulo 11.

Como resumen de todo lo anterior, la construccion de un modelo proba-bilıstico puede ser realizada en dos etapas:

1. Factorizar la funcion de probabilidad mediante un producto de fun-ciones de probabilidad condicionada. Esta factorizacion puede obte-nerse de tres formas distintas:

(a) Utilizando grafos (ver Capıtulo 6).

(b) Utilizando listas de relaciones de independencia (ver Capıtulo7).

(c) A partir de un conjunto de funciones de probabilidad condicio-nada (Capıtulo 7).

2. Estimar los parametros de cada una de las funciones de probabilidadcondicionada resultantes.

Este proceso se ilustra de modo esquematico en la Figura 5.9. En estediagrama, una lınea continua de un rectangulo A a un rectangulo B significa

Modelosespecificadosgráficamente

Modelosespecificados

por listas

Estructuracualitativa

(Factorización)

ModeloProbabilístico

Estructuracuantitativa

(Estimación deparámetros)

Distribucionesde probabilidadcondicionada


que cada miembro de A es tambien un miembro de B, mientras que unalınea discontinua significa que algunos, pero no necesariamente todos, losmiembros de A son miembros de B. El camino mas simple para definirun modelo probabilıstico es comenzar con un grafo que se supone describela estructura de dependencia e independencia de las variables. A conti-nuacion, el grafo puede utilizarse para construir una factorizacion de lafuncion de probabilidad de las variables. De forma alternativa, tambienpuede comenzarse con una lista de relaciones de independencia y, a partirde ella, obtener una factorizacion de la funcion de probabilidad. La factori-zacion obtenida determina los parametros necesarios para definir el modeloprobabilıstico. Una vez que estos parametros han sido definidos, o estimadosa partir de un conjunto de datos, la funcion de probabilidad que define elmodelo probabilıstico vendra dada como el producto de las funciones deprobabilidad condicionada resultantes.

FIGURA 5.9. Diagrama mostrando las formas alternativas de definir un modeloprobabilıstico.

Por otra parte, si se conoce la funcion de probabilidad que define un mo-delo probabilıstico (que no es el caso habitual en la practica), se puedeseguir el camino inverso y obtener varias factorizaciones distintas (uti-lizando la regla de la cadena definida en la Seccion 5.5). Tambien se puedeobtener la lista de independencias correspondiente al modelo comprobandocuales de todas las posibles relaciones de independencia de las variablesson verificadas por la funcion de probabilidad. A partir del conjunto deindependencias obtenido, tambien puede construirse una factorizacion dela familia parametrica que contiene a la funcion de probabilidad dada.

Este proceso de construccion de modelos probabilısticos plantea los si-guientes problemas.

• Problema 5.4: ¿Puede representarse cualquier lista de relaciones deindependencia mediante un grafo de forma que las independenciasque se deriven del grafo coincidan con las de la lista dada?


Aunque un grafo puede ser representado de forma equivalente por una listade relaciones de independencia, el recıproco no siempre es cierto. Por estarazon, la Figura 5.9 muestra una arista continua que va del rectangulo querepresenta a los modelos definidos graficamente al rectangulo que repre-senta a los modelos definidos por listas de relaciones de independencia, yuna arista discontinua en la direccion opuesta. El Capıtulo 6 analiza enmayor detalle este hecho, tanto en el caso de grafos dirigidos, como en elcaso de grafos no dirigidos.

• Problema 5.5: ¿Como puede obtenerse la funcion de probabilidadque contiene las independencias asociadas a un grafo dirigido o nodirigido?

• Problema 5.6: ¿Como puede obtenerse la funcion de probabili-dad que contiene las independencias de una lista de relaciones deindependencia?

Estos dos problemas se analizan en los Capıtulos 6 y 7.Desgraciadamente, los grafos no siempre pueden reproducir las indepen-

dencias condicionales contenidas en una lista arbitraria de relaciones deindependencia, o en un modelo probabilıstico. Por tanto, es importante ca-racterizar las clases de modelos probabilısticos que pueden representarsemediante grafos. Esto plantea los siguientes problemas:

• Problema 5.7: ¿Cual es la clase de modelos probabilısticos quepueden representarse por medio de grafos?

• Problema 5.8: ¿Que listas de relaciones de independencia puedenser representadas por medio de grafos?

• Problema 5.9: ¿Cual es el conjunto de funciones de probabilidadcondicionadas necesario para definir un modelo probabilıstico y cualesson los parametros necesarios para cuantificarlo?

Estos problemas se analizan en detalle en los Capıtulos 6 y 7. En es-tos capıtulos se vera que, aunque todo grafo define una estructura cua-litativa de un modelo probabilıstico (a traves de una factorizacion), notodas las estructuras cualitativas pueden ser representadas por medio degrafos. Por tanto, la Figura 5.9 muestra una arista solida que va de losmodelos definidos graficamente a los modelos factorizados, y una aristadiscontinua en la direccion opuesta. De forma similar, se vera que todomodelo probabilıstico define una lista de relaciones de independencia, perono cualquier lista de independencias define un modelo probabilıstico. Estehecho se ilustra en la Figura 5.9 con las correspondientes aristas continuay discontinua.

De la discusion anterior, y de la Figura 5.9, puede concluirse que existentres formas fundamentales de construir un modelo probabilıstico:


• Grafo → Modelos factorizados → Estimacion de parametros → Mo-delo probabilıstico.

• Listas de relaciones de independencia → Modelos factorizados →Estimacion de parametros → Modelo probabilıstico.

• Conjunto de funciones condicionadas → Modelos factorizados → Es-timacion de parametros → Modelo probabilıstico.

En los Capıtulos 6 y 7 se vera que la forma mas sencilla es comenzar con ungrafo, pero que la forma mas general es a partir de una lista de relacionesde independencia.

Apendice al Capıtulo 5

En este apendice se demuestran algunas de las propiedades de independen-cia condicional que cumplen las funciones de probabilidad. Se demuestraque cualquier funcion de probabilidad verifica las cuatro primeras propie-dades, pero que solo las probabilidades no extremas verifican la ultima.

5.7.1 Demostracion de la Propiedad de Simetrıa

Dado que la funcion de probabilidad p(x, y, z) cumple I(X, Y |Z), se tiene

p(x|y, z) = p(x|z) ⇔ p(x, y|z) = p(x|z)p(y|z). (5.26)

Veamos ahora que tambien se cumple I(Y, X|Z). Suponiendo que p(x, z) >0, se tiene

p(y|x, z) =p(x, y|z)

p(x|z)=

p(x|z)p(y|z)

p(x|z)= p(y|z) ⇒ I(Y, X|Z),

donde la segunda igualdad se ha obtenido a partir de (5.26).

5.7.2 Demostracion de la Propiedad de Descomposicion.

Dado que la funcion de probabilidad p(x, y, z) cumple I(X, Y ∪ W |Z), setiene

p(x|z, y, w) = p(x|z). (5.27)

Veamos primero que tambien se cumple I(X, Y |Z). Se tiene

p(x|z, y) =∑

v

p(x, v|z, y)

=∑

v

p(x|z, y, v)p(v|z, y),

E

BA

C D

F G

H


5.7.5 Demostracion de la Propiedad de Interseccion

Dado que la funcion de probabilidad no extrema p(x, y, z) cumple I(X, W |Z∪Y ), se tiene

p(x|z, y, w) = p(x|z, y). (5.32)

De forma similar, si se cumple I(X, Y |Z ∪ W ), entonces

p(x|z, y, w) = p(x|z, w). (5.33)

Las ecuaciones (5.32) y (5.33) implican

p(x|z, y, w) = p(x|z, y) = p(x|z, w),

que, dado que la probabilidad es no extrema, implica p(x|z, y, w) = p(x|z).Por tanto, tambien se verifica I(X, Y ∪ W |Z).

Ejercicios

5.1 Considerese el grafo no dirigido de la Figura 5.10. Comprobar cualesde las siguientes relaciones de independencia son ciertas utilizando elcriterio de U -separacion:

(a) I(F, H|φ).

(b) I(F, H|D).

(c) I(A, G|{D, E}).

(d) I(C, {B, G}|D).

(e) I({A, B}, {F, G}|{C, D}).

(f) I({C, F}, {G, E}|{A, D}).

FIGURA 5.10. Grafo no dirigido.

A

C D

F G H

E

B


5.2 Considerese el grafo dirigido de la Figura 5.11. Comprobar cuales delas siguientes relaciones de independencia son ciertas utilizando elcriterio de D-separacion dado en la Definicion 5.3:

(a) I(E, G|φ).

(b) I(C, D|φ).

(c) I(C, D|G).

(d) I(B, C|A).

(e) I({C, D}, E|φ).

(f) I(F, {E, H}|A).

(g) I({A, C}, {H, E}|D).

FIGURA 5.11. Grafo dirigido.

5.3 Repetir el ejercicio anterior utilizando el criterio de D-separaciondado en la Definicion 5.4.

5.4 Considerese el conjunto de cuatro variables {X, Y, Z, W}, relacionadasmediante

I(X, Y |φ) y I(X, Z|{Y, W}).

Encontrar el conjunto mınimo de relaciones de independencia gene-rado por las dos relaciones de independencia anteriores y que ademascumpla:

(a) La propiedad de simetrıa.

(b) Las propiedades de simetrıa y descomposicion.

(c) Las propiedades de semigrafoide.

(d) Las propiedades de grafoide.

5.5 Repetir el ejercicio anterior considerando las siguientes relaciones deindependencia:

I(X, W |{Y, Z}) y I(Y, Z|{X, W}).


x y z w p1(x, y, z, w) p2(x, y, z, w)

0 0 0 0 p5p8/p13 (−p13p4 + p12p5 + p4p8 + p5p8)/a0 0 0 1 p5p9/p13 (p13p4 − p12p5 + p4p9 + p5p9)/a0 0 1 0 p10p7/p15 (p10p6 − p15p6 + p10p7 + p14p7)/b0 0 1 1 p11p7/p15 (p11p6 + p15p6 + p11p7 − p14p7)/b0 1 0 0 p12p5/p13 p4

0 1 0 1 p5 p5

0 1 1 0 p14p7/p15 p6

0 1 1 1 p7 p7

1 0 0 0 p8 p8

1 0 0 1 p9 p9

1 0 1 0 p10 p10

1 0 1 1 p11 p11

1 1 0 0 p12 p12

1 1 0 1 p13 p13

1 1 1 0 p14 p14

1 1 1 1 p15 p15

TABLA 5.3. Dos familias parametricas de funciones de probabilidad, donde a =p12 + p13 y b = p14 + p15.

5.6 Obtener el conjunto de todas las posibles relaciones de independenciacondicional para un conjunto de tres variables.

5.7 Encontrar el conjunto de relaciones de independencia correspondientea la funcion de probabilidad

p(x, y, z) = 0.3x+y0.72−x−y

(

x + y

2

)z (

1 −x + y

2

)1−z

,

donde x, y, z ∈ {0, 1}.

5.8 Dado el conjunto de cuatro variables {X, Y, Z, W} y la familia pa-rametrica de funciones de probabilidad p1(x, y, z, w) descrita en laTabla 5.3,

(a) Probar que esta familia satisface la relacion de independenciaI(X, Y ∪ W |Z).

(b) ¿Es esta la familia de funciones de probabilidad mas general quecumple esta propiedad?

5.9 Dado el conjunto de cuatro variables {X, Y, Z, W} y la familia pa-rametrica de funciones de probabilidad p2(x, y, z, w) descrita en laTabla 5.3,


(a) Probar que esta familia satisface I(X, Y |Z) y I(X, W |Z).

(b) ¿Es esta la familia de funciones de probabilidad mas general quecumple estas propiedades?

(c) ¿Es suficiente suponer que p6 = p14p7/p15 y p4 = p12p5/p13 paraque la familia anterior satisfaga I(X, Y ∪ W |Z)?

5.10 Expresar en forma factorizada la funcion de probabilidad del Ejemplo5.8 considerando las siguientes particiones del conjunto de variables:

(a) Y1 = {X1, X3}, Y2 = {X2, X4}.

(b) Y1 = {X4}, Y2 = {X2}, Y3 = {X1, X3}.

(c) Y1 = {X2}, Y2 = {X1, X3, X4}.

5.11 Considerese el conjunto de cuatro variables dado en el Ejemplo 5.9y supongase que X1 es una variable ternaria y que las otras tresvariables son binarias.

(a) ¿Cual es el numero maximo de parametros libres de la funcionde probabilidad?

(b) ¿Cuantos parametros libres definen las funciones de probabilidadque cumplen las relaciones de independencia en (5.17)?

5.12 Repetir el ejercicio anterior suponiendo que las tres variables sonahora ternarias.

5.13 Considerese de nuevo el conjunto de cuatro variables dado en el Ejem-plo 5.9. Escribir la forma factorizada asociada a cada uno de los si-guientes casos y calcular el numero de parametros libres en cada unode los modelos resultantes

(a) La funcion de probabilidad que cumple I(X1, X4|{X2, X3}).

(b) La funcion de probabilidad que satisface las condiciones de in-dependencia I(X2, X3|X1), I(X3, X4|X1), y I(X2, X4|X1).

5.14 Encontrar la lista de relaciones de independencia asociada a la funcionde probabilidad dada en la Tabla 3.2.

5.15 Supongase que una funcion de probabilidad de cuatro variables {X, Y,Z, W} puede ser factorizada como

p(x, y, z, w) = p(x)p(y|x)p(z|x)p(w|y, z).

Comprobar cuales de las siguientes relaciones de independencia secumplen:

(a) I(X, W |Y ).

(b) I(X, W |Z).

(c) I(X, W |Y, Z).

(d) I(Y, Z|X, W ).

mode los probabilistic os

Documents

modelo probabilstico

definiciondel problema

modelo desarrollado

sistema experto

informacion datos

seleccion de variables

problema esun paso crucial

correcta definicion