regras de bayes (fuzzy) - instituto de matemática ...valle/pastcourses/sfuzzy_14/watanabe14.pdf ·...

Regras de Bayes (Fuzzy)Analogia com o caso Classico (Estocastico)

Autor: Ricardo Augusto WatanabeOrientador: Prof. Dr. Laecio Carvalho de Barros

IMECC - UNICAMP

Marco 2014

R. A. Watanabe (IMECC - UNICAMP) Regras de Bayes (Fuzzy) 25/03 1 / 23

Assuntos explorados nesse trabalho:

Parte 1:Definicoes Basicas de Probabilidade e Analogias comConjuntos Fuzzy.

Parte 2:Regras de Bayes no caso Estocastico Classico.

Parte 3:Espacos Metricos Probabilısticos.Teorema de Sklar

Parte 4:Equacoes Relacionais Fuzzy.Regra de Composicao deInferencia Fuzzy.Regra de Bayes Fuzzy

Parte 5:Conclusao. Duvidas. Referencia.


Espaco de Probabilidades,Variavel Aleatoria

Definicoes Basicas:

Definicao 1.1 Espaco de Probabilidade (E.P.)

E uma terna (Ω,A, P). Onde Ω 6= ∅, A ⊆ 2Ω(eventos)Medida de Probabilidade P : A → [0, 1]

Definicao 1.2 Variavel Aleatoria (V.A)

Seja (Ω,A, P) um Espaco de Probabilidade. A funcao X : Ω→ R e ditaVariavel Aleatoria se: ω ∈ Ω : X(ω) ≤ r ∈ A ,∀r ∈ R


Distribuicoes de Probabilidade

Definicao 1.3 Distribuicoes de Probabilidade (Caso Discreto)fx

Seja X uma (V .A). A ⊆ < . A funcao massa de Probabilidadefx : A→ [0, 1] e :fx (x) = P(a ∈ A : X (a) = x) = P(X = x)

claro que : ∑x∈A fx (x) = 1

Definicao 1.4 Distribuicoes de Probabilidade (Caso Contnuo)

Uma (V .A) X tem Densidade de Probabilidade dada por:

P [a ≤ X ≤ b] =∫ ba f(x)dx

Definicao 1.5 Distribuicao Acumulada FX (x)

Uma (V .A) X tem Distribuicao Acumulada dada por:P [X ≤ x ] = FX (x) =

∫ x−∞ f(u)du

caso f seja continua em x: fX (x) =ddx F(x)

claro que :∫ ∞−∞ fx (u)du = 1


Distribuicao Conjunta Acumulada de Probabilidades

Definicao 1.6 Distribuicao Conjunta Acumulada de ProbabilidadeFX ,Y (x , y)

Sejam X,Y V.A. em um E.P.A Distribuicao Conjunta Acumulada define aprobabilidade de eventos em termos de X,Y por:FX ,Y (x , y) = P [X ≤ x ,Y ≤ y ]


Distribuicao Conjunta de Probabilidade- DiscretoContinuo

Definicao 1.8 Distribuicao Marginal

Caso Discreto:P(X = x) = fX (x) = ∑y fX ,Y (x , y) eP(Y = y) = fY (y) = ∑x fX ,Y (x , y)

Caso Continuo:P(X = x) = fX (x) =∫y fX ,Y (x , y)dy e

P(Y = y) = fY (y) =∫x fX ,Y (x , y)dx


Distribuicao Conjunta de Probabilidade- DiscretoContınuo

Definicao 1.9 Funcao de Densidade Conjunta

fX ,Y (x , y) = ∂2

∂x∂y FX ,Y (x , y)

Pode-se definir as distribuicoes marginais de X e Y a partir da densidadeconjunta:

fX (x) =∫ ∞

−∞fX ,Y (x , y)dy

fY (y) =∫ ∞

−∞fX ,Y (x , y)dx

(1)


Variaveis Independentes e DistribuicoesCondicionais(Caso Classico)

Definicao 1.10 V.A Independentes

X, Y sao Independentes se P(X,Y )=P(X ) . P(Y )Ou f X ,Y (x , y) = fX (x).fY (y)

Definicao 1.11 Funcao de Massa de Probabilidade Condicional:

fX |Y (x |y) = P(X = x |Y = y) = P(X=x ,Y=y )P(Y=y )

= fX ,Y (x ,y )fY (y )

. (2)

E se forem independentes: fX |Y (x |y) = P(X = x |Y = y) =P(X=x ,Y=y )

P(Y=y )= P(X=x).P(Y=y )

P(Y=y )= P(X = x)


Teorema de Bayes:

Teorema de Bayes:

(P(A|B) = P(B |A)P(A)P(B)

) (fX |Y (x |y) =fY |X (y |x)fX (x)∫

y fX ,Y (x ,y)fX (x)dy)

Decorre dos Axiomas de Kolmogorov e e consequencia direta da Lei deProbabilidade Total[4]”‘is to the theory of probability what Pythagoras’s theorem is togeometry”- Harold Jeffreys.

Metodo de Inferencia Bayesiano(Classico):

X,Y V.A., e y com funcao de Densidade dada por fSeja x um parametro desconhecido com Densidade de Probabilidadeh0(x) [Priori]

A nova Estimativa sera h1(x |y) =fY |X (y |x)h0(x)∫

y fX ,Y (x ,y )h0(x)dx=

fY |X (y |x)h0(x)

g (y )[Posteriori]


Espaco Metrico Probabilıstico

Definicao 2.1 o Conjunto de Todas as funcoes de Densidade deProbabilidade

Seja 4+ = F : < → [0, 1] tal que: ∃limx→a−F (x) (Contınua a esquerda)F (0) = 0, limx→∞F (x) = 1.

Definicao 2.2 Espaco Metrico Probabilıstico (E.M.P)

E um par (S,d), onde S 6= ∅ e d : SxS → 4+ tal que:

du,u(x) = 1 ∀x ∈ <;

(Simetrica)du,v (x) = dv ,u(x) ∀x ∈ <, ∀u, v ∈ S ;

Se du,v (x) = 1 e dv ,w (y) = 1 , entao du,w (x + y) = 1 ∀u, v ,w ∈ Se x , y ∈ <;


Teorema de Sklar:

Definicao 2.2 Copula(2D)

C : [0, 1]2 → [0, 1] tal que ∀x , x , y , y ∈ [0, 1]

C(x,y)+C(x , y) ≥ C (x , y) + C (x , y)C(x,0)=C(0,x)=0

C(x,1)=C(1,x)=x

Teorema de Sklar:

Sejam X,Y V.A com distribuicao Conjunta Acumulada FX ,Y (x , y) edistribuicao Acumulada FX (x),FY (y), resp. ∃C (x , y) Copula tal que:FX ,Y (x , y) = C (FX (x),FY (y))

Para Copula do Produto =⇒ ρX,Y = 0

Para Copula de Lukasiewicz =⇒ ρX,Y = −1

Para Copula do Mınimo =⇒ ρX,Y = 1


Contas

Lembrando que:ρXY = COV (X ,Y )/σxσy = E [(X − µx )(Y − µy )]/σxσy e µx = E (X ),

σ =√

1N ∑N

i=1(xi − µ)2

•ParaT − normadoProduto(.) :

E[(X-µx )(Y − µy )] = ∑x ∑y (x − µx )(y − µy )PX ,Y , masPX ,Y = PX .PY ,pelo Teo de Sklarentao:∑x ∑y (x − µx )(y − µy )PX .PY = ∑x x .Px ∑y y .Py −µy ∑x x .Px ∑y Py − µx ∑x Px ∑y y .Py + µxµy ∑x Px ∑y Py = 0


Contas

Para T-norma do mınimo(∧): PX ,Y = min(PX ,PY ), suponha sempreda de generalidade PX < PY entao,novamente pelo Teo.

E[(X-µx )(Y − µy )] = ∑x ,y (x − µx )(y − µy )PX =

∑x ,y x .y .Px − µy .x .Px − µx .y .Px − µxµyPx =∑y y ∑x xPX − µx ∑x ,y yPx − µxµy ∑x Px = −2µxµy

(3)

−2/√MN.

∑Mi=1 ∑N

j=1 xiyj

(∑Mi=1 ∑N

j=1(xi−µx )2(yj−µx )

2)12


Contas

Para T-norma de Lukasiewicz: max PX + PY − 1, 0:

E[(X-µx )(Y − µy )] =

∑x ,y [xy − µyx − µxy + µxµy ] (Px + Py − 1) =∑x ,y xyPx − µyxPx − µxyPx + µxµyPx+xyPy − µyxPy − µxyPy + µxµyPy+ −xy + µyx + µxy − µxµy == µy ∑x x + µx ∑y y − µxµy −∑x x ∑y y = −E (x)

[E (y)−∑y y

]+

∑x x[E (y)−∑y y

]= E (X −∑x x)E (Y −∑y y) = 2µxµy

(4)

2/√MN.

∑Mi=1 ∑N

j=1 xiyj

(∑Mi=1 ∑N

j=1(xi−µx )2(yj−µx )

2)12


Contextualizacao

Zadeh(fim da decada de 1970) uma unica funcao de pertinenciaque representasse a informacao mais de um conjunto fuzzysimultaneamente. Distribuicao de Possibilidade conjunta (πX ,Y ).

Conjuntos Fuzzy nao-interativos:πX ,Y (x , y) = πX (x) ∧ πY (y).

Bouchon(1985) Distribuicao Condicional de Possibilidade(πX |Y )

Lapointe (2000) Analogia entre Inferencia Bayesiana. Contextualiza oproblema usando relacoes Fuzzy.


problemas!!

Dada uma distribuicao P ”‘verdadeira”’ qualquer, como medir a relacao dadistribuicao Q incerta?

Figure : Ilustracao da Divergencia de KullbackLeibler


Regras de Composicao de Inferencia Classica vsFuzzy

Regra de Composicao de Inferencia Classica

Objetivo: fazer afirmacao a partir de um conjunto de valoresrepresentativo (amostra) sobre um universo de discurso.(X i ,P(Xi = xi ))Principais Escolas:Inferencia Freqentista e Inferencia Bayesiana

Regra de Composicao de Inferencia Fuzzy:

Considere A em F(U) uma relacao unaria e R uma em F(UxV),a Regra deComposicao de Inferencia Fuzzy forneceB∗ = A⊗T Rcom :ϕ∗B(v) = supu∈U(ϕA(u)4ϕR(u, v))


Relacoes Fuzzy

Definicao 3.1 Relacoes Fuzzy A⊗TR

Dada uma T-norma(4), e as relacoes Fuzzy A em UxV, R em VxW acomposicao (sup-t)A⊗T R em UxW tem funcao de pertinencia dada por:

ϕA⊗TR(u,w )=supv∈V(ϕA(u, v)4ϕR(v ,w) (5)

Para T-norma do mınimo(∧)composicao (max-mın)[A R] comϕA∧R(u,w )=supv∈V(ϕA(u, v) ∧ ϕR(v ,w)

E B∗ = A−1 ⊗g B, onde ⊗g e implicacao de Godel.

Para T-norma do produto(.) composicao [A.R] comϕA.R(u,w )=supv∈V(ϕA(u, v).ϕR(v ,w)

E B∗ = A−1 ⊗gn B, onde ⊗gne implicacao de Goguen.

Para Implicacao Fuzzy(⇒)composi c ao(inf −mın)[A⇒R] comϕA⇒R(u,w )=supv∈V(ϕA(u, v) ⇒ ϕR(v ,w)


Regra de Bayes Fuzzy(Possibilista)

X⊗T Z = Y

•π4(y , x) =(

π∗Y (y)⇒(πX (x)4πY |X (y |x)

))Com: π∗Y (y) = supx∈X

(πX (x)4πY |X (y |x)

)Para 4(.) : π.(y |x) =

πX (x)πY |X (y |x)supx∈X (πX (x)4πY |X (y |x))

Para 4 = ∧ : π∧(y |x) = 1, seπ∗Y (y) =(πX (x) ∧ πY |X (y |x)

)ou(πX (x) ∧ πY |X (y |x)

), se π∗Y (y)>

(πX (x) ∧ πY |X (y |x)

)


Exemplo

Figure : Distribuicoes para a previsao Y = 2, t-norma=produto. x = 4 : 4[1]


OBRIGADO!


Referencia

1 BACANI, F. Modelos de predicao utilizando logica fuzzy: umaabordagem inspirada na inferencia bayesiana, Tese de MestradoUniversidade Estadual de Campinas, Campinas/SP, 2012.

2 BARROS, L., AND BASSANEZI, R. Topicos de logica fuzzy ebiomatematica, 2rd ed. G. P. Silveira, Campinas, SP, Brazil, 2010.

3 LAPOINTE, S., AND BOBE, B. Revision of possibility distributions:A bayesian inference pattern. Fuzzy Sets and Systems 116, 2 (2000)

4 http://en.wikipedia.org/wiki/Lawo ftotalprobabilityhttp ://en.wikipedia.org/wiki/Copula(probabilitytheory)

55 http://en.wikipedia.org/wiki/Relativeentropy

6 KLEMENT, E. P., MESIAR, R., AND PAP, E. Triangular Norms. Kluwer,Dordrecht, 2000.


regras de bayes (fuzzy) - instituto de matemática ...valle/pastcourses/sfuzzy_14/watanabe14.pdf ·...

Documents