algoritmo em portugues
TRANSCRIPT
![Page 1: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/1.jpg)
Algoritmo EM
Manuel Ramón Vargas Avila
![Page 2: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/2.jpg)
Introdução
Algoritmo EM definição:Trata-se de um método geral para encontrar o estimador de máxima verossimilhança dos parâmetros de uma distribuição de probabilidades. A situação em que o algoritmo EM prova sua potência é nos problemas de dados incompletos, onde a estimação de máxima verossimilhança resulta difícil devido a ausência de alguma parte dos dados.É usado em problemas de: clustering, reconhecimento de padrões, modelos ocultos de Markov, entre outros. Aplicações em quase todos os contextos estatísticos e em quase todos os campos onde técnicas estatísticas foram aplicadas: imagens médicas, exames de correção, a epidemiologia, e treinamento de redes neurais artificiais, entre outros.
![Page 3: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/3.jpg)
O algoritmo EM consiste em duas etapas: etapa-E e etapa-M. A etapa-E é para gerar dados para conseguir um problema de dados completos, usando o conjunto de dados observados do problema de dados incompletos e o valor atual dos parâmetros, de modo que o cálculo da etapa-M seja mais simples ao poder ser aplicado a este conjunto de dados completo e retangular.
![Page 4: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/4.jpg)
Derivação do algoritmo EM
Para isto é utilizado o logaritmo da equação de verossimilhança
X vetor aleatório de uma família parametrizada.
O que se deseja: tal que P(X|) é um máximo.
![Page 5: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/5.jpg)
Derivação do algoritmo EM
• A estimação atual de é dada por depois da enésima iteração.
• Objetivo L(), calcular um estimador atualizado talque L()> L()
Isto é equivalente a:
Equação 2
![Page 6: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/6.jpg)
Derivação do algoritmo EM
• Supõe-se que o conhecimento das variáveis ocultas fará que a maximização da função é mais fácil.
• Z vetor aleatório oculto e elementos z, a probabilidade total em termos de z é:
• Equação 3
![Page 7: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/7.jpg)
Derivação do algoritmo EM
• Equação 3 em 2: equação 4
• Desigualdade de jensens
![Page 8: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/8.jpg)
Derivação do algoritmo EM
• Analogamente aplicando para equação 3
![Page 9: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/9.jpg)
Derivação do algoritmo EM
Por conveniência
![Page 10: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/10.jpg)
Interpretação de uma iteração do algoritmo
delimitada por
![Page 11: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/11.jpg)
Expectation
Maximization
![Page 12: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/12.jpg)
Processo• Inicialização:
• Execução:Etapa E:
Etapa M:
Iterar ate a convergência ou condição de terminação (não garantia de máximo global)
![Page 13: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/13.jpg)
Exemplo #1Queremos classificar um grupo de pessoas em dois grupos alta ou baixa
Para isso contamos com o modelo estatísticoMisturas finitas.
![Page 14: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/14.jpg)
Misturas finitas
Para avaliar plenamente este modelo deve-se determinar os cinco
parâmetros
![Page 15: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/15.jpg)
Media Equa: 1
VarianzaEqua: 2
ProbabilidadeDo Grupo AEqua: 3
Função Normal
Xi= dado
Wai= Probabilidade que o dado i pertence ao grupo A
![Page 16: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/16.jpg)
PG1 é sorteado aleatoriamente
INICIALIZAÇÃO
![Page 17: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/17.jpg)
• Passo M:Calculamos os 5 parâmetros com as equações 1, 2, 3 onde 1 e 2 podem ser aplicadas para o grupo B.
![Page 18: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/18.jpg)
Passo ECalcula-se para cada dado e grupo
Normalizando
![Page 19: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/19.jpg)
Condição de terminaçãoIterar ate que a diferencia de log probabilidade global seja menor a 0,01 para 3 iterações sucessivas.
![Page 20: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/20.jpg)
Resultado Final
![Page 21: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/21.jpg)
Exemplo #2: Mistura de gaussianas
Suma ponderada de K gaussianas
Onde
Parâmetros a estimar
![Page 22: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/22.jpg)
Exemplo #2: Mistura de gaussianas
Se X é um conjunto de n mostras I.I.D
Então
![Page 23: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/23.jpg)
Dadas n mostras i.i.d
Tomadas de uma misturaDe gaussianas com parâmetros:
Definimos a probabilidade de que a i-ésima mostra faz parte da j-ésima gaussiana como
Satisfaze
![Page 24: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/24.jpg)
probabilidad de que la i-ésima muestra pertenezca a la j-ésima gaussiana
![Page 25: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/25.jpg)
• Considere uma mistura de gaussianas 2D com parametros
![Page 26: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/26.jpg)
Solução
Depois da terça iteração
![Page 27: algoritmo EM portugues](https://reader033.vdocuments.site/reader033/viewer/2022061609/557cca42d8b42a7e5b8b4bfd/html5/thumbnails/27.jpg)
Obrigado!!