reconhecimento automático de emoções
TRANSCRIPT
![Page 1: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/1.jpg)
Adilmar Coelho Dantas | Mestrando em Ciência da Computação
Sistema de Reconhecimento de Emoções Usando Plataforma OpenWeb
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO | UNIVERSIDADE FEDERAL DE UBERLÂNDIA –
UFU
FACULDADE DE COMPUTAÇÃO - FACOM/UFU
![Page 2: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/2.jpg)
Artigo de estudo
• .
![Page 3: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/3.jpg)
Introdução
Objetivo do artigo
• Propor um modelo para o reconhecimento de emoções através da teoria FACS
(Movimento dos Músculos), implementado em ambiente computacional Web.
Solução Apresentada
Utilização Haar Cascade para detecção da face Utilização da teoria FACS para determinação das UA’S Fluxo óptico para rastreamento dos pontos Estrutura de decisão para classificação
![Page 4: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/4.jpg)
Introdução
• Expressões faciais e a Inteligência Artificial
• A utilização de sistemas não verbais é considerado um grande avanço para a interação homem e máquina, a face além de emoções fornecem informações extremamente importantes para outros estudos como: sexo, idade.
• Analisar a face é apresentado como uma boa proposta pelo fato de ser um método não invasivo ou menos invasivo se
comparado com outras técnicas.
![Page 5: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/5.jpg)
Fundamentação teórica
• FACS ( Relembrando)O FACS consiste de 46 Unidades de Ação que são divididos em duas regiões faciais, a primeira contendo olhos, sobrancelhas e testa e a segunda por bochechas, queixo, nariz e boca.
![Page 6: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/6.jpg)
Fundamentação teórica
• FACS ( Relembrando)A combinação de duas ou mais Unidades de Ação (UA) representam uma determinada emoção.
Ex: UA6+UA12 = Alegria
![Page 7: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/7.jpg)
Fundamentação teórica
• Detecção da face
• Utilização do algoritmo Vaiola and Jones• É classificador que aprende caraterísticas de um objeto • Aplicado em imagens estáticas e em tempo real
• Etapas do Viola and Jones
• Integral da imagem • Adabosst• Árvore ( cascata de classificador)
![Page 8: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/8.jpg)
Materiais e Métodos • Detecção da faceTodos os rostos humanos compartilham algumas propriedades semelhantes. Este conhecimento é usado para construir certas características conhecidas como características Haar.
• As propriedades que são semelhantes para um rosto humano são as
seguintes.
• A região dos olhos é mais escura do que as bochechas superiores. • A região da ponta do nariz é mais brilhante do que os olhos.
![Page 9: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/9.jpg)
Materiais e Métodos
• Detecção da face
![Page 10: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/10.jpg)
Materiais e Métodos
Regiões de interesse
Aplica-se o filtro Sobel para a detecção dos contornos presentes na imagem.
Para a localização das regiões dos olhos, sobrancelhas, nariz e boca.
O filtro Sobel calcula o gradiente da intensidade da imagem em cada ponto, dando a direção da maior variação de claro para escuro e a quantidade de variação nessa direção.
Assim, obtém-se uma noção de como varia a luminosidade em cada ponto, de forma mais suave.
![Page 11: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/11.jpg)
Materiais e Métodos
• Localização dos pontos
Para que fosse possível localizar estas UA’S na face utilizou-se de 20 pontos de leitura na face que podem se mover em 8 direções diferentes, divididos em ângulos de 45º.
![Page 12: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/12.jpg)
Materiais e Métodos
• Rastreamento dos pontos – Fluxo Óptico
• Para o rastreamento dos pontos Lukas-Kanade propôs um modelo piramidal que permite a análise de movimentos em regiões do vídeo utilizando
fluxo óptico.
• Neste modelo cria-se uma pirâmide Gaussiana onde no topo se encontra a parte com menos detalhes equanto a base contém a imagem com
mais riqueza de detalhes.
![Page 13: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/13.jpg)
Materiais e Métodos
• Rastreamento dos pontos – Fluxo Óptico
Calcula-se o fluxo óptico no primeiro nível, para que este sirva de base para o cálculo do nível seguinte.
Esta técnica permite capturar com mais precisão estes movimentos.
![Page 14: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/14.jpg)
Materiais e Métodos
Pontos e emoções
A tabela apresenta a estrutura de decisão, dada vinte pontos de leitura (1a a 10b), considerando-seoito possíveis direções de movimento de cada ponto para as emoções felicidade (H), nojo (Di), surpresa (Su), raiva (A), tristeza (Sa) e medo (F).
*O autor não deixou esclarecida esta estruturade Decisão utilizada.
![Page 15: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/15.jpg)
Materiais e Métodos
![Page 16: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/16.jpg)
ImplementaçãoO sistema foi implementado utilizando plataforma WEB aberta, tecnologias Utilizadas:
- GetUserMedia ( WebCam )- HTML5- OpenCv- ECMAScript - suporte opencv
![Page 17: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/17.jpg)
Implementação
Opencv
É uma biblioteca totalmente livre para desenvolvimento acadêmico, empresarial de aplicativos de visão computacional.
Algumas funcionalidades
Filtros de imagem, calibração de câmera, reconhecimento de objetos, análise estrutural e outros. O seu processamento é em tempo real de imagens.
![Page 18: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/18.jpg)
Experimentos e Resultados
• Testes
O sistema foi testado com 16 voluntários do sexo masculino e feminino, com idades entre 10 e 60 anos de nacionalidades Brasileira e Chinesa.
Foi realizado dois tipos de testes
• Emoções não espontâneas • Emoções espontâneas
![Page 19: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/19.jpg)
Experimentos e Resultados
• Primeiro Teste
• Voluntários que expressaram emoção não espontânea felicidade (H), Nojo (di),surpresa (Su), raiva (A), tristeza (Sa) e medo (F) duas vezes consecutivas.
76.60%
![Page 20: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/20.jpg)
Experimentos e Resultados
• Segundo Teste
No segundo teste os voluntários foram submetidos a dois testes com vídeos: • O primeiro que contém uma cena engraçada de uma
criança que assustada faz uma careta.
• O segundo contendo uma cena que repele as pessoas, onde uma pessoa agride um cão.
![Page 21: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/21.jpg)
Experimentos e Resultados• Segundo Teste Podemos observar que para o primeiro vídeo a emoção alegria foi detectada 100%.
Considerando que as reações esperadas foram nojo, surpresa, raiva e tristeza pode-se dizer que o sistema atingiu 84,4% de acurácia.
![Page 22: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/22.jpg)
Conclusões
O trabalho demostrou que sistemas computacionais com o apoio de algoritmos de aprendizagem de máquinas são capazes de identificar pessoas e características diversas.
Mesmo com uma estrutura simples o trabalho é funcional em sistemas Web, um ambiente que poderia ser um fator limitante para solução do problema.
É possível a partir desses resultados analisar se uma pessoas se encontra em algum estado de desconforto com uma determinada situação.
![Page 23: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/23.jpg)
Conclusões
Os autores não exploraram bem os testes.
Não utilizou-se nenhuma base de dados para explorar esses
testes e talvez obter resultados melhores.
A técnica de classificação ou a lógica da estrutura de condição utilizada foi omitida.
![Page 24: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/24.jpg)
Trabalhos futuros
Desenvolvimento de um sistema OpenWeb para detecção das emoções, utilizando técnicas de inteligência artificial e tecnologias mais avançadas.
Integração em ambientes educacionais (Moodle) e ambientes virtuais de aprendizagem (AVA).
![Page 25: Reconhecimento Automático de Emoções](https://reader036.vdocuments.site/reader036/viewer/2022062406/55b5cb03bb61eb173a8b473d/html5/thumbnails/25.jpg)
Fim
Maiores informações em
www.inteligenciaartificial.facom.ufu.br