![Page 1: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/1.jpg)
Reconhecimento de Gestos utilizando o dispositivo Kinect
Matheus Lin Truglio Alvarenga Universidade de São Paulo
Instituto de Ciências Matemáticas e de Computação Engenharia da Computação
Novembro/2011
![Page 2: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/2.jpg)
Organização
HCI
Kinect
ROS
Reconhecimento de Gestos
Redes Neurais Artificiais
Planejamento
Avaliação de Resultados
Conclusão
![Page 3: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/3.jpg)
HCI
Interface humano-máquina
Evolui com o desenvolvimento de novas tecnologias
Menos conhecimento técnico para uso
Mais usuários
Cartão perfurado, tela e caneta de manipulação (cad), tela e teclado, mouse, tela de toque, reconhecimento de voz, Wii Remote, Kinect;
![Page 4: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/4.jpg)
Kinect
![Page 5: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/5.jpg)
Kinect
![Page 6: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/6.jpg)
Kinect
Interfaces USB
Prime Sense – Natural Interaction
OpenNI
ROS – Robot Operating System
![Page 7: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/7.jpg)
ROS
Projeto de apoio ao desenvolvimento de aplicações robóticas
Alto nível
Estrutura de comunicação
OpenNI
MIT ROS Pack – Pacote de demonstrações do MIT
![Page 8: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/8.jpg)
ROS
Skeletal Tracker
![Page 9: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/9.jpg)
ROS
![Page 10: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/10.jpg)
MIT
Pacote de rastreamento de humanos
Reconhece esqueletos (conjunto de vértices)
Modo eficiente
Rastreamento de mãos
Rastreamento de dedos
Minority Report
![Page 11: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/11.jpg)
MIT
![Page 12: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/12.jpg)
Reconhecimento de Gestos
Comandos sem dispositivo mecânico e à distância
Interação Natural e universal (independe de idioma)
Comunicação onde outros meios são ruidosos
Pista de decolagem
Reconhecimento de padrões
![Page 13: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/13.jpg)
Redes Neurais Artificiais
Aprendizado supervisionado
Boas para reconhecer padrões
Iterativo
![Page 14: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/14.jpg)
Cuidados
Superajuste
Amostras diversificadas (generalização)
![Page 15: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/15.jpg)
Planejamento
O que reconhecer: gestos da mão direita
Amostra: 20 deslocamentos 3D
Entrada: 60 deslocamentos
Saída: 3 classes, no máximo uma com valor 1.
![Page 16: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/16.jpg)
Gestos
![Page 17: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/17.jpg)
Deslocamentos
Maiores que 5 cm
![Page 18: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/18.jpg)
Treinamento
300 amostras de cada gesto
3 subconjuntos:
Treinamento (80%)
Teste (10%)
Validação Cruzada (10%)
Ao acaso
Melhor resultado de Validação Cruzada
![Page 19: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/19.jpg)
Avaliação
Conjunto de amostras gravadas
Correto Erro Classificado Total
83 7 85 90
![Page 20: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/20.jpg)
Avaliação
Uso em tempo real
Gesto Circle Come Here Goodbye Total % acerto
Circle 323 0 0 323 100,0
Come Here 0 383 3 400 95,7
Goodbye 0 1 307 317 96,8
![Page 21: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/21.jpg)
Variação de Parâmetros
Avaliação de Desempenho
Primeiro de cada usado anteriormente
Hiddens = [20; 30; 5; 10]
Errors = [0,01; 0,05; 0,1; 0,005]
Alphas = [0,01; 0,05; 0,1; 0,5; 0,001]
Momentum = [0,1; 0,5; 0,05; 0,0]
![Page 22: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/22.jpg)
Resultados
Número de neurônios da camada escondida
![Page 23: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/23.jpg)
Resultados
Erro tolerável
![Page 24: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/24.jpg)
Resultados
Passo de aprendizado (alpha)
![Page 25: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/25.jpg)
Resultados
Fator de Momento
![Page 26: Reconhecimento de Gestos utilizando o dispositivo Kinectosorio.wait4.org/Kinect-Gestos/Monografia/Apresentacao... · 2012-07-20 · HCI Interface humano-máquina Evolui com o desenvolvimento](https://reader036.vdocuments.site/reader036/viewer/2022062415/5fb92d6223044602cb0d9f66/html5/thumbnails/26.jpg)
Conclusão
Calibração necessária
Talvez não precise, se mudar um pouco o modo de extração de informações
Método mostrou-se adequado.