palestra kinect - teched review
DESCRIPTION
Palestra Sobre KinectTRANSCRIPT
![Page 1: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/1.jpg)
REVIEW
Liberte as mãos com o Kinect
![Page 2: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/2.jpg)
Gesmar Júnior[MSP] [Célula Iles/Ulbra.net | Guará.net]Sócio /Diretor da Agis Intelicodehttp://www.agis-ic.net
[email protected] @gesmarjunior [email protected] http://gesmarjunior.wordpress.com
![Page 3: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/3.jpg)
REVIEW
Agenda
• Vamos aprender o que é o Kinect;
• Arquitetura básica;• Falar sobre o princípios de
funcionamento;• Demonstrar ferramentas de
desenvolvimento e o SDK oficial.• Comentar sobre aplicações e
projetos.
![Page 4: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/4.jpg)
REVIEW
Público-alvo da palestra
• Pessoal da computação em geral;
• Interessados em robótica;• Desenvolvedores de jogos;• Pesquisadores e
desenvolvedores interessados no futuro dos sistemas de informação;
• Educadores (gesture based learning).
![Page 5: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/5.jpg)
O que é o Kinect?
Dispositivo de interação natural;
Microsoft; XBOX 360 (jogos); Lançamento: 4/11/2010; 8 milhões vendidos em 60
dias (recorde); 10 milhões até março de
2011;5 12/04/2023
![Page 6: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/6.jpg)
REVIEW
Onde começou
“O Projeto Natal descarta joysticks convencionais e demais apetrechos (invariavelmente controlados por meio das mãos). Ele permite que o jogador controle as ações do game através de comandos de voz e movimentos do seu próprio corpo.” Alex Kipman
![Page 7: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/7.jpg)
REVIEW
Porque Kinect
“kínésis” = movimentar ou mover
“connect” = em inglês se refere ao ato de conectar
![Page 8: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/8.jpg)
REVIEW
E a Microsoft fez o quê?
Decifrar a imagem Detectar a posição do corpo a partir da
imagem 3D vinda do Kinect Algoritmo de aprendizado de máquina Microfones direcionais Um bom sistema de reconhecimento de
voz
![Page 9: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/9.jpg)
REVIEW
![Page 10: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/10.jpg)
Motivação para criação do Kinect
Sucesso do Wii;
10 12/04/2023
![Page 11: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/11.jpg)
Wii / Kinect não são tão pioneiros!Dispositivos de interface natural
Trabalhos de Myron Krueger (Video Place), Activator, EyeToy, Track IR, projetos finais;
Problemas sempre foram: performance e reconhecimento facial.
11 12/04/2023
![Page 12: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/12.jpg)
Kinect não vai ser o único dispositivo futuro de interface natural
Windows 8/9; iOs 6;
12 12/04/2023
![Page 13: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/13.jpg)
Projeto Natal - Origem Forte P&D; Alex Kipmann - Diretor de
incubação da Microsoft; PrimeSense; 3DV Systems.
13 12/04/2023
![Page 14: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/14.jpg)
14 12/04/2023
Se você sabe mover-se você sabe usar o Kinect
![Page 15: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/15.jpg)
Arquitetura do Kinect
15 12/04/2023
![Page 16: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/16.jpg)
Arquitetura do Kinect
16
Projetor de Luz Infravermelha (invisível)
Câmera RGB (“comum”)
Câmera infravermelha
Conjunto de microfones
Motor
![Page 17: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/17.jpg)
Arquitetura do Kinect
![Page 18: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/18.jpg)
Arquitetura do KinectImage Stream
Cada pixel representa uma cor; 640x480 (30 fps) OU 1280x1024 (máximo 15 fps);
18 12/04/2023
![Page 19: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/19.jpg)
Arquitetura do KinectAudio Stream
4 microfones; Anula ruído e eco. Permite gravação de audio; Excelente reconhecimento de fala (em inglês);
![Page 20: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/20.jpg)
Arquitetura do Kinect Motor
27 graus para cima ou para baixo;
Não chamar com muita freqüencia;
SDK limita em 15 vezes a cada 20 segundos.
![Page 21: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/21.jpg)
Sensor de profundidade 3d do Kinect
Projetor de Luz Infravermelha
Câmera infravermelha
Sensor de Profundidade 3D
![Page 22: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/22.jpg)
Princípio de funcionamento do sensor de profundidade 3D
Medição de um “padrão” invisível projetado no corpo;
Observação: não é uma câmera estereoscópica!
![Page 23: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/23.jpg)
Informações de esqueleto dos jogadores
Detecta até 6 jogadores; Obtém informação de
esqueleto de 2 jogadores;
Dá para obter a qualidade da captura;
Este é o grande destaque do Kinect na área de Machine Learning.
![Page 24: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/24.jpg)
Desenvolvendo para o Kinect Drivers abertos (Open Kinect):
Windows XP, Vista, 7; MacOS X; Linux; Open Source;
OpenNI (PrimeSense): Windows, Linux, Mac OS X;
Kinect SDK: Oficial da Microsoft; Apenas para Windows 7;
![Page 25: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/25.jpg)
Desenvolvendo para o KinectDrivers abertos
Após o lançamento foi “hackeado” em poucos dias;
Ele é um dispositivo USB não criptografado!
Microsoft já estava prevendo usos fora do XBOX;
![Page 26: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/26.jpg)
Desenvolvendo para o KinectOpenNI
Wrappers para linguagens diversas: C, C++, Processing, Java, Scratch;
Fácil de integrar com o FAAST; O FAAST permite a criação de
programas para o Kinect sem saber programar para o Kinect.
![Page 27: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/27.jpg)
Desenvolvendo para o Kinect SDK oficial
13/junho/2011 Windows 7; 2GB RAM; DirectX 9.0c; Dual Core 2.66 GHz; Versão Beta;
Licença não-comercial (cuidado!!);
27 12/04/2023
![Page 28: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/28.jpg)
DEMOS do QuickStart do Kinecthttp://channel9.msdn.com/Series/KinectSDKQuickstarts/
1)Instalação do Sensor / Download do SDK; 2) Configurando o ambiente; 3) Criando um projeto Kinect no Visual Studio; 4) Exibindo a imagem da câmera; 5) Alterando o ângulo de elevação da câmera; 6)
Trabalhando com a informação de profundidade;
7) Obtendo informações do esqueleto
![Page 29: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/29.jpg)
1)Instalação do Sensor
O Kinect que vem no Bundle do XBOX não tem o cabo de energia (pode ser comprado a parte);
Não coloque 2 Kinects ou 2 câmeras no mesmo hub USB;
Verifique a versão do Windows (64 / 32 bits). 29 12/04/2023
![Page 30: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/30.jpg)
2) Configurando o ambiente Instalar Visual Studio (pode ser o Express); Instalar DirectX SDK – Junho 2010; Instalar Runtime do DirectX; Se quiser usar o reconhecimento de voz:
Speech Runtime 10.2; Kinect Speech Platform; Speech SDK;
30 12/04/2023
![Page 31: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/31.jpg)
3) Criando um projeto Kinect no Visual Studio
31 12/04/2023
![Page 32: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/32.jpg)
3) Criando um projeto Kinect no Visual Studio
32 12/04/2023
![Page 33: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/33.jpg)
3) Criando um projeto Kinect no Visual Studio
33 12/04/2023*
![Page 34: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/34.jpg)
4) Exibindo a imagem da câmera
Ver eventos VideoFrameReady e DepthFrameReady;
34 12/04/2023
![Page 35: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/35.jpg)
![Page 36: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/36.jpg)
5) Alterando o ângulo de elevação da câmera
nui.NuiCamera.ElevationAngle = (int)slider1.Value;
Máximo de 15 mudanças em 20 segundos;
-27 a +27 graus;
36 12/04/2023
![Page 37: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/37.jpg)
6) Trabalhando com informação de profundidade
Cálculo da distância em milímetros: Depth Image Type;
Bitshift o segundo byte por 8; Distância = (int) Bits[0] | Bits[1] << 8;
DepthAndPlayerIndex Type: Bitshift do primeiro por 3 e do segundo por 5;
Distância = (int) Bits[0] | Bits[1] << 5;
O Player Index indica o jogador que está contido naquele ponto;
Máximo de 6 jogadores;37 12/04/2023
![Page 38: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/38.jpg)
7) Obtendo informações do esqueleto
38 12/04/2023
Evento SkeletonFrameReady.
![Page 39: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/39.jpg)
7) Obtendo informações do esqueleto
Cada joint retorna: X – Posição horizontal entre -1 e 1 Y – Posição vertical entre -1 e 1 Z – Distância até o Kinect em metros
Cada joint tem um estado associado: Tracked; Not Tracked: raro; Inferred: oclusão, cortado, baixa
confiança.
39 12/04/2023
![Page 40: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/40.jpg)
Aplicações e possibilidades do Kinect
Controle de dispositivos através das mãos (Minority Report);
40 12/04/2023
![Page 41: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/41.jpg)
Aplicações e possibilidades do Kinect
Controle robótico: Kits que eram $28.000 agora são
$500; Exemplo com quadricóptero;
41 12/04/2023
![Page 42: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/42.jpg)
Aplicações e possibilidades do Kinect
Video conferência 3D;
42 12/04/2023
![Page 43: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/43.jpg)
Aplicações e possibilidades do Kinect
Scanner 3D (melhor ainda se integrado com uma impressora 3D);
43 12/04/2023
![Page 44: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/44.jpg)
Aplicações e possibilidades do Kinect
Kinect + Realidade Aumentada
44 12/04/2023
![Page 45: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/45.jpg)
Aplicações e possibilidades do Kinect
Kinect Shopping
45 12/04/2023
![Page 46: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/46.jpg)
Aplicações e possibilidades do Kinect Trocar canal da TV; Adaptação de jogos normais para
Kinect; Ensino de idiomas; Ensino em geral; Sistema de navegação para carros; Música; Aplicações médicas; Controle de Apresentação
(PowerPoint);
46 12/04/2023
![Page 47: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/47.jpg)
Mas, não precisa usar o Kinect para tudo...
Cliente Twitter usando o Kinect;
47 12/04/2023
![Page 48: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/48.jpg)
Links Recomendados
Kinect SDK:http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/-Portal oficial da Microsoft sobre desenvolvimento para o Kinect;
Coding4Fun Kinect Toolkit:http://c4fkinect.codeplex.com/-Bibliotecas extras úteis para uso com o SDK.Tutoriais Channel 9http://channel9.msdn.com/series/KinectSDKQuickstarts/Microsoft Speech Platformhttp://www.microsoft.com/download/en/details.aspx?id=10208
4812/04/2023
![Page 49: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/49.jpg)
Links Recomendados
• OpenKinect:– http://openkinect.org/wiki/Main_Page– Download dos drivers open source - libfreenect;
• OpenNI:– http://www.openni.org/– Download dos drivers da PrimeSense.
4912/04/2023
![Page 50: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/50.jpg)
REVIEW
Links RecomendadosKinect Hacks:
http://kinecthacks.net/Portal que centraliza aplicativos e testes com o Kinect.
Kinect Education:http://www.kinecteducation.com/Usos do Kinect na educação;
![Page 51: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/51.jpg)
Dúvidas
?
![Page 52: Palestra Kinect - TechEd Review](https://reader036.vdocuments.site/reader036/viewer/2022062303/55611d5ad8b42a7c268b5d97/html5/thumbnails/52.jpg)
Obrigado!
© 2011 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.
The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after
the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.