adriano melo filipe melo mateus araújo philippe neves renato parente samuel arcoverde
DESCRIPTION
Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde Wesley Davison. Roteiro. Realidade Aumentada Motivações Aplicações ARToolkit Funcionamento Arquitetura Conclusão. Cenário. O que é Realidade Aumentada ?. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/1.jpg)
Adriano MeloFilipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde Wesley Davison
![Page 2: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/2.jpg)
Roteiro
• Realidade Aumentada• Motivações• Aplicações• ARToolkit
oFuncionamentooArquitetura
• Conclusão
![Page 3: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/3.jpg)
Cenário
![Page 4: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/4.jpg)
Sistemas que misturam cenários do ambiente
Sobreposição de cenários VIRTUAIS
em cenários REAIS
O que é Realidade Aumentada?
![Page 6: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/6.jpg)
Definição
• Definição de Ronald Azuma:oCombinação de elementos virtuais com o
ambiente realo Interação e processamento em tempo realo Concebida em três dimensões
![Page 7: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/7.jpg)
O que é Realidade aumentada:Combinação de elementos
• Combinar nem sempre é igual a adicionar
• Combinar não inclui apenas informações visuais (Enkin)
![Page 8: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/8.jpg)
O que é Realidade aumentada:Interação em tempo real
“Using AR technology, users can interact with a combination of real and virtual objects in a natural way.”“In Confluence of Computer Vision and Interactive Graphics
for Augmented Reality“
![Page 9: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/9.jpg)
O que é Realidade aumentada:Informação em 3D
Iluminação dependente da posição do sol (controladopelo usuário).
![Page 10: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/10.jpg)
Motivação: Um exemplo
![Page 11: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/11.jpg)
Motivação: Um exemplo
• O problema
o O cirurgião não pode olhar para a tela e para o paciente ao mesmo tempo
o Olhar para a tela enquanto opera o paciente não é ergonômico
o A tela é 2D, enquanto que o corpo do paciente é 3D
![Page 12: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/12.jpg)
Motivação: Um exemplo
• A Visão
o A informação deve ser mostrada onde ela é necessária
o O usuário deve poder acessar e interagir com a informação de maneira ergonômica
o A informação deve ser apresentada em três dimensões, como o objeto da aplicação
![Page 13: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/13.jpg)
Aplicações
Médica
• The heARt-Project: Cirugia cardíaca minimamente invasiva.
• MIT: Integração de dados de ressonância magnética e de eletroencefalograma para suporte à cirugia cerebral.
![Page 14: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/14.jpg)
Aplicações
Manutenção, reparos e produção
• BMW: The “Intelligent Welding Gun”
• Boeing: “Augmented wiring”
![Page 15: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/15.jpg)
Aplicações
Visualização de dados científicos
• Educação• Studierstube: Construct3D Application
![Page 16: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/16.jpg)
Outras áreas de Atuação• Militar• Entretenimento• Petroquímica
![Page 17: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/17.jpg)
Dificuldades de Implementação• Cálculos para construção da imagem virtual
para o ponto de vista do usuário• Saber a escala e o alinhamento• Realizada em tempo real • Posicionamento o mais preciso possível
CUSTOSO
![Page 18: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/18.jpg)
Solução
• ARToolkit
![Page 19: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/19.jpg)
O que é ARToolkit?• Sistema baseado em tracking (rastreamento)
• Calcula a posição real da câmera e a orientação relativa de um marcador
![Page 20: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/20.jpg)
ARTookit como soluçãoNão exige aquisição de material muito
robusto e caroGratuita Disponibiliza o código-fonte
• Transporte para diversas plataformas • Adapta-se a diversas aplicações• Difundida em meio aos estudantes
![Page 21: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/21.jpg)
Como ARToolkit Ajuda?• Usa algoritmos com conceitos de cálculo
de matrizes (álgebra)• Calcula a posição no espaço real da
câmera e sua orientação em relação à marcadores
• Programador preocupar-se apenas em sobrepor cenários
• Abstração dos cálculos de mapeamento
![Page 22: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/22.jpg)
MarcadoresFiguras geométricasContém símbolos no interiorRastreamento estima:
• Posição• Orientação
![Page 23: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/23.jpg)
Extração de Imagem• Imagem limiarizada (preto e branco)
• Identifica vértices das regiões quadradas• Compara os símbolos com os gabaritos dos
marcadores já cadastrados• Os cálculos são feitos caso haja semelhança
![Page 24: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/24.jpg)
Algoritmo• Baseia-se na posição encontrada e no
tamanho conhecido do padrão• Relaciona as coordenadas por meio de uma
matriz 3x4 (matriz transformação)
• Multiplicação de uma matriz transformação "T" por um ponto 3D no marcador (Xm,Ym,Zm), obtendo o ponto correspondente no sistema de coordenadas da câmera (Xc,Yc,Zc)
![Page 25: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/25.jpg)
Visão Geral
![Page 26: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/26.jpg)
Funcionamento
• Calibração do sistema
• Captura da imagem de entrada o Sequência de imagens da câmera de video
• Busca pelos marcadoreso As imagens capturadas são convertidas para
uma imagem binária para a identificação de padrões (quadrados pretos)
• Cálculo da posição/orientação da câmerao Relativas aos quadrados pretos
![Page 27: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/27.jpg)
Funcionamento• Identificação de marcadores
o Verifica se o símbolo dos marcador casa com algum padrão na memória.
• Inserção de imagens virtuaiso Usando transformações 3D, a imagem é
orientada e posicionada para ser posta no marcador.
• Renderização da imagem finalo A imagem é renderizada em cima do marcador
![Page 29: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/29.jpg)
Calibragem da câmera• É desejável saber os parâmetros da câmera
para posicionar com mais precisão os objetos virtuais sobre a cena real
• Principais propriedades extraídas da calibragem: – distorções de lente, – ponto central da câmera– distância focal da câmera
![Page 30: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/30.jpg)
Calibragem da câmera
![Page 31: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/31.jpg)
ARToolkitFramework
Arquitetura
![Page 32: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/32.jpg)
Arquitetura
• Quatro módulos:
o AR Module: módulo principal com rotinas de rastreamento de marcadores e calibração.
o Video Module: conjunto de rotinas que encapsulam a captura de frames de vídeo padrão
o Gsub Module: conjunto de rotinas gráficas baseadas nas bibliotecas OpenGL e GLUT
![Page 33: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/33.jpg)
Arquitetura
![Page 34: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/34.jpg)
Arquitetura
•Metáfora de pipeline:
o Video -> Tracking -> Display
o Permite fácil troca de módulos
![Page 35: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/35.jpg)
E o quarto módulo?
• Gsub_Lite Module: substitui o Gsub Module com rotinas gráficas mais eficientes e independentes do sistema de janelas
![Page 36: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/36.jpg)
Limitações
• Marcadores necessitam estar sempre (e totalmente) à mostrao Pode limitar o tamanho e movimento dos objetos virtuais
• Orientação do marcador relativa à câmerao Inclinação do marcador reduz precisão
• Tamanho do marcadoro Marcadores maiores = distâncias maiores
![Page 37: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/37.jpg)
Limitações
•Condições de iluminaçãoo Iluminação direta sobre o marcador
pode causar problemas de reconhecimento
•Complexidade do marcadoro Figuras simples e não simétricaso Maior complexidade = Menor alcance
![Page 38: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/38.jpg)
Projetos • The BlackMagic kiosk
• Magic Book
• PyARTK
• Augmented Reality Encyclopedia
• AR Tower Defense
• ARToolkit on Iphone
• E muitos outros...
![Page 39: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/39.jpg)
Dúvidas?
![Page 40: Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde](https://reader036.vdocuments.site/reader036/viewer/2022062408/56813e66550346895da8739a/html5/thumbnails/40.jpg)