realidade aumentada em ambientes móveis e sua aplicação ... · meticube is a spin-off of the...
TRANSCRIPT
Meticube is a spin-off of the INI-GraphicsNet 15.MAI.2006
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG
Carlos Fernandes
2
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
Conteúdo
> Parte I - Realidade Aumentada
> O que é ?
> Motivações
> Realidade Aumentada vs. Realidade Virtual
> Sistema Típico
> Tipos Display
> Tecnologias de Tracking
> Exemplos Aplicacionais
> Alguns Problemas
> Parte II – Projecto ULTRA
> Conceito
> Arquitectura
> Runtime System
> Authoring Tools
> Hardware
> Tele-Consultation
> Status do projecto
> Trabalho Futuro
> Exploração Comercial
3
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada - O que é ?
> Variação da Realidade Virtual Convencional
> Combina objectos do mundo real
com objectos do mundo virtual
> Executada em tempo real e interactiva;
> Meio termo entre telepresença e
ambientes colaborativos
4
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada - Motivações
> Ampliar a percepção do utilizador
> Mostrar ao utilizador informações que não estão presentes na realidade e não podem ser obtidas pelos sentidos humanos
> Auxiliar os utilizadores a realizar tarefas complexas
> Objectivo final - criar um sistema em que o utilizador não consiga distinguir o mundo real do virtualmente aumentado.
5
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada vs. Realidade Virtual
> Realidade Virtual: Imersão completa do utilizador no Mundo Virtual.
> Realidade Aumentada: Imersão no Mundo Real mas com objectos virtuais embutidos nesse mundo real. Exemplo Realidade Virtual
Exemplo Realidade Aumentada
Espectro de Realidade Virtual
6
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada - Sistema Típico
> Dispositivo de Captação de Imagem (Video Câmara).
> Sistema de “Tracking”
> obrigatoriamente do Dispositivo de Captação de Imagem.
> eventualmente de outros elementos reais que se movimentem.
> Sistema Gráfico para gerar objectos virtuais
> Sistema que misture os mundos.
> Dispositivo de Apresentação (Display)
> Head-mounted displays (HMD) / Monitor / Projector.
Mundo Real
Câmara
Virtual
Sistema Gráfico
Sistema de “Tracking”
( Para alinhar a
Câmara Virtual
com a Câmara Real )
ObjectoVirtual
Imagem
Real
Imagem
Virtual
7
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Tipo Display (1/4)
> Optical See-Trough AR: utilizacapacetes de Realidade Virtual (HMD) transparentes para apresentaro ambiente virtual directamente sobreo mundo real.
> Vantagens> o mundo real é “realmente” observado
em tempo real e directamente pelo olho humano.
> Desvantagens: > é mais difícil controlar os desfasamentos
porque só o canal virtual é processado electronicamente.
> Conclusão: > aparentemente mais simples torna-se de
utilização mais limitada.> Tem sido abandonado em favor do Video
See-through
8
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Tipo Display (2/4)
> Video See-Trough AR: utilizacapacetes de Realidade Virtual (HMD) com câmaras de vídeo paraapresentar imagens combinadas do mundo real e o ambiente virtual.> Vantagens
> Podemos compensar o alinhamento e a latência porque tanto o mundo real (vídeo) como o virtual são processados electronicamente.
> Desvantagens: > O mundo real observado está sempre
atrasado em relação ao mundo real de facto (pelo menos 30 ms).
> Conclusões: > Aparentemente mais complexo é mais
controlável.> Tem ganho preponderância sobre o
Optical See through
9
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Tipo Display (3/4)
> Monitor Based AR: utiliza monitores
convencionais de computador
(desktop) ou portáteis
(Palm/PocketPC) para apresentar
imagens combinadas de vídeo e
ambientes virtuais.
10
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Tipo Display (4/4)
> Projector Based AR: utiliza os
objectos reais do mundo como
superfícies de projecção para o
ambiente virtual.
11
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Tecnologias de Tracking
> Tecnologias de Radiolocação> Fraca precisão… mas aplicáveis em grandes espaços
> Tecnologias Magnéticas> Objectos metálicos introduzem erros...(abandonada...)
> Tecnologias Ópticas> Diodos sensíveis à luz - emissores luminosos no HMD - algoritmo
calcula deslocamentos.> Metodologias Gráficas (algoritmos de processamento
imagem)> Cálculos e transformações geométricas com base na imagem.
> Tecnologias Híbridas> Tecnologia Óptica e Métodos Gráficos > Tecnologias de radiolocação - Ópticas e Gráficas (para grandes
espaços)
12
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Exemplos Aplicacionais
> Entretenimento
> Retiram o jogador da frente do monitor, estimulando o contacto com o mundo real e actividades sociais.
> Exemplos: ARQuake, Human Pacman
> GIS - Sistemas Navegação Avançados
> As indicações (ex. mudança de direcção, informações turisticas, etc) podem ser mostrados directamente no ambiente real
13
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Vídeo 1 - jogo colaborativo AR
14
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Exemplos Aplicacionais
> Medicina
> Cirurgia Guiada por imagem
> Ultrasons com AR
> Tratamento de doentes de Parkinson (estimulação com AR)
> Manutenção/Reparação
> Os manuais dos equipamentos podem ser substituidos por manuais AR, em que o técnico éguiado nas tarefas de reparação com anotações e informações pertinentes para a reparação em causa.
15
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Vídeo 2 – Manutenção BMW
16
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Exemplos Aplicacionais
> Património cultural
> Museus – permite consultar informações adicionais sobre as peças expostas
> Arqueologia – reconstruções virtuais em ruínas, por forma a auxiliar os visitantes, historiadores e técnicos
> Desenvolvimento Produtos
> Permite efectuar testes de design e ergonomia dos novos produtos (por exemplo testar diferentes cores)
> Os resultados reais de um crash-test podem ser comparados com os resultados esperados pela simulação.
17
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Vídeo 3 – Templo Hera (Atenas)
18
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Exemplos Aplicacionais
> Televisão
> Sistemas de Chroma-Keying, utilizado
por exemplo no jornal de noite da SIC.> As pessoas frente às câmaras podem
mover-se livremente.
> Os cenários virtuais são facilmente
alteráveis tanto antes como durante a
produção.
> Militares
> Projecção de informação no cockpit de
um avião.
> Imagens virtuais dos alvos no capacete do piloto.
> Imagens virtuais (captadas por satélite)
do “inimigo” localizado fora do raio de visão no capacete do soldado
19
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Vídeo 4 – Treino Militar
MilitaryTraining.avi
20
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
I - Realidade Aumentada – Alguns Problemas
> Ferramentas de Autoria complexas – dificulta a geração de conteúdos AR
> Alto custo sistemas
> Portabilidade
> Problemas Técnicos:> Desfasamento Temporal entre o mundo real e o objecto virtual (latency)> Desfasamento Espacial entre o mundo real e o objecto virtual
(registration):> Distorção da câmera> Erros de Tracking> Parâmetros incorretos de visão (Calibração da câmera)> Erros dinâmicos
> Os objecto virtuais têm uma aparência demasiado simplista
21
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA
> Projecto Europeu IST
> IST-004734 ULTRA
> Parceiro Líder Fraunhofer IGD
> Duração 09/04 – 02/07
> http://ist-ultra.org
22
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – Conceito
> O ULTRA prentende ser uma ferramenta de apoio ao trabalhador móvel na área da manutenção industrial e serviços:
> Fornecendo um sistema AR ultra portátil que funcione com:
> PDAs “off-the-shelf” de baixo custo
> Fornecendo dispositivo HMD confortável e “utilizável no terreno”
> Fornecendo ferramentas que permitam a criação de Manuais AR com informações/demonstrações da realização de tarefas complexas de montagem e manutenção.
23
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA - Arquitectura
24
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
ULTRA runtime system(aplicação PDA)
25
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – Runtime System: Componentes
> Interaction> Interacção com o utilizador através de:
comandos de voz, butões hardware, caneta
> Controller> Interpreta o Workflow, integração de todos os
componentes, sincronização de conteúdos, autenticação do utilizador
> Behavior> Gere as animações e interacções com a
informação virtual
> Registration> Efectua o calculo da posição e orientação da
câmera (mundo real com o mundo virtual)> “Registration” manual ou automática através de
marcadores
> Rendering > Klimt (biblioteca open-source 3D optimizada
para PDAs e telefones móveis, com uma API semelhante ao OpenGL)
26
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – Runtime System
27
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
ULTRA Authoring Tools
28
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – 3D Authoring Tool
> 3D Authoring tool – Permite a geração de animações 3D optimizadas a partir de modelos CAD
> A base de desenvolvimento é o Avalon – um sistema de AR
compatível com a tecnologia X3D/VRML
> Suporta novas funcionalidades através de plug-ins
> Utiliza um sistema inovador de templates parâmetrizados que
são compilados em run-time
> As animações 3D (em X3D/VRML) exportadas são altamente
optimizadas (os PDAs ainda são muito limitados gráficamente).
29
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – 3D Authoring Tool
30
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – Process Authoring Tool
> Process Authoring Tool: Ferramenta que permite a criaçãode uma forma fácil e intuitiva dos processos de trabalho(Workflow)
> O processo de workflow é composto por um conjunto de
Actividades (actividades AR ou actividades SMIL) e Pontos de
decisão
> Baseada no paradigma da linha de tempo (timeline)
> Output ficheiros PIF: Process Instruction Files, baseados em
XML
> Os ficheiros PIF resultantes serão processados pelo controller
do runtime system que invoca os sistemas de render
apropriados
31
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – Process Authoring Tool
32
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
ULTRA Hardware
33
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – HMD (Head Mounted Display)
> O parceiro do projecto Trivisio éuma empresa fabricante deste tipo de dispositivos, e está a trabalhar num protótipo com as seguintes características:
> Monocular
> Imersivo
> Optical See-Trough
> 4:3 side ratio
> Resolução SVGA 800x600
> Câmara, microfone e
auscultadores integrados
34
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – Plataformas Móveis
> Para o 1º protótipo foram escolhidos dois PocketPCs off-the-shelf
> Pocket Loox 720
> HP rx3715
35
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
ULTRA Tele-Consultation
36
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – Tele-Consultation
> Com esta ferramenta o técnico no terreno pode:
> Escolher um expert que o auxilie na realização da tarefa
> Comunicar em tempo real com o expert, utilizando VoiP e
realtime video
> Enviar anotações e imagens aumentadas para o expert
> Receber do expert manuais AR novos ou actualizados (PIFs)
37
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA – Status do projecto
> Primeiro ano do projecto completo
> Integração do primeiro protótipo finalizado
> Os Trials do sistema estão a ser iniciados
> Trials
> Irão envolver pessoal de manutenção e serviços (em Portugal
iremos efectuar os Trials com a colaboração do CENTIMFE)
> Serão baseados em métricas quantitativas com o objectivo de
avaliar a performance do sistema (start-up time, memoria, CPU
usage, etc)
> Incluirão um conjunto de questionários para avaliação
qualitativa de cada subsistema
38
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA - Trabalho Futuro
> O protótipo final do ULTRA incluirá:
> Tracking de vídeo em tempo real (Live video tracking)
> Suporte para múltiplos SOs (Windows, Symbian e Palm OS)
> Suporte para múltiplas plataformas(PDAs e telefones móveis)
> Implementação de funcionalidade sugeridas pelos participantes
nos trials e pelos beta-testers
> O objectivo: um protótipo funcional, performante, extensível e que possa ser facilmente integrado nos sistemas já em produção nas empresas.
39
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
II – Projecto ULTRA - Exploração Comercial (Exp. Plan)
> Exploração Comercial
> Será iniciada ainda no decorrer do projecto (2º semestre de
2006)
> Base: Exploitation Plan (em desenvolvimento)
> Mercados alvo principais:
> Automóvel
> Aeroespacial
> Telecomunicações
> Gestão de Edifícios
> Manutenção Industrial
40
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
Obrigado pela Atenção!
(MaisUmVídeo?.mov)
41
Realidade Aumentada em Ambientes Móveis e sua Aplicação na Indústria – caso prático: ULTRA
Seminário ESTG 15.MAI.2006
Contactos
> METICUBE - Software Engineering> www.meticube.com
> Centro de Empresas de TaveiroEstrada de Condeixa3045-508 Coimbra
Portugal
> Tel. +351 239 980 041
> Fax. +351 239 981 379
> Mob.+351 962 406 400