sistemas de tracking en realidad aumentada para patrimonio
TRANSCRIPT
II Seminario de documentación y musealización 3D del patrimonio cultural
Carlos González MorcilloCarlos González MorcilloProfesor Titular de Universidad UCLMProfesor Titular de Universidad UCLM
www.cgw.es
@cgmorcillo
[email protected] http://www.cgw.es @cgmorcillo
Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual
Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos
Líneas de Investigación Actuales
[email protected] http://www.cgw.es @cgmorcillo
Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual
Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos
Líneas de Investigación Actuales
[email protected] http://www.cgw.es @cgmorcillo
Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual
Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos
Líneas de Investigación Actuales
[email protected] http://www.cgw.es @cgmorcillo
Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual
Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos
Líneas de Investigación Actuales
[email protected] http://www.cgw.es @cgmorcillo
Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual
Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos
Líneas de Investigación Actuales
[email protected] http://www.cgw.es @cgmorcillo
Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual
Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos
Líneas de Investigación Actuales
[email protected] http://www.cgw.es @cgmorcillo
Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.
8
InterfacesTangibles
RA Espacial
RA Visión
RVSemiInmersiva
RVInmersiva
[email protected] http://www.cgw.es @cgmorcillo
Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.
9
[email protected] http://www.cgw.es @cgmorcillo
Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.
Características: [Azuma97]
Real + Virtual Interactivo Registro en 3D
10
[email protected] http://www.cgw.es @cgmorcillo
Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.
Características: [Azuma97]
Real + Virtual Interactivo Registro en 3D
11
[email protected] http://www.cgw.es @cgmorcillo
Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.
Características: [Azuma97]
Real + Virtual Interactivo Registro en 3D
12
[email protected] http://www.cgw.es @cgmorcillo
Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.
Características: [Azuma97]
Real + Virtual Interactivo Registro en 3D
13
[email protected] http://www.cgw.es @cgmorcillo
Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.
Características: [Azuma97]
Real + Virtual Interactivo Registro en 3D
14
[email protected] http://www.cgw.es @cgmorcillo
Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.
Características: [Azuma97]
Real + Virtual Interactivo Registro en 3D
15
[email protected] http://www.cgw.es @cgmorcillo
Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.
Características: [Azuma97]
Real + Virtual Interactivo Registro en 3D
16
[email protected] http://www.cgw.es @cgmorcillo
Mercado RA
17
Total de mercado en AR Móvil según categorías (Juniper Research)
Mill
one
s de
Dól
ares
[email protected] http://www.cgw.es @cgmorcillo
Trending Topic?
18
Augmented Reality Virtual Reality
Google Trends
Search Volume Index (by Country)
Google Trends
[email protected] http://www.cgw.es @cgmorcillo
Trending Topic?
19
Augmented Reality Virtual Reality
Google Trends
Search Volume Index (by Country)
Spain: 18
Portugal: 31
France: 12
UK: 61
Germany: 54
Netherlands: 80
USA: 46India: 63
Prototipo de Lentes de Contacto
B. Parviz et al. (2009) University of Washington
[email protected] http://www.cgw.es @cgmorcillo
Lentillas RA
20
1. Captura del Entorno (Sensores)
11
[email protected] http://www.cgw.es @cgmorcillo
Elementos
23
[ Krevelen & Poleman (2010)]
1. Captura del Entorno (Sensores)2. Tracking (Localización y Movim.)
1
2
1
2
[email protected] http://www.cgw.es @cgmorcillo
Elementos
24
[ Krevelen & Poleman (2010)]
1. Captura del Entorno (Sensores)2. Tracking (Localización y Movim.)3. Registro (Representación)
1
2
3
1
2
3
[email protected] http://www.cgw.es @cgmorcillo
Elementos
25
[ Krevelen & Poleman (2010)]
[G. Papagiannakis, G. Singh et al (2008)]
[email protected] http://www.cgw.es @cgmorcillo
Registro (Representación)
26
[email protected] http://www.cgw.es @cgmorcillo
Más que «Localización»...
29
¿Desde dónde miro? Cómo medir la Camera Pose (6DOF): Tracking
[email protected] http://www.cgw.es @cgmorcillo
Más que «Localización»...
30
¿Desde dónde miro? Cómo medir la Camera Pose (6DOF): Tracking
[email protected] http://www.cgw.es @cgmorcillo
Más que «Localización»...
31
¿Desde dónde miro? Cómo medir la Camera Pose (6DOF): Tracking
Tracking
Sensores Visión Híbrido
Ópticos Acústicos Otros
Magnéticos Inerciales Con Marcas Sin Marcas
[email protected] http://www.cgw.es @cgmorcillo
Métodos de Tracking
32
Tracking
Sensores Visión Híbrido
Ópticos Acústicos Otros
Magnéticos Inerciales Con Marcas Sin Marcas
[email protected] http://www.cgw.es @cgmorcillo
Métodos de Tracking
33
Tracking
Sensores Visión Híbrido
Ópticos Acústicos Otros
Magnéticos Inerciales Con Marcas Sin Marcas
[email protected] http://www.cgw.es @cgmorcillo
Métodos de Tracking
34
☺ Muy precisos ☺ Robustos☺ Poco intrusivos ☺ Baratos
[email protected] http://www.cgw.es @cgmorcillo
Métodos Tracking Visual
35
Marcas (Fiducial Markers)Métodos sin Marcadores
Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)
[email protected] http://www.cgw.es @cgmorcillo
Marcas (Fiducial Markers)
36
Binarización Extracción deComponentes
Identificación deAristas y Vértices
[Rekimoto: Matrix 1998][Kato: ARToolKit 1999]
[email protected] http://www.cgw.es @cgmorcillo
Marcas: Ejemplo de Uso
37
Museo Virtual de Informática UCLM
http://www.esi.uclm.es/museo/
[email protected] http://www.cgw.es @cgmorcillo
Marcas: Propagación del error
39
Cuidado: No valen como sistema de posicionamiento absoluto... Propagación del Error!
[email protected] http://www.cgw.es @cgmorcillo
Marcas: Propagación del error
40
Origen situado en el centro de la marca
Cuidado: No valen como sistema de posicionamiento absoluto... Propagación del Error!
[email protected] http://www.cgw.es @cgmorcillo
Marcas: Propagación del error
41
Origen situado en el centro de la marca
Propagando el mismo error con respecto a referencia externa
Cuidado: No valen como sistema de posicionamiento absoluto... Propagación del Error!
[email protected] http://www.cgw.es @cgmorcillo
Métodos Tracking Visual
42
Marcas (Fiducial Markers)Métodos sin Marcadores
Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)
[email protected] http://www.cgw.es @cgmorcillo
Métodos Tracking Visual
43
Marcas (Fiducial Markers)Métodos sin Marcadores
Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)
[email protected] http://www.cgw.es @cgmorcillo
Características Naturales
44
Extracción de Puntos Clave (Previo) Matching de Puntos Clave (Tpo. Real) Cálculo del Camera Pose
[G. Simon et al.: 2000]
[email protected] http://www.cgw.es @cgmorcillo
Métodos Tracking Visual
45
Marcas (Fiducial Markers)Métodos sin Marcadores
Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)
[email protected] http://www.cgw.es @cgmorcillo
Tracking Basado en Modelos
46
Muestreo de Puntos de Control Detección de Aristas Matching de Puntos (Modelo CAD) Cálculo del Camera Pose
[T. Drummond et al.: 2002]
[email protected] http://www.cgw.es @cgmorcillo
Métodos Tracking Visual
47
Marcas (Fiducial Markers)Métodos sin Marcadores
Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)
[email protected] http://www.cgw.es @cgmorcillo
On-the-fly: PTAMM
48
[G. Klein et al.: 2007][Castle PTAMM: 2011]Encontrar
características
Actualizar Camera Pose
Desplegar Gráficos 3D
Actualizar Mapa
Un FrameProceso 1 Tracking
Proceso 2 Mapping
[email protected] http://www.cgw.es @cgmorcillo
Métodos Tracking Visual
49
Marcas (Fiducial Markers)Métodos sin Marcadores
Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)
[email protected] http://www.cgw.es @cgmorcillo
Comparativa Tracking
51
[S. DiVerdi, T. Hollerer (2007)]
Tecnología Rango(m) Precisión(mm) Entorno
Marcas 2/5 2/10 InteriorModelos 5/10 2/10 Int/ExtCaract. Nat. 20/30 2/10 Int/Ext
GPS ∞ 5000 ExtWiFi 100 1000 IntInercial ∞ 2/10 Int/ExtRFID (Act/Pas) 0 /20 500 IntHíbridos Enfoques Híbridos: Fusión de Información
[email protected] http://www.cgw.es @cgmorcillo
ISMAR (% 10 Años)
[F. Zhou, H. Duh et al]
52
Tema % Artículos % CitasTracking 20.1% 32.1%Interacción 14.7% 12.5%Calibración 14.1% 12.5%Aplicaciones 14.4% 12.5%Despliegue 11.8% 5.4%AR Móvil 6.1% 7.1%Evaluación 5.8% 1.8%...
[email protected] http://www.cgw.es @cgmorcillo
Líneas de Trabajo
[J. Carmigniani, B. Furht (2013)]53
Int. Fijos
Ext. Móvil
Int. Móvil
Ext. Fijos 11%
36%
45%
8%
18 Papers AR en Museología [2009/2013]
Taxonomía de Sistema
[email protected] http://www.cgw.es @cgmorcillo
Líneas de Trabajo
[J. Carmigniani, B. Furht (2013)]54
Int. Fijos
Ext. Móvil
Int. Móvil
Ext. Fijos 11%
36%
45%
8%
18 Papers AR en Museología [2009/2013]
Taxonomía de Sistema
Tracking
Óptico78%
10%Inercial 2%
GPS
3%Wireless
Híbridos7%
[email protected] http://www.cgw.es @cgmorcillo
Líneas de Trabajo
[J. Carmigniani, B. Furht (2013)]55
Int. Fijos
Ext. Móvil
Int. Móvil
Ext. Fijos 11%
36%
45%
8%
18 Papers AR en Museología [2009/2013]
Taxonomía de Sistema
Tracking
Pantalla Móvil
65%
Display
Óptico78%
10%Inercial 2%
GPS
3%Wireless
Híbridos7% Pant.
FijaHMDs
20%15%
II Seminario de documentación y musealización 3D del patrimonio cultural
Carlos González MorcilloCarlos González MorcilloProfesor Titular de Universidad UCLMProfesor Titular de Universidad UCLM
www.cgw.es
@cgmorcillo