sistemas de tracking en realidad aumentada para patrimonio

56
II Seminario de documentación y musealización 3D del patrimonio cultural Carlos González Morcillo Carlos González Morcillo Profesor Titular de Universidad UCLM Profesor Titular de Universidad UCLM www.cgw.es @cgmorcillo

Upload: carlos-gonzalez-morcillo

Post on 12-Apr-2017

63 views

Category:

Engineering


4 download

TRANSCRIPT

Page 1: Sistemas de Tracking en Realidad Aumentada para Patrimonio

II Seminario de documentación y musealización 3D del patrimonio cultural

Carlos González MorcilloCarlos González MorcilloProfesor Titular de Universidad UCLMProfesor Titular de Universidad UCLM

www.cgw.es

@cgmorcillo

Page 2: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual

Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos

Líneas de Investigación Actuales

Page 3: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual

Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos

Líneas de Investigación Actuales

Page 4: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual

Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos

Líneas de Investigación Actuales

Page 5: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual

Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos

Líneas de Investigación Actuales

Page 6: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual

Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos

Líneas de Investigación Actuales

Page 7: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Tabla de Contenidos Qué es Realidad Aumentada Elementos del Sistema Métodos de Tracking Visual

Marcas Características Naturales Basado en Modelos Reconstrucción al Vuelo Enfoques Híbridos

Líneas de Investigación Actuales

Page 8: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.

8

Page 9: Sistemas de Tracking en Realidad Aumentada para Patrimonio

InterfacesTangibles

RA Espacial

RA Visión

RVSemiInmersiva

RVInmersiva

[email protected] http://www.cgw.es @cgmorcillo

Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.

9

Page 10: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.

Características: [Azuma97]

Real + Virtual Interactivo Registro en 3D

10

Page 11: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.

Características: [Azuma97]

Real + Virtual Interactivo Registro en 3D

11

Page 12: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.

Características: [Azuma97]

Real + Virtual Interactivo Registro en 3D

12

Page 13: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.

Características: [Azuma97]

Real + Virtual Interactivo Registro en 3D

13

Page 14: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.

Características: [Azuma97]

Real + Virtual Interactivo Registro en 3D

14

Page 15: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.

Características: [Azuma97]

Real + Virtual Interactivo Registro en 3D

15

Page 16: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Qué es Realidad Aumentada Variación de Entornos Virtuales. Incorpora información sintética al mundo real.

Características: [Azuma97]

Real + Virtual Interactivo Registro en 3D

16

Page 17: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Mercado RA

17

Total de mercado en AR Móvil según categorías (Juniper Research)

Mill

one

s de

Dól

ares

Page 18: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Trending Topic?

18

Augmented Reality Virtual Reality

Google Trends

Search Volume Index (by Country)

Google Trends

Page 19: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Trending Topic?

19

Augmented Reality Virtual Reality

Google Trends

Search Volume Index (by Country)

Spain: 18

Portugal: 31

France: 12

UK: 61

Germany: 54

Netherlands: 80

USA: 46India: 63

Page 20: Sistemas de Tracking en Realidad Aumentada para Patrimonio

Prototipo de Lentes de Contacto

B. Parviz et al. (2009) University of Washington

[email protected] http://www.cgw.es @cgmorcillo

Lentillas RA

20

Page 21: Sistemas de Tracking en Realidad Aumentada para Patrimonio

Google+: g.co/projectglass

4th April 2012

[email protected] http://www.cgw.es @cgmorcillo

21

Page 22: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Elementos

22

[ Krevelen & Poleman (2010)]

Page 23: Sistemas de Tracking en Realidad Aumentada para Patrimonio

1. Captura del Entorno (Sensores)

11

[email protected] http://www.cgw.es @cgmorcillo

Elementos

23

[ Krevelen & Poleman (2010)]

Page 24: Sistemas de Tracking en Realidad Aumentada para Patrimonio

1. Captura del Entorno (Sensores)2. Tracking (Localización y Movim.)

1

2

1

2

[email protected] http://www.cgw.es @cgmorcillo

Elementos

24

[ Krevelen & Poleman (2010)]

Page 25: Sistemas de Tracking en Realidad Aumentada para Patrimonio

1. Captura del Entorno (Sensores)2. Tracking (Localización y Movim.)3. Registro (Representación)

1

2

3

1

2

3

[email protected] http://www.cgw.es @cgmorcillo

Elementos

25

[ Krevelen & Poleman (2010)]

Page 26: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[G. Papagiannakis, G. Singh et al (2008)]

[email protected] http://www.cgw.es @cgmorcillo

Registro (Representación)

26

Page 27: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Más que «Localización»...

27

Page 28: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Más que «Localización»...

28

¿Desde dónde miro?

Page 29: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Más que «Localización»...

29

¿Desde dónde miro? Cómo medir la Camera Pose (6DOF): Tracking

Page 30: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Más que «Localización»...

30

¿Desde dónde miro? Cómo medir la Camera Pose (6DOF): Tracking

Page 31: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Más que «Localización»...

31

¿Desde dónde miro? Cómo medir la Camera Pose (6DOF): Tracking

Page 32: Sistemas de Tracking en Realidad Aumentada para Patrimonio

Tracking

Sensores Visión Híbrido

Ópticos Acústicos Otros

Magnéticos Inerciales Con Marcas Sin Marcas

[email protected] http://www.cgw.es @cgmorcillo

Métodos de Tracking

32

Page 33: Sistemas de Tracking en Realidad Aumentada para Patrimonio

Tracking

Sensores Visión Híbrido

Ópticos Acústicos Otros

Magnéticos Inerciales Con Marcas Sin Marcas

[email protected] http://www.cgw.es @cgmorcillo

Métodos de Tracking

33

Page 34: Sistemas de Tracking en Realidad Aumentada para Patrimonio

Tracking

Sensores Visión Híbrido

Ópticos Acústicos Otros

Magnéticos Inerciales Con Marcas Sin Marcas

[email protected] http://www.cgw.es @cgmorcillo

Métodos de Tracking

34

☺ Muy precisos ☺ Robustos☺ Poco intrusivos ☺ Baratos

Page 35: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Métodos Tracking Visual

35

Marcas (Fiducial Markers)Métodos sin Marcadores

Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)

Page 36: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Marcas (Fiducial Markers)

36

Binarización Extracción deComponentes

Identificación deAristas y Vértices

[Rekimoto: Matrix 1998][Kato: ARToolKit 1999]

Page 37: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Marcas: Ejemplo de Uso

37

Museo Virtual de Informática UCLM

http://www.esi.uclm.es/museo/

Page 38: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Marcas: Limitaciones

38

Page 39: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Marcas: Propagación del error

39

Cuidado: No valen como sistema de posicionamiento absoluto... Propagación del Error!

Page 40: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Marcas: Propagación del error

40

Origen situado en el centro de la marca

Cuidado: No valen como sistema de posicionamiento absoluto... Propagación del Error!

Page 41: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Marcas: Propagación del error

41

Origen situado en el centro de la marca

Propagando el mismo error con respecto a referencia externa

Cuidado: No valen como sistema de posicionamiento absoluto... Propagación del Error!

Page 42: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Métodos Tracking Visual

42

Marcas (Fiducial Markers)Métodos sin Marcadores

Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)

Page 43: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Métodos Tracking Visual

43

Marcas (Fiducial Markers)Métodos sin Marcadores

Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)

Page 44: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Características Naturales

44

Extracción de Puntos Clave (Previo) Matching de Puntos Clave (Tpo. Real) Cálculo del Camera Pose

[G. Simon et al.: 2000]

Page 45: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Métodos Tracking Visual

45

Marcas (Fiducial Markers)Métodos sin Marcadores

Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)

Page 46: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Tracking Basado en Modelos

46

Muestreo de Puntos de Control Detección de Aristas Matching de Puntos (Modelo CAD) Cálculo del Camera Pose

[T. Drummond et al.: 2002]

Page 47: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Métodos Tracking Visual

47

Marcas (Fiducial Markers)Métodos sin Marcadores

Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)

Page 48: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

On-the-fly: PTAMM

48

[G. Klein et al.: 2007][Castle PTAMM: 2011]Encontrar

características

Actualizar Camera Pose

Desplegar Gráficos 3D

Actualizar Mapa

Un FrameProceso 1 Tracking

Proceso 2 Mapping

Page 49: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Métodos Tracking Visual

49

Marcas (Fiducial Markers)Métodos sin Marcadores

Características Naturales (KeyPoint) Basado en Modelos (IPB, PS, ...) Reconstrucción al vuelo (SLAM) Métodos Híbridos (+IMU...)

Page 50: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Tracking Híbrido: Hesperia

50

Page 51: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Comparativa Tracking

51

[S. DiVerdi, T. Hollerer (2007)]

Tecnología Rango(m) Precisión(mm) Entorno

Marcas 2/5 2/10 InteriorModelos 5/10 2/10 Int/ExtCaract. Nat. 20/30 2/10 Int/Ext

GPS ∞ 5000 ExtWiFi 100 1000 IntInercial ∞ 2/10 Int/ExtRFID (Act/Pas) 0 /20 500 IntHíbridos Enfoques Híbridos: Fusión de Información

Page 52: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

ISMAR (% 10 Años)

[F. Zhou, H. Duh et al]

52

Tema % Artículos % CitasTracking 20.1% 32.1%Interacción 14.7% 12.5%Calibración 14.1% 12.5%Aplicaciones 14.4% 12.5%Despliegue 11.8% 5.4%AR Móvil 6.1% 7.1%Evaluación 5.8% 1.8%...

Page 53: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Líneas de Trabajo

[J. Carmigniani, B. Furht (2013)]53

Int. Fijos

Ext. Móvil

Int. Móvil

Ext. Fijos 11%

36%

45%

8%

18 Papers AR en Museología [2009/2013]

Taxonomía de Sistema

Page 54: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Líneas de Trabajo

[J. Carmigniani, B. Furht (2013)]54

Int. Fijos

Ext. Móvil

Int. Móvil

Ext. Fijos 11%

36%

45%

8%

18 Papers AR en Museología [2009/2013]

Taxonomía de Sistema

Tracking

Óptico78%

10%Inercial 2%

GPS

3%Wireless

Híbridos7%

Page 55: Sistemas de Tracking en Realidad Aumentada para Patrimonio

[email protected] http://www.cgw.es @cgmorcillo

Líneas de Trabajo

[J. Carmigniani, B. Furht (2013)]55

Int. Fijos

Ext. Móvil

Int. Móvil

Ext. Fijos 11%

36%

45%

8%

18 Papers AR en Museología [2009/2013]

Taxonomía de Sistema

Tracking

Pantalla Móvil

65%

Display

Óptico78%

10%Inercial 2%

GPS

3%Wireless

Híbridos7% Pant.

FijaHMDs

20%15%

Page 56: Sistemas de Tracking en Realidad Aumentada para Patrimonio

II Seminario de documentación y musealización 3D del patrimonio cultural

Carlos González MorcilloCarlos González MorcilloProfesor Titular de Universidad UCLMProfesor Titular de Universidad UCLM

www.cgw.es

@cgmorcillo