los secretos de la estereoscopía - gmrvmgarcia/rva/estereo.pdf · los secretos de la...
TRANSCRIPT
Los secretos de la estereoscopía
ESCUELA TÉCNICA SUPERIOR EN INGENIERÍA INFORMÁTICA (ETSII)
MASTER EN INFORMÁTICA GRÁFICA,
JUEGOS Y REALIDAD VIRTUAL
Marcos García marcos.garcí[email protected]
Historia
• Siglo II: Claudius Galenus
• Siglo III: Euclides
• Siglo XV: Leonardo da Vinci
• Siglo XVII: François d'Aguilon -> Opticorum Libri Sex philosophis juxta ac mathematicis utiles
• 1833: Sir Charles Wheatstone primer estereoscopio
• 1849: Sir David Brewster crea un estereoscopio que funciona con fotografías
Historia
• 1858: Joseph d’Almeida primer sistema anaglifo.
• 1885: Etienne Jules Marey aplica el estero a sus imágenes en movimiento
• 1903: L’Arrivée du train, primer corto en 3D de los hermanos Lumiere
• 1915: Primer corto comercial.
• 1922: Primera película 3D: The Power of Love.
Historia
• 1922: Prizma Color y Teleview
• 1935: Propaganda Nazi
• 1936: Se aplican los filtros polares al mundo del 3D
• 1952-1955: Bwana Devil, Dial M for Murder …
• 1982: Se emite un programa de TV en 3D
• 1986: IMAX
• 2010: Se emite un evento deportivo. Se venden televisores 3D de forma masiva.
RV
¿Podemos confiar en nuestros
sentidos?
¿Cómo percibimos la profundidad?
http://www.youtube.com/watch?v=bBQQEcfkHoE
http://www.youtube.com/watch?v=Jd3-eiid-Uw
Fundamentos de la visión estéreo
• Nuestros ojos captan dos imágenes desde dos puntos de vista distintos – Depende de la separación intraocular (DIO)
• Entre 45-75mm (65mm es lo habitual)
– Disparidad o divergencia: entre las dos imágenes existen diferencias en la dirección horizontal
• Son interpretadas como una única imagen, información de la distancia (fusión y estereopsis)
• La sensación de profundidad depende de la disparidad y la disparidad de la DIO – A mayor DIO mayor disparidad, mejor captación de la profundidad en
objetos lejanos
Pequeño experimento
Los ojos convergen en el pulgar.
El fondo se ve doble
Los ojos convergen en el fondo.
El pulgar se ve doble
Fundamentos de la visión estéreo
• Convergencia: punto en el cual intersecan los ejes ópticos
– Punto de divergencia 0
– En puntos muy alejados los ejes ópticos son casi paralelos
– La divergencia nunca se produce
– A partir de ciertas distancias no se distingue la profundidad • Depende de las personas
• Entre los 60 y 100m
• Acomodación: enfoque óptico de un punto
• Fusión: proceso conjunto de acomodar un punto y hacer converger los ejes ópticos en él
Imagen estéreo
• Llamaremos imagen estéreo a la fusión de la imagen del ojo derecho con la imagen del ojo izquierdo
• Cada una de los dos elementos que componen la imagen estéreo recibe el nombre de campo
Parámetros estéreo
• Distancia intraocular (DIO)
• Distancia al centro de proyección (d)
• Paralaje (Paralax) – Depende de los
factores anteriores
• Traslación horizontal de la imagen HIT
DIO
d
Plano de proyección
Cámara Izquierda
Cámara Derecha
Paralaje
• Paralax: distancia entre las dos proyecciones de un punto en el plano de proyección
• Disparidad: distancia entre las dos proyecciones de un punto en las retinas
• Paralax Disparidad Fusión Estéreopsis
• Depende de
– La distancia intraocular
• A más DIO más paralax
Paralaje
• Tipos de paralaje
• Según el eje – paralaje horizontal
– paralaje vertical (no debe producirse)
• Según la distancia – Cero paralaje: El punto se encuentra sobre el plano de
proyección. (ZPS: Zero Parallax Setting)
– Paralaje positivo. El punto se encuentra detrás del plano de proyección.
• Divergente: no debe producirse
– Paralaje negativo
Paralaje
paralaje Positivo Cero paralaje paralaje Negativo
Horizontal Image Translation
• Traslación horizontal de los campos del par estéreo
• Parámetro de ajuste (tunning)
• HIT paralax
– HIT no depende de la distancia
Problemas a tener en cuenta
• Relación acomodación/convergencia
• Imágenes congruentes
• Bordes
• Imágenes cruzadas
• Paralaje vertical y divergente
Relación
acomodación/convergencia
• Punto de enfoque Punto de convergencia
• Acomodación en la pantalla
• Puede estar por delante o por detrás
• No hay problema para puntos con 0 paralax
• Produce – Dificultades en la fusión
– Incomodidad
Acomodación
Convergencia
Relación
acomodación/convergencia
• El efecto depende de:
– La persona
• En niños y gente que trabaja con imágenes estéreo e problema es menor
– Depende de la escena que visualicemos
– Del tamaño de la pantalla (mejor cuanto más grande)
– De la distancia al plano de proyección (mejor cuanto mayor)
– Del tipo de paralaje (mejor el paralaje positivo)
Relación
acomodación/convergencia
• Se intenta que el paralaje no exceda los 1’5º
1’5º d
Max paralax
Max paralax = 2*d*tan (1’5º/2)
Imágenes congruentes
• Las dos imágenes deben tener
– Congruente brillo
– Igual intensidad
– Igual contraste
• Deben mostrar la misma escena
• Provoca
– Dificultades en la fusión
Bordes
• Las imágenes que no están totalmente contenidas en la pantalla dan problemas
• Imágenes con paralaje negativo – El paralaje indica que el objeto está delante de la
pantalla
– El corte con el borde indica que está detrás
– Son más tolerantes al recorte horizontal que al vertical
• El paralaje positivo no es un problema
Paralaje vertical o/y divergente
• Nunca debe de producirse
• Provoca
– Dificultades en la fusión
– Incomodidad (incluso malestar)
– Obliga al ojo a realizar un movimiento no natural
• Se produce por
– Movimientos del usuario
– Utilización de algoritmos equivocados
Imágenes cruzadas
• Este efecto se produce cuando un ojo ve una imagen que no le corresponde
• Se produce el efecto de imagen fantasma o ghosting
• Se debe a problemas tecnológicos
– Problemas con los filtros (movimientos del espectador)
– Problemas de sincronización con los dispositivos
– Problemas de latencia de la pantalla o los proyectores
– …
Ortoesterografía
• Buscar imágenes isomorfas con el mundo real
• Requiere conocer la posición del usuario
• Imposible si hay mas de un espectador
Como mejorar las sensaciones del usuario
• No buscar la ortoesterografía
• Controlar el paralaje – Central el objeto principal en el plano de proyección
• Alejar al espectador de la pantalla – Situación respecto la pantalla
Como mejorar las sensaciones del usuario
• Estresar la perspectiva
Efecto ventana
Efecto ventana
Tipos de dispositivos
• Dispositivos activos – Muestran alternativamente los campos de una imagen
estéreo
– Requieren mecanismos de sincronización costosos
– Los proyectores son baratos
• Dispositivos pasivos – Las dos imágenes son mostradas a la vez
– No requieren mecanismos de sincronización
– Los proyectores son caros
Tipos de dispositivos
• Anaglifo
• HMD
• Proyectores – Pasivos: 2 proyectores
• Filtros: – Polares
– Cromáticos
– Activos: más de 200Hz • Señal de sincronización infrarroja.
Tipos de dispositivos
Tipos de dispositivos
http://eu.trioviz.com/fr
red-green pure red pure green monochrome
red-blue pure red pure blue monochrome
red-cyan pure red pure cyan (green+blue)
color (poor reds, good greens)
anachrome dark red cyan (green+blue+some red)
color (poor reds)
mirachrome dark red+lens cyan (green+blue+some red)
color (poor reds)
Trioscopic pure green pure magenta (red+blue)
color (better reds, oranges and wider range of blues than red/cyan)
INFICOLOR complex magenta complex green
color (almost full and pleasant natural colors with excellent skin tones perception)
ColorCode 3D amber (red+green+neutral grey)
pure dark blue (+optional lens)
color (almost full-color perception)
magenta-cyan magenta (red+blue) cyan (green+blue) color (better than red-cyan)
Infitec white (Red 629 nm, Green 532 nm, Blue 446 nm)
white (Red 615 nm, Green 518 nm, Blue 432 nm)
color (full color)
Tipos de dispositivos
• Televisiones actuales: – Pasivos: 2 leds por color y punto.
Cromáticos.
– Activos: frecuencias superiores a 200Hz
• Monitores auto estereoscópicos: – Sistema pasivo sin gafas
• Sistemas volumétricos [X,X]
Formatos
• Líneas entrelazadas
• Above-below
• Syde-by-side
• Red-Cyan
• Quadbuffer
• Otros (White line code)
Líneas entrelazadas
• Se utilizan la líneas pares para un campo y las líneas impares para el otro campo
• Problemas
– Reduce la definición vertical (menos puntos por columna)
Above-below
• Se divide el área de renderizado verticalmente
• Debe introducirse como parámetro el tamaño de la línea de separación de campos
• Problema
– Pérdida de resolución horizontal
Above-below (II)
Syde-by-side
• Se divide le área de renderizado horizontalmente colocando un campo al lado del otro
• Debe introducirse como parámetro el tamaño de la línea de separación de campos
• Problema – Pérdida de resolución vertical
Syde-by-side (II)
Red-Cyan
• Un campo se pinta con tonalidades de rojo y el otro con tonalidades de cian
• Problemas
– Suele darse el fenómeno de ghosting
– Se pierde congruencia entre los campos de la imagen estéreo
Quadbuffer
• Extensión del doblebuffer para estéreo
• Se utilizan dos buffers para cada campo
• Problemas
– Necesita sincronización hardware
– Necesita una tarjeta con velocidades de refresco altas
Implementación
• Implementación para sistemas con dos planos de proyección (HMD)
• Implementaciones para sistemas con uno único
– Toe-in
– Off-axis
Implementación para sistemas con
dos planos de proyección
DIO
Cámara Izquierda
Cámara Derecha
• Proyección sobre dos cámaras
– Separadas una distancia DIO
– Con la misma orientación
• Parámetros
– Distancia intraocular (DIO)
Toe-in
• Proyección sobre dos cámaras – Separadas una distancia DIO – Orientadas hacia el centro del
plano de proyección
• Orientación
• Parámetros – Distancia intraocular (DIO) – Distancia al plano de
proyección (d)
• Este método introduce paralaje vertical
)2
arctan(º90DIO
d
DIO
Plano de proyección
α
β
d
DIO/2
DIO
Plano de proyección
Toe-in
Off-axis
• Centro de proyección estéreo (SCOP)
w
h
h
d
SCOP
w
d
SCOP
)2
arctan(2d
w
)2/tan(
)2/tan(
h
wa )
2arctan(2
d
h
Off-axis
• Centro de proyección del campo izquierdo (LCOP)
w/2+DIO/2
d
LCOP
q
DIO
r
t
)2
)2/tan(arctan()2
arctan(
))2/tan('arctan(
)2
)2/tan(arctan()2
arctan(
2
)2/tan(
)2/tan('
d
DIOa
d
DIOw
a
d
DIOa
d
DIOw
h
DIOa
h
DIOwa
r
q
q
qt
t
Off-axis
Off-axis
Off-axis
• Proyección sobre dos cámaras
– Separadas una distancia DIO
– Con la misma orientación
• Parámetros
– Distancia intraocular (DIO)
– Distancia al plano de proyección (d)
– Ángulo de apertura vertical () o tamaño de la pantalla
– Relación altura (h) anchura (w), aspect-ratio (a=w/h)
Off-axis
• Creación del frustrum en openGl
Off-axis
• Creación del frustrum en openGl
Dudas ???
Bibliografía
• Virtual Reality Technology (Second Edition) Grigore C. Burdea, Philippe Coiffet Ed. Wiley-IEEE Press, 2003
• http://www.cs.unc.edu/Research/stc/FAQs/Stereo/stereo-handbook.pdf
• http://local.wasp.uwa.edu.au/~pbourke/projection/stereorender/ – Calculating Stereo Pairs
– 3D Stereo OpenGL example
– A portable rear projection stereoscopic display
• http://www.captain3d.com/stereo/html/tutorial.html