Abordagem Híbrida para Rastreamento 3D Monocular em Tempo Real de Objetos Planares
Especulares
Projeto de Computação Gráfica
João Paulo Lima
Grupo de Pesquisa em Realidade Virtual e MultimídiaUniversidade Federal de Pernambuco, Centro de Informática
Agenda
MotivaçãoMetodologiaResultadosConclusõesTrabalhos Futuros
Motivação
Determinar posição e orientação de um objeto em tempo realPerda de informação devido à reflexão
Metodologia
Rastreamento baseado em modeloAbordagem híbrida
Por detecção + RecursivoTextura + Aresta
Em objetos especulares:Rastreamento baseado em texturaSe falhar, rastreamento baseado em aresta
Última pose como estimativa
Metodologia :: Texture Based
Metodologia :: Edge Based
Determinar partes visíveis das arestas do modelo projetado com pose anterior
Extensão de OpenGL GL_ARB_occlusion_query
Metodologia :: Edge Based
Amostragem das arestas visíveis projetadas
Pontos de controle
Metodologia :: Edge Based
Para cada ponto de controlePonto correspondente no gradiente da imagemAlgoritmo Moving Edges (ME)
Metodologia :: Edge Based
Cálculo da poseMinimização do erro de reprojeçãoLevenberg-Marquardt
i
ii qperr ),(
)()(),( iiiii npqqp
Metodologia :: Bibliotecas
VXL (Vision-something-Libraries)ViSP (Visual Servoing Platform)OpenGL
Resultados
Rastreamento baseado em aresta (~30 fps)
Resultados
Objetos planares especularesTextura vs Textura + Aresta
Textura Textura + Aresta
Conclusões
Técnica híbrida para objetos planares especulares foi melhor em alguns casosRastreamento de objetos planares baseado em aresta não é suficiente
Poucas restriçõesCorrespondências errôneas
Rastrear objetos não-planares usando aresta apresentou melhores resultados
Trabalhos Futuros
Múltiplas hipóteses no MECorreção da detecção de arestas visíveisUso de estimadores robustosDetecção explícita de arestasPorte para dispositivos móveis
Referências
I. Gordon e D. G. Lowe, “What and Where: 3D Object Recognition with Accurate Pose”, University of British Columbia
A. Comport, E. Marchand, M. Pressigout, and F. Chaumette. “Realtime markerless tracking for augmented reality: the virtual visual servoing framework”. LAGADIC.
V. Lepetit e P. Fua, “Monocular Model-Based 3D Tracking of Rigid Objects: A Survey”, CVLAB
VXL, http://vxl.sourceforge.net/
ViSP, http://www.irisa.fr/lagadic/visp
OpenGL, http://www.khronos.org/opengl/