um estudo das técnicas de obtenção de forma a...
TRANSCRIPT
Um Estudo das Técnicas de Obtenção de Forma a partir de Estéreo e Luz Estruturada para Engenharia
Aluno: Gabriel MaliziaOrientador: Professor Marcelo GattassCo-Orientador: Professor Paulo Cezar Carvalho
Roteiro Introdução. Métodos de codificação de luz estruturada. Sistema estudado.
1. Calibração de câmeras e padrões de calibração.2. Captura e processamento de imagens.3. Triangulação e modelo final.
Implementação: demonstração. Resultados obtidos. Testes realizados. Conclusões e trabalhos futuros.
Introdução Estudo dos métodos estéreos ativos para captura
de formas. Voltado para aplicações em engenharia. Precisão nas medidas e robustez na captura de
diferentes objetos. Câmeras e projetores acessíveis. Motivação inicial: Visão Computacional.
Classificação dos Métodos de Aquisição de Formas Classificação dos métodos de aquisição de formas. Diferentes métodos para diferentes propósitos.
Princípio Básico de Métodos Estéreos Ativos: Triangulação Mesmo princípio da visão estéreo. Câmeras calibradas.
Princípio Básico de Métodos Estéreos Ativos Dificuldade na correspondência automática entre
pontos das duas imagens.
Princípio Básico de Métodos Estéreos Ativos Solução: utilizar uma fonte de luz para marcar a
cena com padrões conhecidos.
Princípio Básico de Métodos Estéreos Ativos Projetor digital como fonte de luz estruturada. Padrões com vários elementos. Cada elemento deve ser codificado univocamente.
Métodos de Codificação de Luz Estruturada: Codificação Temporal Projeta seqüencialmente slides com os dígitos do
número binário das listras enumeradas. n slides para 2n listras. Dois níveis de iluminação. Cenas estáticas. Codifica um eixo.
[23] Posdamer
Métodos de Codificação de Luz Estruturada: Codificação Temporal Codificação de Gray: codificação
mais robusta. Fronteiras não são repetidas.
Em [10] foram utilizados três canais de cores.
3x menos slides para mesmo número de listras codificadas.
[22]Inokuchi
Métodos de Codificação de Luz Estruturada: Codificação Espacial Único slide. Vizinhança utilizada para codificar posição. Necessidade de manter a estrutura espacial.
[32] Griffin
Métodos de Codificação de Luz Estruturada: Codificação Modulada Modula intensidade da luz ao longo de um eixo.
Codificação direta. 28 níveis de intensidade. Padrão único. Utiliza padrão auxiliar. Restrição a texturas de objetos. Sensível a ruídos.
[28] Carihill [30] Tajima
Calibração de Câmeras Modelo de Tsai. Conjunto de parâmetros extrínsecos dá a orientação
da câmera em relação a uma referência fixa:T – matriz de translação da câmera.R – matriz de rotação.
Calibração de Câmeras Conjunto de parâmetros intrínsecos define o as
características ópticas, geométricas e digitais da câmera:f – distância focalk1 e k2 – coeficientes de distorção radial das lentes.ox e oy – coordenadas do centro da imagem no plano da imagem.sx e sy – fatores de escala horizontal e vertical.
Calibração de Câmeras Inicialmente modelo foi simplificado para o modelo
de câmera “pinhole”. Houve uma necessidade de se tratar as distorções
radiais: OpenCV. Calibração feita com padrões de calibração
coplanares.
Padrão com Vértices: Processamento
Filtro “Threshold” Invertido
Bordas das Componentes Conexas em Listas Circulares
Padrão com Vértices: Processamento Heurística para encontrar vértices nas listas. Dado uma lista de tamanho n:
- são as coordenadas de um pixel na posiçãom, com .
- dá a distância do ponto m aoponto p.
- Para os 2k vizinhos mais próximos ao ponto naposição m podemos definir o somatório:
mm yx ,nm 1
mpmppm yyxxd ,
imm
k
iimmm ddr
1
Captura e Processamento de Imagens: Ruídos Tratamento de ruídos.
- Ruído Gaussiano.- Somado ao valor de cada pixel:
- Distribuição Gaussiana:
- Imagem média.
),(),(),( yxnyxCyxE
2
2
2
21)(
x
exG
1
0
),(1),(k
ii yxE
kyxE
Captura e Processamento de Imagens: Codificação Temporal Eixos codificados separadamente com listras
horizontais e verticais. n slides produz 2n listras. As coordenadas codificadas de um pixel são dadas
por (u,v), que é diferente das sua coordenadas na imagem da câmera.
Listras projetadas devem ter a mesma largura em pixels.
Captura e Processamento de Imagens: Detecção de Listras Critério de avaliação para cada pixel na imagem.
1
0
0 255
255
ND
ND
30
30
Intensidade do Pixel na Imagem
do Padrão
Intensidade do Pixel na Imagem
do Padrão Inverso
Captura e Processamento de Imagens: Decodificação Grupos de pixels conexos com mesmo par de
coordenadas codificadas .),( vu
Triangulação: Ponto Médio Ponto representativo com coordenadas da imagem para
cada grupo de pixels com coordenadas codificadas .),( vu
Triangulação: Nuvem de Pontos Utilizamos pontos de
coordenadas codificadas vizinhas para criar polígonos.
Triangulação: Textura Imagens do objeto iluminado uniformemente são
utilizadas como textura. Uma textura para cada câmera. Ponto médio é utilizado como coordenada de
textura do vértice.
Equipamentos Utilizados AMD Athlon XP1600+, com 512MB de memória e
placa gráfica NVIDIA FX5600. Câmeras Sony DFW-VL500 da Sony. Projetores CTX EzPro 610 (LCD) e Infocus X1 (DLP).
Problemas Ocorridos Padrões de interferência na
superfície dos modelos capturados com muitos pontos.
Mesmos padrões de interferências encontrados nas imagens.
Problemas Ocorridos Um problema que ocorre nas fronteiras das imagens
capturadas entre listras claras e escuras projetadas sobre o objeto capturado.
Primeiro Teste Padrão com vértices foi capturado pelo sistema. Três diferentes usuários mediram distâncias entre
vértices. Calibração feita com os dois padrões.
Primeiro Teste Resultados do padrão com elipses. Distâncias médias dos três usuários.
Desvio Padrão:cm066,0
Primeiro Teste Resultados do padrão com vértices. Distâncias médias dos três usuários.
Desvio Padrão:cm073,0
Segundo Tese – Ajuste de Cilindro Uma tubulação de PVC
foi capturada. Levanta-se os
parâmetros da equação paramétrica de um cilindro que melhor descreve a tubulação utilizada.
No final comparamos o raio achado com o raio real da tubulação.
Segundo Tese – Ajuste de Cilindro
- Ponto por onde passa o eixo central.
- Direção do eixo central.- Raio do cilindro.
dirX, dirY e dirZ são ortogonais entre si.
dirYRdirXRdirZspsp )sin()cos(),( 0
0p
dirZR
Segundo Tese – Ajuste de Cilindro
Se o eixo não for paralelo ao plano XZ:
Queremos minimizar para cada ponto:
),,( 0000 cbap ),,( wvudirZ
),1,( wudirZ ),0,( 000 cap
Rri b)(
Segundo Tese – Ajuste de Cilindro
Com:
E:
Rri 22)( ca
),,( 000 czyaxpp a
20
220
2 )()( czyax a
)1()))(())(((
22
2002
wuczwyaxu
c
dirZdirZdirZ
dirZa
0c
Segundo Tese – Ajuste de Cilindro Diâmetro médio do tubo: Colocado em três diferentes posições em relação às
câmeras. Câmeras foram calibradas várias vezes com cada
um dos dois padrões de calibração.
mm)5,03,150(
Conclusões Calibração das câmeras deve ser melhorada. Diferença de resultados entre os dois testes. Método de codificação temporal de luz estruturada
foi eficaz para diferentes tipos de objetos. Dificuldade apenas para materiais excessivamente
especulares. Resolução das câmeras foi um fator limitante no
sistema. Padrão de calibração com vértice pode ser utilizado
em outras aplicações em tempo real.
Conclusões Método de ajuste de cilindro de utilização
simplificada. OpenCV recomendado para aplicações de Visão
Computacional em tempo real.