processamento de documento multimídia
TRANSCRIPT
Processamento de Documento Multimídia
Ângelo Lima | Juliane Silva | Sebastião Monteiro | Wallace Costa
O que é Multimídia?
“É qualquer informação gravadaem imagem, áudio, vídeoou uma combinação destes,
abrangendo desde fotos até filmes.”
Alguns conceitos importantes...
Metadado é uma abstração do dado, capaz, por exemplo, de indicar se uma determinada base de dados existe, quais são os atributos de uma tabela e suas características, tais como: tamanho e/ou formato.
Métodos Binarização por otsu; WaterShed; Taxa de amostragem.
RI Multimídia?
RI Multimídia?
Antes de pensarmos em recuperação de arquivos multimídia,
Temos que pensar em como indexá-los.E, antes de pensarmos na indexação,
Temos que pensar em quais características indexar.
RI Multimídia?
Então, quais característicasdevemos extrair dos arquivos?
ImagemÁudio
ImagemExtração de Características
Existem 2 formas de selecionar as características de uma imagem:
Pelo seu conceito;
Pelo seu conteúdo.
ImagemExtração de Características – Por Conceito
A técnica por conceito é aquela em que as imagens e os objetos representados são identificados e descritos em termos do que eles são e do que eles representam.
É um processo executado por pessoas (profissionais documenta-listas).
ImagemExtração de Características – Por Conceito
Níveis de AnáliseEsse níveis falam quais as características da ima-gem devem ser selecio-nadas e extraídas.
Leitura do que se vê e leitura do que se interpreta.
ImagemIndexação – Por Conceito
ImagemIndexação – Por Conceito
Tendo extraído essas características das imagens, a indexação é um processo que pode ser efetuado:Pelo uso da linguagem natural;Pelo auxílio de um vocabulário controlado (tessauro).
Que é o que a gente já conhece. :)
ImagemGoogle Images
ImagemExtração de Características – Por Conteúdo
A técnica baseada em conteúdo considera os aspectos da imagem em si, tais como a cor, a forma, a textura.
Esses aspectos são mais eficazmente identificados e extraídos do arquivo por meio de programas de computadores.
ImagemExtração de Características – Por Conteúdo
As imagens têm muitos tipos de atributos que podem ser extraídos, tais como:
A combinação de atributos de cor, textura ou forma; A presença de tipos específicos de objetos; A descrição de um tipo específico de evento; A presença de personalidades, locais ou eventos identificados; Emoções subjetivas associadas à imagem.
mai
s difí
cil d
e se
r res
pond
ido
ImagemExtração de Características – Por Conteúdo
3 níveis de crescentes de complexidade, que compreende a indexação e recuperação pelos atributos:
1. Atributos primários: cor, textura e forma dos elementos da imagem.
2. Atributos derivados: identidade dos objetos mostrados.3. Atributos abstratos: significados das cenas representadas.
mai
s difí
cil d
e se
r res
pond
ido
ImagemExtração de Características – Por Conteúdo
Cor (histograma de cor): mede a distribuição estatística de cores da imagem e a quantidade de pixel existente para cada cor.
ImagemExtração de Características – Por Conteúdo
Textura (filtros de Gabor e as Transformadas de Wavelets): capturam partes da imagem com relação à mudança de direção e escala.
ImagemExtração de Características – Por Conteúdo
Forma (segmentação): recupera a estrutura física dos objetos da imagem.
ImagemIndexação – Por Conteúdo
A indexação é feita com técnicas multidimensionais (Kd, Quad-tree,...).Árvore-R
ImagemGoogle Images
ÁudioExtração de Características e Indexação
2 abordagens:O arquivo é dividido em pequenos segmentos no tempo e
um vetor é calculado para cada segmento.
Único vetor, compreendendo a informação de todo o arquivo.
ÁudioExtração de Características e Indexação
As características são calculadas por meio de métodos de análise de tempo-frequência, como a Transformada de Fourier.
Podendo recuperar ritmo, harmonia por meio de histogramas.
Medidas de Similaridade
“Grau de semelhançaentre os objetos da base
com o objeto da consulta.”
Medidas de Similaridade
Cálculos da distância Menor valor, maior semelhança; Valor = 0, então Igual.
Regras para o cálculo da distância Simetria: d(a,b) = d (b,a); Positivo: 0 ≤ d(a,b) < ∞; Desigualdade Triangular: d(a,b) ≤ d(a,c) + d(c,b).
Medidas de Similaridade
Fórmula da distância
n sendo a dimensão do espaço vetorial; p = 1 – Distância de Manhattan; p = 2 – Distância Euclidiana.
Consultas
Tipos de consultas por similaridade
Consulta por abrangência: retorna todos os objetos que abrangem um certo limite de distância da consulta.
Consulta aos k-vizinhos mais próximos: retorna o número k de objetos mais próximos da consulta.
Consultas
Exemplo de consulta
Aplicações
Reconhecimento de padrões Faces; Impressões digitais; Melodias musicais, etc.
Pesquisa multimídia Servidores de vídeos, etc.
Aplicações
Aplicações
Aplicações
Aplicações
Aplicações
Conclusão
Diversas aplicações; Campo de pesquisa promissora; Reconhecimento de pessoas (rosto, digital, etc); Reconhecimento de fala; Busca de imagens e sons; Parte de um SRI bastante complexa.