sincronização em multimídia: relações temporais entre objetos de mídias objetos dependentes de...
TRANSCRIPT
Sincronização
• Em multimídia: relações temporais entre objetos de mídias
• Objetos dependentes de tempo:– apresentados como um feixe de mídia– relações temporais entre as unidades
consecutivas do feixe– se as durações de todas as unidades são iguais =
objeto de mídia contínua
Introdução (cont.)
• Objetos independentes de tempo:– a semântica do conteúdo não depende de
apresentação em função do tempo• Em um sistema multimídia, a sincronização
pode compreender relações entre objetos dependentes e objetos independentes de tempo– Exemplo: aula - sincronização das transparências
com os comentários (voz)
Introdução (cont.)
• Sincronização se dá em várias camadas de um sistema multimídia
• No sistema operacional e no nível de comunicação o objetivo é evitar o jitter– problema: interrupção ou gaps em um feixe de áudio
• No suporte a execução o objetivo é manter as relações temporais entre os vários feixes– problema: falta de sincronia entre lábios e voz
• O próximo nível cuida da sincronização entre mídias dependentes de tempo e independentes de tempo, com interação do usuário– problema: falar sobre uma transparência que não
está sendo mostrada
Introdução (cont.)
Introdução (cont.)
• A relação temporal (sincronização) entre objetos de mídias pode ser especificada implícita ou explicitamente
• Implicitamente: quando durante a captura, o objetivo da apresentação é mostrar as mídias com a mesma sincronização– Ex: gravação e apresentação de áudio-vídeo
Introdução (cont.)
• Especificação explícita: no caso de apresentações compostas de objetos de mídias capturados independentemente
Relações entre Mídias
Além das• relações temporais: derivadas da integração
de objetos dependentes de tempo,as múltiplas mídias também possuem• relações de conteúdo e• relações espaciais
Relações de Conteúdo
• Dependência de dados• Diferentes visões dos mesmos dados• Exemplo: 2 gráficos baseados nos mesmos
dados, mas mostram interpretações diferentes dos dados
• Estruturas de dados ou interfaces de objetos comuns podem ser usados para apresentar objetos de mídias diferentes
Relações Espaciais• Definições de espaços usados para a
apresentação de objetos em um certo ponto no tempo
• Exemplo: relação entre “a” e B
B
a
Ba
Quando obj. “a”entrar na região B,
destaque a regiãoem amarelo
Relações Temporais• Dependências temporais entre objetos de mídias• Particularmente interessantes quando objetos
dependentes de tempo estão presentes• Alguns consideram sincronização como uma
combinação de relações de conteúdo, espaciais e temporais– Ex: quando objeto “a” tiver valor = 20 e entrar na região
B, aumente a velocidade de seu movimento sincronizado com a música M
Sincronização Intra-objeto
t
40ms
25 frames/s
Sincronização Inter-objeto
Vídeo
Áudio-1
I1 I2 I3
Animação
Áudio-2
t
Sincronização ao Vivo e Sintética
• Ao vivo: o objetivo é reproduzir em uma apresentação as relações temporais como no processo de captura
• Sintética: as relações temporais são especificadas artificialmente– objetos criados independentemente uns dos outros– sincronização sintética é bastante usada com objetos
armazenados, arranjados para se combinarem em novos objetos multimídia
Sincronização Sintética (cont.)
• A ênfase é dar suporte à flexibilização de relações de sincronização entre mídias
• Duas fases se distinguem:– especificação: onde as relações temporais são
definidas (usando, por ex., um editor de sincronização)
– apresentação: um sistema de execução apresenta os dados em modo sincronizado
Sincronização Sintética (cont.)
• Objetos armazenados em um cenário de sincronização ao vivo também podem ser incluídos em uma apresentação de sincronização sintética
• Outra variação é a especificação de sincronização em tempo de execução
Sincronização ao Vivo e Sintética (cont.)
• Ao vivo: a sincronização é definida implicitamente durante a captura
• Sintética: explicitamente• Adaptar a qualidade da apresentação a
demandas do usuário ou à capacidade dos recursos do sistema é possível em ambos os casos
Requisitos de Apresentação
• Para mostrar corretamente dados multimídia na interface do usuário, sincronização é essencial
• Não é possível fazer medições objetivas de sincronização do ponto de vista da percepção humana, que é subjetiva - varia de pessoa para pessoa
Requisitos de Apresentação (cont.)
• Para sincronização intra-objeto: requer precisão com relação a atrasos na apresentação das unidades lógicas de dados (LDUs)
• Para sincronização inter-objeto: precisão na apresentação paralela de objetos de mídias
O problema do gap• O que fazer quando uma apresentação estiver
bloqueada(parada)?– Vídeo: mostrar a última imagem?– Áudio: última parte deve ficar sendo repetida?
• A duração do gap é significante para a decisão (alguns mili-segundos, alguns segundos, alguns minutos...)– apenas a aplicação (e não o sistema) pode selecionar
a melhor solução
O problema do gap (cont.)
• O conceito de apresentações alternativas:Ex.:– caso um gap entre um vídeo atrasado e um áudio
exceda um limite pré-definido, a apresentação do áudio é mudada para uma apresentação alternativa
– caso o gap seja pequeno, a apresentação do áudio pode ser parada até que o gap seja “fechado”
Re-amostragem• Idéia básica: aumentar ou baixar a velocidade
de feixes com o intuito de sincronização• Pode-se realizar re-amostragem de
sequências de vídeo adicionando-se ou deletando-se imagens de um feixe (ex.: conversão NTSC/PAL)
• Em feixes de áudio é pouco (ou in)tolerável a duplicação ou deleção de blocos