Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Márcio Gonçalves
METI
Orientador: Prof. Tomás Brandão, ISCTE-IUL
Co-Orientadora: Prof.ª Maria Paula Queluz, IST
Apresentação da Dissertação de Mestrado
Academia ISCTE – Arquitectura de Computadores
Outline
Motivação e Objetivos
Implementação da Ferramenta Tecnologia Interface gráfica Características Contribuições adicionais
Demonstração
Testes de Avaliação Subjetiva
Síntese e Trabalho Futuro
2Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
1. Motivação e Objetivos
Academia ISCTE – Arquitectura de Computadores
Qualidade de vídeo
4Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Definida como uma medida da degradação visual, percepcionada pelos utilizadores, depois do vídeo ser sujeito a perdas devido a codificação e/ou transmissão
Perdas de transmissão Efeito de bloco
Academia ISCTE – Arquitectura de Computadores
Avaliação da qualidade de vídeo
Avaliação Subjetiva Realização de testes em que os observadores humanos avaliam por si a qualidade de sequências de vídeo
Avaliação Objetiva Avaliação automática de uma sequência de vídeo sem a intervenção direta de humanos (através de algoritmos)
5Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
Testes de avaliação subjetiva
Software Configuração de testes subjetivos Efetuar testes de avaliação subjetiva Tratamento de resultados
Bases de Dados Armazenamento de sequências de vídeo Disponibilização dos resultados (MOS, DMOS)
6Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
Limitações de ferramentas existentes
Variedade de métodos normalizados para avaliação subjetiva de vídeo
Falta de suporte para auxílio à preparação dos testes processamento estatístico dos resultados
7Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Existe um número reduzido de ferramentas disponíveis para realização de testes de avaliação subjetiva
Academia ISCTE – Arquitectura de Computadores
Objetivos
Construção de uma ferramenta capaz de efetuar avaliações subjetivas da qualidade de vídeo
Visualização de vídeos com resoluções HD (1920x1080) Tratamento estatístico de dados e extração de valores de MOS
(Mean Opinion Scores) Inclua novas metodologias, não normalizadas, de avaliação
subjetiva e deteção de outliers
Realização de testes de avaliação subjectiva usando a ferramenta desenvolvida
Disponibilização dos resultados obtidos à comunidade científica
8Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
2. Implementação da Ferramenta
Academia ISCTE – Arquitectura de Computadores
Tecnologia de implementação
Desenvolvidos 3 protótipos C++
OpenCV – Open Source Computer Vision Java
JMF – Java Media Framework VLCJ – VideoLan Client Java
Razões para a escolha: Java – o facto de ser portável JMF – a biblioteca VLCJ não permitia a implementação
de algumas funcionalidades necessárias
JAVA com JMF
10Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
Interface gráfica
JAVA com JMF
11Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
GUI Ficheiros de texto
Sequências de Vídeo
Academia ISCTE – Arquitectura de Computadores
Características (1)
Métodos Single Stimulus (SS) Absolute Category Rating with Hidden
Reference (ACR-HR) Artifact Visibility Continuous Assessment (AVCA)
Métodos Double Stimulus (DS) Double Stimulus Impairment Scale (DSIS) Stimulus Comparison Adjectival
Categorical Judgement (SCACJ)
5 Excelente
4 Boa
3 Razoável
2 Pobre
1 Má
5 Imperceptível4 Perceptível3 Ligeiramente Incómodo2 Incómodo1 Muito Incómodo
-3 Muito Pior-2 Pior-1 Ligeiramente Pior0 Igual
1 Ligeiramente Melhor
2 Melhor3 Muito Melhor
12Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
Características (2)
Configuração de testes subjetivos Famílias de vídeos Ordem de visualização pseudo-aleatória Drag and drop
Métodos de deteção de outliers ITU Method Correlation Analysis
Apresentação de resultados Tabelas, gráficos, ficheiros CSV
Pontuação atribuída pelo
participante j à condição de
teste i
13Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
µ (𝑖 )= 1𝑁 ∑
𝑗=1
𝑁
𝜑 (𝑖 , 𝑗 )
Academia ISCTE – Arquitectura de Computadores
Contribuições adicionais (1)
Artifact Visibility Continuous Assessment (AVCA) Sequência de vídeo longa, contendo artefactos
isolados introduzidos artificialmente Pretende-se avaliar a perceção (ou não)
desses artefactos por parte de um observador O observador assinala os instantes em que
perceciona um artefacto Inexistência de escalas de avaliação
14Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
Contribuições adicionais (1)
Artifact Visibility Continuous Assessment (AVCA)
15Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Cálculo de percentagens:
Verdadeiros positivos
Falsos positivos
Falsos negativos
Tempo de resposta do utilizador (1,5 seg)
Academia ISCTE – Arquitectura de Computadores
Contribuições adicionais (2)
Correlation AnalysisVideo Sequence v01 v02 v03 v04 v05 (…) RawMOS MOS Video Ref DMOSbig_ships_480p30_2mbs 1 1 2 1 1 1.47 1.46 NO 3.23old_town_480p25_2mbs 2 2 2 2 2 1.67 1.62 NO 3.3soccer_480p30_3mbs 1 1 2 1 2 1.4 1.38 NO 3.16station_480p25_2mbs 3 2 1 2 2 1.67 1.62 NO 3.07park_joy_480p25_5mbs 2 3 3 2 3 2.4 2.31 NO 2.61snow_mnt_480p30_3mbs 3 4 2 2 3 2.6 2.46 NO 2.08sunflower_480p25_1mbs 5 5 5 5 5 4.93 4.92 YES 0.0raven_480p30_2mbs 5 5 5 5 5 4.67 4.62 NO 0.15old_town_480p25_2mbs 4 4 5 4 4 3.8 3.77 NO 1.15station_480p25_2mbs 2 2 1 2 2 1.87 1.69 NO 3.0soccer_480p30_3mbs 1 2 2 2 2 1.87 1.77 NO 2.77big_ships_480p30_2mbs 2 2 3 2 3 2.27 2.23 NO 2.46park_joy_480p25_5mbs 1 2 2 1 2 1.47 1.38 NO 3.54sunflower_480p25_1mbs 2 2 2 3 3 2.2 2.15 NO 2.77old_town_480p25_2mbs 5 5 5 5 5 4.93 4.92 YES 0.0snow_mnt_480p30_3mbs 2 1 1 1 1 1.27 1.23 NO 3.31raven_480p30_2mbs 4 4 5 4 5 3.73 3.69 NO 1.08big_ships_480p30_2mbs 2 3 2 3 3 2.47 2.38 NO 2.31Correlation coefficient: 0.93 0.89 0.95 0.96 0.92
16Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
𝜌 ( 𝑗 )=∑𝑖=1
𝑁
(𝑥 (𝑖 , 𝑗 )−𝜇𝑥( 𝑗 ))× ( 𝑦 (𝑖 )−𝜇𝑦 )
❑√∑𝑖=1
𝑁
(𝑥 (𝑖 , 𝑗 )−𝜇𝑥( 𝑗))2×❑√∑𝑖=1
𝑁
(𝑦 (𝑖 )−𝜇𝑦 )2
3. Demonstração
4. Testes de Avaliação Subjetiva
Academia ISCTE – Arquitectura de Computadores
Condições dos testes
Metodologia ACR-HR
15 observadores Testes de acuidade visual e despiste
de daltonismo Procedimento de calibração dos
observadores
Sessão de 15min
Sequências de vídeo: Resolução SDTV (720x480) 10 segundos de duração Codificadas em H.264 PLR entre 0.1% e 8% -> 56 vídeos Raw (YUV) / AVI.
19Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
Resultados
Método de avaliação subjetiva ACR-HR, com deteção de outliers utilizando ITU Method
20Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
5. Síntese e Trabalho Futuro
Academia ISCTE – Arquitectura de Computadores
Síntese
Desenvolvida uma ferramenta para realizar avaliação subjetiva da qualidade de vídeo GUI intuitiva e fácil de utilizar 4 métodos de avaliação subjetiva
ACR-HR; DSIS; SCACJ; AVCA; 2 métodos de deteção automática de outliers
Método ITU; Método da correlação 3 modos de apresentação de resultados
Tabelas; Gráficos; Ficheiros CSV
Utilização experimental da ferramenta
22Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
Trabalho futuro
Disponibilizar os resultados obtidos à comunidade científica
Implementação de métodos para avaliação subjetiva de imagens fixas
Implementação de mais métodos de avaliação subjetiva de vídeo
Fazer os testes de acuidade visual e despiste de daltonismo a partir da própria ferramenta
23Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Orientador: Prof. Tomás Brandão, ISCTE-IUL
Co-Orientadora: Prof.ª Maria Paula Queluz, IST
Mestrado em Engenharia de Telecomunicações e Informática
Obrigado!
Ferramenta para Avaliação Subjectiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
Anexos
25Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
Testes de avaliação subjetiva
Exemplo da estrutura de uma sessão de teste
26Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo