Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo

1. Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo    Márcio Gonçalves METI Orientador: Prof. Tomás Brandão, ISCTE-IUL Co-Orientadora: Prof.ª Maria Paula Queluz, IST Apresentação da Dissertação de Mestrado

2. Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo Outline • Motivação e Objetivos • Implementação da Ferramenta • Tecnologia • Interface gráfica • Características • Contribuições adicionais • Demonstração • Testes de Avaliação Subjetiva • Síntese e Trabalho Futuro

3. 1. Motivação e Objetivos

4. Qualidade de vídeo Definida como uma medida da degradação visual, percepcionada pelos utilizadores, depois do vídeo ser sujeito a perdas devido a codificação e/ou transmissão Perdas de transmissão Efeito de bloco Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 4

5. Avaliação da qualidade de vídeo • Avaliação SubjetivaRealização de testes em que os observadores humanos avaliam por si a qualidade de sequências de vídeo • Avaliação ObjetivaAvaliação automática de uma sequência de vídeo sem a intervenção direta de humanos (através de algoritmos) Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 5

6. Testes de avaliação subjetiva • Software • Configuração de testes subjetivos • Efetuar testes de avaliação subjetiva • Tratamento de resultados • Bases de Dados • Armazenamento de sequências de vídeo • Disponibilização dos resultados (MOS, DMOS) Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 6

7. Limitações de ferramentas existentes • Variedade de métodos normalizados para avaliação subjetiva de vídeo • Falta de suporte para • auxílio à preparação dos testes • processamento estatístico dos resultados Existe um número reduzido de ferramentas disponíveis para realização de testes de avaliação subjetiva Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 7

8. Objetivos • Construção de uma ferramenta capaz de efetuar avaliações subjetivas da qualidade de vídeo • Visualização de vídeos com resoluções HD (1920x1080) • Tratamento estatístico de dados e extração de valores de MOS (MeanOpinion Scores) • Inclua novas metodologias, não normalizadas, de avaliação subjetiva e deteção de outliers • Realização de testes de avaliação subjectiva usando a ferramenta desenvolvida • Disponibilização dos resultados obtidos à comunidade científica Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 8

9. 2. Implementação da Ferramenta

10. Tecnologia de implementação • Desenvolvidos 3 protótipos • C++ • OpenCV – Open SourceComputerVision • Java • JMF – Java Media Framework • VLCJ – VideoLanClient Java • Razões para a escolha: • Java – o facto de ser portável • JMF – a biblioteca VLCJ não permitia a implementação de algumas funcionalidades necessárias JAVA com JMF Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 10

11. Interface gráfica Ficheiros de texto GUI Sequências de Vídeo JAVA com JMF Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 11

12. Características (1) • Métodos Single Stimulus (SS) • Absolute Category Rating with Hidden Reference (ACR-HR) • Artifact Visibility Continuous Assessment (AVCA) • Métodos Double Stimulus (DS) • Double Stimulus Impairment Scale (DSIS) • Stimulus Comparison Adjectival Categorical Judgement (SCACJ) Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 12

13. Características (2) • Configuração de testes subjetivos • Famílias de vídeos • Ordem de visualização pseudo-aleatória • Draganddrop • Métodos de deteção de outliers • ITU Method • Correlation Analysis • Apresentação de resultados • Tabelas, gráficos, ficheiros CSV Pontuação atribuída pelo participante j à condição de teste i Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 13

14. Contribuições adicionais (1) • Artifact Visibility Continuous Assessment (AVCA) • Sequência de vídeo longa, contendo artefactos isolados introduzidos artificialmente • Pretende-se avaliar a perceção (ou não) desses artefactos por parte de um observador • O observador assinala os instantes em que perceciona um artefacto • Inexistência de escalas de avaliação Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 14

15. Contribuições adicionais (1) • Artifact Visibility Continuous Assessment (AVCA) • Cálculo de percentagens: • Verdadeiros positivos • Falsos positivos • Falsos negativos • Tempo de resposta do utilizador (1,5 seg) Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 15

16. Contribuições adicionais (2) • Correlation Analysis Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 16

17. 3. Demonstração

18. 4. Testes de Avaliação Subjetiva

19. Condições dos testes • Metodologia ACR-HR • 15 observadores • Testes de acuidade visual e despistede daltonismo • Procedimento de calibração dosobservadores • Sessão de 15min • Sequências de vídeo: • Resolução SDTV (720x480) • 10 segundos de duração • Codificadas em H.264 • PLR entre 0.1% e 8% -> 56 vídeos • Raw (YUV) / AVI. Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 19

20. Resultados Método de avaliação subjetiva ACR-HR, com deteção de outliers utilizando ITU Method Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 20

21. 5. Síntese e Trabalho Futuro

22. Síntese • Desenvolvida uma ferramenta para realizar avaliação subjetiva da qualidade de vídeo • GUI intuitiva e fácil de utilizar • 4 métodos de avaliação subjetiva • ACR-HR; DSIS; SCACJ; AVCA; • 2 métodos de deteção automática de outliers • Método ITU; Método da correlação • 3 modos de apresentação de resultados • Tabelas; Gráficos; Ficheiros CSV • Utilização experimental da ferramenta Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 22

23. Trabalho futuro • Disponibilizar os resultados obtidos à comunidade científica • Implementação de métodos para avaliação subjetiva de imagens fixas • Implementação de mais métodos de avaliação subjetiva de vídeo • Fazer os testes de acuidade visual e despiste de daltonismo a partir da própria ferramenta Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 23

24. Ferramenta para Avaliação Subjectiva da Qualidade de Vídeo Orientador: Prof. Tomás Brandão, ISCTE-IUL Co-Orientadora: Prof.ª Maria Paula Queluz, IST Mestrado em Engenharia de Telecomunicações e Informática Obrigado!

25. Anexos Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 25

26. Testes de avaliação subjetiva Exemplo da estrutura de uma sessão de teste Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 26