1 / 38

GRUPO DE PROCESADO MULTIMEDIA DTSC-UC3M

Actividades del Grupo de Procesado Multimedia en el ámbito de Tratamiento de Imagen y Vídeo. GRUPO DE PROCESADO MULTIMEDIA DTSC-UC3M. Image Enhancement. Image Enhancement. Captura mediante un móvil de un código de barras bidimensional mostrado en la pantalla de otro móvil.

bernie
Download Presentation

GRUPO DE PROCESADO MULTIMEDIA DTSC-UC3M

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Actividades del Grupo de Procesado Multimedia en el ámbito de Tratamiento de Imagen y Vídeo GRUPO DE PROCESADO MULTIMEDIADTSC-UC3M

  2. Image Enhancement

  3. Image Enhancement • Captura mediante un móvil de un código de barras bidimensional mostrado en la pantalla de otro móvil • Ejemplos de capturas

  4. Image enhancement Extracción del código De-blurring Transformación afín Rectificación

  5. Image enhancement Resultado final

  6. Image Matching

  7. Keypoint detection and matching

  8. Ejemplo: buscar imágenes similares • ¿De qué se trata? • ¿Cuál es la parte más interesante de la imagen?

  9. Ejemplo: buscar imágenes similares • Se recupera un conjunto de imágenes de bases de datos externas, como flickr, basándonos en información de contexto • Se aplican técnicas de procesado de imagen capaces de detectar similitudes y regiones relevantes Repositorio público de imágenes Geolocalización Similitud Visual

  10. Resultados basados en geolocalización

  11. Ranking por similitud visual Modelo generativo Imagen de referencia Ranking similitud visual

  12. Image Annotation

  13. Anotación automática por similitud visual <statue> <liberty> <libertad> <NY> <newyork> ··· <statue> <liberty> <libertad> <NY> <newyork> ··· <statueofliberty> <newyorkcity> <liberty> <america> <USA> ··· <statueofliberty> <newyorkcity> <liberty> <america> <USA> ··· <manhattan> <new> <york> <city> <big> ··· <manhattan> <new> <york> <city> <big> ··· <liberty> <island> <USA> <icon> <city> ··· <liberty> <island> <USA> <icon> <city> ··· <USA> <NY> <NYC> <statueofliberty> <monument> ··· <USA> <NY> <NYC> <statueofliberty> <monument> ··· <statue> <liberty> <newyorkcity> <united> <states> ··· <statue> <liberty> <newyorkcity> <united> <states> ··· <statue> <america> <USA> <sculpture> <liberty> ··· <statue> <america> <USA> <sculpture> <liberty> ··· <torch> <arm> <statue> <liberty> <islan> ··· <sea> <sky line> <sailboat> <new> <york> ··· <Island> <aerea> <monument> <newyork> <manhattan> ··· <liberty> <national> <monument> <people> <boat> ··· <binoculars> <watch> <sea> <skyline> <america> ··· newyork statueofliberty nyc liberty statue libertyisland newyorkcity island new york ··· Procesado de etiquetas

  14. Resultado final • Etiquetas • America • newyork • Statueofliberty • Liberty • Island • Manhattan • Monument • national • freedom

  15. Object detection

  16. Etiquetas • America • newyork • Statueofliberty • Liberty • Island • Manhattan • Monument • national • freedom

  17. Región de interés Bounding box Segmentación deseada Segmentación automática Query Otros ejemplos:

  18. Object recognition

  19. Object recognition

  20. Category Recogniton

  21. Video Indexing

  22. Indexación • Información multimedia creciente • Etiquetado e indexado manual inasumible • Necesidad: sistema automático para almacenar e indexar información • Análisis semántico automático • Recuperación y resumen automático • Necesidad: enriquecer los contenidos con información relativa a ellos obtenida mediante técnicas de procesado multimedia

  23. Video Analysis

  24. Estimación del Movimiento de Cámara Still Pan/Fast Tilt/Fast Zoom

  25. Segmentación de vídeo y selección de keyframes

  26. Detección y segmentación de objetos Detección Segmentación manual Segmentación automática

  27. Clasificador Extractor de características Eventos Detección automática de eventos en vídeo • Jugadas importantes en acontecimientos deportivos • Aproximación • Base de datos etiquetada para el aprendizaje de eventos • Representación intermedia (características de nivel medio) • Combinación características de audio y visuales

  28. Video Vigilancia • Detección automática de eventos extraños • Persona abandona un bulto • Persona se mueve en dirección contraria al resto • Persona hace fotografías en instalaciones críticas • …

  29. TRECVID Encontrar automáticamente vídeos que contengan: Una torre de control Aviones Escenas Indoor … Detección de conceptos de alto nivel

  30. Codificación de Vídeo

  31. Codificación de Vídeo Codificación de vídeo HD Control de tasa AVC y SVC (Scalable Video Coding) Constante (CBR -Constant Bit Rate-), Variable (VBR -Variable Bit Rate-) Codificación de vídeo multicámara

  32. Codificación Perceptual de Vídeo Asignación de bits con criterios perceptuales Preprocesado: simplificación del vídeo para reducción de bit-rate Original Simplificada

  33. Error concealment techniques for Video over IP

  34. Error concealment techniques

  35. Otrasaplicaciones

  36. Image Stitching • Combine two or more overlapping images to make one larger image Add example Slide credit: Vaibhav Vaish

  37. left image right image depth map Depth estimation

  38. Image/Video Impainting

More Related