Sincronización

1. Sincronización http://piglet.uccs.edu/~cs525/synmm/Blakowski%20.pdf http://piglet.uccs.edu/~cs525/synmm/synmm.htm

2. Índice • Introducción • Nociones de sincronización • Requerimientos de presentación • Modelos de referencia • Especificación de la sincronización

3. INTRODUCCIÓN

4. Introducción I • Los sistemas multimedia avanzados se caracterizan por: • La generación integrada y controlada por ordenador, y • Almacenamiento, comunicación, manipulación y presentación de Medios dependientes e independientes del tiempo.

5. Introducción II • Sincronización en los sistemas multimedia se refiere a las relaciones temporales entre diferentes elementos multimedia. • En un sentido mas amplio se puede utilizar el término, comprendiendo: • Los contenidos • Las relaciones espacio temporales entre los diferentes elementos multimedia.

6. Elementos multimediadependientes del tiempo • Se pueden representar como un flujo del elemento. • Existen relaciones temporales entre unidades consecutivas del flujo multimedia. • Si todas las unidades presentan la misma duración el elemento multimedia es continuo. • Un ejemplo es el vídeo: conjunto de frames ordenados de duración fija.

7. Elementos multimediaindependientes del tiempo • Cualquiera de los elementos multimedia tradicionales como el texto y las imágenes.

8. Nociones de sincronización

9. Características generales • Definiciones de sistemas multimedia • Aspectos básicos de la sincronización • Sincronización inter e intra-elemento • Unidades lógicas de datos • Tipos de sincronización

10. Introducción • La sincronización entre elementos multimedia comprende las relaciones entre elementos dependientes e independientes del tiempo. • Ejemplo de sincronización entre medios continuos es el vídeo y el audio. • Ejemplo de sincronización entre elementos dependientes e independientes es el de una cinta de audio y un carrusel de diapositivas.

11. Definiciones de Sistema Multimedia • Dependiendo del número de elementos multimedia. • Dependiendo del tipo de medios soportados: dependientes e independientes del tiempo. • Dependiendo del grado de integración, entendiendo esta como que los diferentes elementos permanecen independientes pero pueden ser procesados y presentados juntos.

12. Definición conjunta • Combinando los tres criterios anteriores, un sistema multimedia puede definirse como: Un sistema o aplicación que soporta el procesamiento integrado de varios tipos de elementos multimedia con al menos uno de los medios dependiente del tiempo.

13. Clasificación de los medios usados en sistemas multimedia Mezclan medios analógicos Dependientes del tiempo Con medios digitales Independientes del tiempo

14. Aspectos básicos de la sincronización • Relaciones entre contenidos • Relaciones espaciales • Relaciones temporales

15. Relaciones entre contenidos • Ejemplo: los datos de una hoja de cálculo y su representación gráfica. • En los documentos multimedia integrados es importante expresar estas relaciones explícitamente con el fin de permitir una actualización automática de las diferentes vistas de los mismos datos.

16. Relaciones espaciales • Definen: • el espacio usado para la presentación de un elemento multimedia • en un dispositivo de salida • en un cierto instante de tiempo • en una presentación multimedia • Ejemplos: • Tamaño de una ventana Windows • Espacio físico en multimedia contextual

17. Relaciones temporales • Definen las dependencias temporales entre elementos multimedia. • Ejemplo: • Las relaciones entre audio y vídeo en una grabación de un concierto.

18. Sincronización intra-elemento • Se refiere a las relaciones temporales entre varias unidades de presentación en un elemento multimedia dependiente del tiempo. • Por ejemplo una secuencia de vídeo de 25 frames/seg. Cada frame debe mostrarse cada 40 mseg.

19. Sincronización inter-elemento • Se refiere a la sincronización entre diferentes elementos multimedia. • Por ejemplo:

20. Unidades Lógicas de Datos • Los elementos multimedia dependientes del tiempo consisten normalmente de una secuencia de unidades de información denominadas: Unidades Lógicas de Datos (ULD). • Se pueden observar diferentes niveles de granularidad a la hora de definir una ULD. P. e. • Una sinfonía digitalizada tiene movimientos, notas musicales y muestras digitalizadas.

21. Unidades Lógicas de Datos • Los diferentes niveles de granularidad que implican la descomposición jerárquica de los elementos multimedia pertenecen en general a dos tipos diferentes de jerarquías: • La que implica los contenidos (p. e. movimientos y notas de la sinfonía) • La que implica la codificación de los datos (p. e. muestreo de la señal)

22. Unidades Lógicas de Datos • Pueden clasificarse en: • Cerradas: • Duración predecible • Ejemplos: ULDs parte de medios continuos como vídeo y audio. • Abiertas: • Duración no predecible antes de la ejecución de la presentación. • Ejemplos: Cámara o micrófono, en general objetos que incluyen la interacción con el usuario.

23. Clasificación de las ULDs • En el caso del vídeo digital se suele asociar ULD a frame. • Por ejemplo para un vídeo de 30 imágenes por segundo, cada ULD tiene una duración de 1/30 seg.

24. Clasificación de las ULDs • En otros casos, por ejemplo el audio digital, la muestra individual es demasiado pequeña para considerarse. En este caso una ULD se considera formada por 512 muestras.

25. Clasificación de las ULDs • En los elementos multimedia generados en un ordenador la duración de la ULD pueden ser seleccionada por el usuario. • Un ejemplo son los frames de una animación, dependiendo de la velocidad de presentación se pueden usar mas o menos frames por unidad de tiempo.

26. Clasificación de las ULDs • En algunas ocasiones las ULD varían en duración. • Por ejemplo: el registro de eventos de una interfaz gráfica de usuario para reproducir la interacción del usuario.

27. Clasificación de las ULDs • Las ULD abiertas de duración no predecible tienen lugar en el caso de que las ULD no tienen una duración inherente. • Un ejemplo de este tipo es una interacción de usuario en la cual la duración de dicha interacción no se conoce por adelantado.

28. Clasificación de las ULDs Otros ejemplos: • Sincronización de labios: necesita un alto nivel de acoplamiento entre las LDU de audio y video. • Una presentación de diapositivas con comentarios grabados debe estar relacionada temporalmente.

29. Tipos de sincronización • Sincronización en vivo: • Las señales se graban y reproducen juntas. • Sincronización artificial: • Las señales se graban separadas y se reproducen juntas.

30. Sincronización en vivo

31. Sincronización artificial • Su importancia radica en permitir una relación de sincronización flexible entre diferentes medios. • Se distinguen dos fases: • Especificación: las relaciones temporales entre medios se definen de forma explícita. • Presentación: un sistema run-time presenta los datos de un modo sincronizado.

32. Requerimientos de presentación

33. Introducción • Para presentar correctamente los datos multimedia en la interfaz de usuario, es esencial la sincronización. • No es posible suministrar una medida objetiva de la sincronización desde el punto de vista del usuario. • Puesto que la percepción varia de persona a persona, sólo se pueden aplicar criterios heurísticos para determinar si la presentación es correcta o no.

34. ¿Qué requisitos comprende la presentación? • En la sincronización intra-objeto, la exactitud concerniente al retraso en la presentación de las ULD. • En la sincronización inter-objeto la exactitud en la presentación en paralelo de los objetos multimedia.

35. “The gap problem” Problema ocasionado por el bloqueo de una de las dos fuentes dependientes del tiempo

36. Soluciones al “gap problem” • Bloqueo restringido: utiliza como mecanismo de re-sincronización la presentación repetida de la última muestra o una presentación alternativa. • Re-muestreo de un flujo: consiste en acelerar o retrasar el flujo con el fin de alcanzar la sincronización. Puede ser off-line o on-line. • Eliminar o añadir elementos: consiste en insertar o borrar partes de un flujo.

37. Sincronización de labios:Definiciones • Se refiere a las relaciones temporales entre flujos de audio y vídeo en el caso particular del habla. • Las diferencias de tiempo entre LDU de audio y vídeo relacionadas se conocen como “skew”.

38. Sincronización de labios:Medidas en usuarios • La región de sincronía se extiende desde -80 ms (retraso de audio) hasta +80 ms (adelanto del audio). Tolerable para la mayoría de los usuarios. • La región de fuera de sincronía se extiende por encima de -160 ms y + 160 ms. No es aceptable por prácticamente ningún usuario. • Existe una zona transitoria (audio por encima del vídeo) donde a mayor cercanía del locutor mas fácil detectar el error. • Existe otra zona transitoria (vídeo por encima del audio) que aunque se comprota de forma semejante a la anterior sin embargo resulta mas tolerante para los usuario.

39. Sincronización de un señalador • Trabajo realizado en CSCW compartiendo varios usuarios un puntero (señalador) y señales de audio. • La zona de sincronía cuando el audio está por encima del puntero es de 750 ms y cuando el puntero está por delante del audio de 500 ms. • La zona de sincronía está por encima de -1000 ms y +1250 ms.

40. Modelo de referencia para la sincronización multimedia

41. Introducción • Se necesita un modelo de referencia para: • Comprender los diferentes requerimientos para una presentación multimedia. • Identificar y estructurar los mecanismos run-time que apoyan la ejecución de la sincronización. • Identificar interfaces entre mecanismos run-time. • Comparar soluciones para la sincronización multimedia.

42. Clasificaciones existentes • Clasificación general de Little y Ghafoor (1990) • Niveles: físico, sistemas y humano. • Sincronización intraflujo e interflujo • Sincronización en directo o artificial • Modelo de Gibbs, Breiteneder y Tsichichritzis (1993) • Mapea un objeto multimedia sincronizado en un flujo de bytes no interpretado. • Ehley, Furth y Ilyas (1994) • Clasifican las técnicas intermedias de clasificación que se utilizan para controlar los saltos entre flujos de acuerdo con el tipo y ubicación del control de sincronización. • Distinguen entre un control distribuido basado en protocolos, distribución basada en servidores y distribución sobre nodos sin estructura de servidores. • Meyer, Effelsberg y Steinmetz (1993) • Capa de medios para sincronización intraflujo de medios dependientes del tiempo. • Capa de flujos para sincronización interflujo de flujos de medios • Capa de objetos para la presentación, incluyendo la presentación de objetos no dependientes del tiempo.

43. Modelo de referencia para la sincronización Es un modelo de cuatro capas, cada una de las cuales implementa Mecanismos de sincronización proporcionados por un interfaz apropiado

44. Capa de elemento multimedia I • Una aplicación opera como un flujo continuo de un elemento multimedia que es tratado como una secuencia de ULD. • El proceso lee y escribe ULD en un loop durante tanto tiempo como los datos están disponibles.

45. Capa de elemento multimedia II • Utilizando esta capa, la misma aplicación es responsable de la sincronización, utilizando mecanismos de control de flujo. • Si varios flujos se desarrollan en paralelo, la necesidad de compartir recursos puede alterar los requerimientos de tiempo real. • También hay que tener en cuenta si el sistema es local o distribuido.

46. Capa de flujo I • Opera en flujos continuos de elemento multimedia. • En un grupo, todos los flujos se presentan en paralelo utilizando mecanismos para la sincronización interflujo. • El elemento multimedia continuo, es visto como flujo de datos con restricciones implícitas de tiempo. Los ULD son son visibles.

47. Capa de flujo II • Esta capa deriva de la abstracción suministrada por la integración de elementos multimedia analógicos. • En el proyecto Athena del MIT, los elementos continuos son introducidos por canales separados en el ordenador. • En estos sistemas la sincronización en vivo entre varios elementos multimedia continuos se lleva a cabo por dispositivos específicos.

48. Capa de objeto • Trabaja con todos los tipos de elementos multimedia sin diferenciar entre medios continuos discretos. • Esta capa toma una especificación de sincronización como entrada y es responsable de la correcta temporalización de toda la presentación.

49. Capa de especificación I • Es una capa abierta • Contiene aplicaciones y las herramientas permiten crear especificaciones de sincronización.

50. Métodos de especificación • Basadas en intervalos: • Permiten la especificación de relaciones temporales entre los intervalos de tiempo de la presentación de elementos multimedia. • Basadas en ejes: • Relaciona eventos de las presentaciones con los ejes compartidos por los elementos de la presentación. • Basadas en el flujo: • A determinados puntos de sincronización el flujo de la presentación es sincronizado. • Basadas en eventos: • Los eventos disparan las acciones de la presentación.