Intégration fine de médias dans les présentations multimédias

1. Intégration fine de médias dans les présentations multimédias Cécile Roisin Inria Rhône-Alpes et Université Pierre Mendès-France

2. Composition de documents multimédias Modèle de composition (SMIL, MHEG, MPEG4…) Médias Documents multimédias Texte Les médias utilisés sont des boîtes noires avec lesquelles l’auteur réalise la composition

3. Exemples d'applications • Documentation technique multimédia • Accès aux dossiers médicaux multimédias • Enseignement en ligne • Sites web multimédias … applications dans lesquelles la synchronisation des médias est nécessaire

4. Outils actuels pour les documents multimédias • Langages de description • Impératifs • déclaratifs • Environnements d'exécution • Local • Accès à distance • Outils d'édition • Programmation • wysiwyg

5. Besoins de composition fine • Les médias ne sont pas des boites noires: • Médias structurés • Médias enrichis par des annotations • un média = {ensemble de fragments typés et structurés} • Les fragments de médias peuvent être utilisés dans : • Les relations temporelles • Les relations spatio-temporelles • Les actions : hyperlien, suivi, masquage • Les animations

6. Exemples d'application • Synchronisation des plans d'un film avec son script • Synchronisation de fragments textuels avec des fragments sonores (karaoke) • Synchronisation d'images avec des séquences vidéo • « Collage » de fragments de médias

7. Structure des applications de traitement multimédia Analyse • région, plan • objet, scène Médias APPLICATION & TRAITEMENT DESCRIPTION ANALYSE Texte Applications • Indexation : DiVAN • Composition/exécution : RealOne, IE6, GRiNS, Madeus Description • MPEG-7 • QBIC, AEDI

8. Description du contenu de média • Description du contenu de média • <videoDescription id="MariageTien" • src="/TienWedding.mpg"> • … • <Shot> • <MovingRegion ID="Mariée"> • <SpatioTemporalLocator … /> • </MovingRegion> • </Shot> … • </videoDescription> • Composition d’un hyperlien sur un objet de la vidéo • <video content="MariageTien"> • <area id="Objet" fragment="MariageTien#Mariée" • href="/MaFamille.html" /> • </video>

9. Composition fine de documents multimédias Modèle de composition Modèle de média Médias COMPOSITION DESCRIPTION ANALYSE Texte

10. Modèle de contenu pour la vidéo Temporal Actor Content intervalle StructuredVideo sous-intervalle … … VideoSegment Spatial … … VideoSegment Sous-Actor … … VideoSegment MovingRegion segment segment [tracking; hyperlink] Sous-region

11. Bilan • Modèle de description du contenu des médias • accès aisé aux fragments de média • édition de la description du contenu de média • Support de la description MPEG-7 • Permettre d’exporter et réutiliser facilement les descriptions • Modèle de composition de documents multimédias • synchronisations fines avec des fragments de média • actions (hyperlien) sur des objets de média • animations abstraites

12. Conclusion • De nouvelles perspectives: • Automatisation de la génération des présentations multimédia • Support pour l'adaptation des présentations à différents contextes (terminaux, débits, …) • Des compromis à trouver: • Solutions ouvertes / disponibilité des outils • Simplicité / créativité