Support de cours: Fondement du Multimédia

1. Institut supérieur des Etudes Technologiques de Mahdia Support de cours:Fondement du Multimédia Préparé par : Hechkel Amina Assistant Technologue à ISET Mahdia Année Universitaire : 2010/2011

2. Eléments de Contenu • Chaîne multimédia : acquisition, traitement, analyse, synthèse, stockage, intégration, communication, etc. • Transformée de Fourier : TFC, TFD, FFT. • Numérisation : Echantillonnage (Th. De Shannon, CAN, CNA), Résolution, Quantification. • Perception visuelle et SVH (RGB et systèmes virtuels). • Objets multimédias : textes, sons, images animées, vidéo (normes, codage, formats). • Outils logiciels. Mlle Hechkel Amina

3. Multimédia Plan Introduction • Le son L’image • La vidéo Bibliographie Mlle Hechkel Amina

4. Multimédia Plan Introduction • Le son L’image • La vidéo Bibliographie Mlle Hechkel Amina

5. Introduction : Définition • Multimédia = multi + média – Multi : plusieurs – Média : (medium) milieu de diffusion de l’information – Coexistence sur un même support de plusieurs médias (texte, son, image, vidéo) • « Intégration sur un même support de données de différents types en vue de leur manipulation (éventuellement interactive) à l’aide de l’outil informatique ». Mlle Hechkel Amina

6. Introduction : Définition • Outil informatique : – Choix du matériel et du logiciel (Norme MPC) – Traitement numérique – L’ordinateur est à la fois l’outil de : • Acquisition • Traitement • Stockage • Restitution (communication) • Interactivité : – L’utilisateur choisit : • Les éléments auxquels il veut accéder • Le moment auquel il accède à ces éléments Mlle Hechkel Amina

7. Introduction : Définition • Les moyens de l’interaction – Les périphériques (clavier, souris, écran, microphone, …) – Une interface (graphique) – Hypermédia (structure arborescente) Mlle Hechkel Amina

8. Introduction : Historique • Né dans les années 80 – Microinformatique – Interfaces graphiques – Hypercard (Apple) • Rencontre de plusieurs domaines – Audiovisuel – Informatique – Télécommunications – Arts graphiques Mlle Hechkel Amina

9. Introduction : Historique • Bénéficie des avancées technologiques – Technologies de stockage – Méthodes de compression/Décompression – Puissance de calcul – Transmission de l’information • NTIC : Nouvelles Technologies de l’Information et de la Communication (IT) – Fusion du Multimédia, Internet, Téléphonie mobile et Télévision numérique Mlle Hechkel Amina

10. Introduction : Objectifs • Acquérir, Stocker, Manipuler, Gérer, Diffuser – Des chiffres, du texte, des images, de la vidéo • Besoins – Grandes quantités d’information – Numériser – Compromis • Stockage • Qualité • Coût • Transmission Mlle Hechkel Amina

11. Introduction : Objectifs • Caractéristiques du multimédia (d’après des études psychologiques) – La mémoire humaine est capable de mémoriser • 10% de ce qu’on lit • 20% de ce qu’on entend • 30% de ce qu’on voit • 50% de ce qu’on entend et voit • 60% de ce qu’on dit • 70% de ce qu’on pratique • 80% de ce qu’on pratique et on expose – Proverbe chinois : “j’entend et j’oublie, je vois et je me rappelle, j’expérimente et j’apprends – Volumineuse, complexes (dimension spatiotemporelles) Mlle Hechkel Amina

12. INTRODUCTION : Applications • Potentiel énorme d’utilisation – Se divertir – S’informer – Se former – Communiquer – Vendre... • Applications grand public – Journaux en ligne – Visites virtuelles (de musées) –Encyclopédies – VOD (Vidéo On Demand) – Jeux Mlle Hechkel Amina

13. INTRODUCTION : Applications • Applications professionnelles – Présentation d’entreprise – Commerce électronique – Médecine (aide au diagnostic) – Architecture et bâtiments (simulation) Mlle Hechkel Amina

14. INTRODUCTION : Projet multimédia • Recherche et analyse – Public cible : niveau d’expertise et besoins – Recherche de contenu – Contexte d’utilisation (contraintes) • Conception – Synopsis du projet • Scénarisation (storyboarding) – Description détaillée des différents éléments multimédia • Prototypage • Développement • Test et validation Mlle Hechkel Amina

15. INTRODUCTION : Les métiers • De la production – Éditeurs, producteurs, juristes, prospecteurs • De la création – Auteurs, directeurs artistiques, scénaristes, ergonomes, illustrateurs • De la réalisation – Réalisateurs, directeurs techniques, développeurs (programmeurs, infographistes, etc.) ingénieurs du son, dialoguistes, testeurs, traducteurs • De l’exploitation – Fournisseurs d’accès, spécialistes réseau, packaging • De la distribution – Commerciaux pour la vente sur support, pour la vente en ligne • De l’utilisation – Bibliothécaires, formateurs Mlle Hechkel Amina

16. INTRODUCTION : Les métiers • De la production – Éditeurs, producteurs, juristes, prospecteurs • De la création – Auteurs, directeurs artistiques, scénaristes, ergonomes, illustrateurs • De la réalisation – Réalisateurs, directeurs techniques, développeurs (programmeurs, infographistes, etc.) ingénieurs du son, dialoguistes, testeurs, traducteurs • De l’exploitation – Fournisseurs d’accès, spécialistes réseau, packaging • De la distribution – Commerciaux pour la vente sur support, pour la vente en ligne • De l’utilisation – Bibliothécaires, formateurs Mlle Hechkel Amina

17. Multimédia Plan Introduction • Le son L’image • La vidéo Bibliographie Mlle Hechkel Amina

18. Définition : Le son • Définition 1: C’est un phénomène ondulatoire dû à un phénomène physique, c'est donc un phénomène continu (analogique) qui peut-être produit par vibration. • Définition 2: Le son est une onde sinusoïdale produite par la vibration mécanique d'un support fluide ou solide et propagée grâce à l'élasticité du milieu environnant sous forme d'ondes longitudinales. • Par extension, le son désigne la sensation auditive liée à cette vibration • L'onde sonore est représentée le plus souvent par une courbe sinusoïdale. Mlle Hechkel Amina

19. Définition : son et projet multimédia • Deux types d’utilisation: • Contenu Sonore • Narration • Description de contenu (voice-overs) • Musique (chanson) • Ambiance sonore • Fond sonore (musique d’accompagnement) • Effets sonores (clic sonore) Mlle Hechkel Amina

20. Propriétés du son Le son sous forme d’onde (spectre de modulation d'amplitude) • Fréquence : • L’inverse de la période (1/p) • C’est la hauteur (grave, aigu) • Nombre de pics (crête) par seconde • Unité : Hz (1 Hz= 1pics par seconde) • Plage audible : 20 Hz - 20KHz Mlle Hechkel Amina

21. Propriétés du son • Les sons dont les fréquences sont plus faibles que la plus petite fréquence audible (donc, du côté des graves) sont appelés les infrasons (20 Hz chez l'homme). • Les sons dont les fréquences sont plus élevées que la plus haute fréquence audible (donc, du côté des aigus) sont appelés les ultrasons (20 000 Hz chez l'homme). • Les fréquences les plus utilisées par l'Homme sont comprises entre 1 et 3 KHz. Mais, la plage audible est de 20Hz à environ 20 KHz (non audibles : infrasons et ultrasons) • Largeur de bande : différence entre plus haute et plus basse fréquence Intensité (volume) Mlle Hechkel Amina

22. Propriétés du son • Intensité  (différence de pressions) • L'intensité correspond à l’amplitude (différence de pression). • Exprimée en décibels (dB) qui sont des unités logarithmiques. • Exemples: • Voix humaine : 35 à 70 dB, • Aspirateur : 70 dB, • Trafic automobile intense : 85 dB, • Détonation d'une cartouche 9 mm : 120 dB, • Avion à réaction au décollage : 135 dB, • Amplificateur de grande puissance : 140 dB. Mlle Hechkel Amina

23. Propriétés du son • Timbre:C’est la différence entre deux sons ayant la même hauteur et le même volume (même fréquence, même intensité) : c’est la qualité de sensation. • Le timbre dépend de l'intensité des harmoniques qui accompagne le son fondamental. Exemple : • Des instruments de musique jouant un do ont des intensités d'harmoniques différentes. Cela n'empêche pas de reconnaître ce do qu'il soit émis par une soprane, un piano ou un cor de chasse. Mlle Hechkel Amina

24. Propriétés du son • Fondamentale et harmoniques Une onde périodiquecomplexe peut-être décomposée en un ensemble d’ondes périodiques simples. Ainsi, un son est, en général, un mélange de fréquences dites " harmoniques " qui sont des multiples entiers de la fréquence de base. • Calcul des harmoniques : Transformée de Fourier – Signal analogique • Signal analogique: • Signal discret : Mlle Hechkel Amina

25. Propriétés du son • Vitesse de son La vélocité du son varie suivant le milieu dans lequel il se propage. Le principal facteur de la variation est la densité de ce milieu : dans un gaz, sa vitesse est plus faible que dans un liquide. Par exemple, le son se propage approximativement à 343 m.s-1 dans l'air et à 1500 m.s-1 dans l'eau. Mlle Hechkel Amina

26. Numérisation • Pour pouvoir représenter un son sur un ordinateur, il faut arriver à le convertir en valeurs numériques : la numérisation. • C’est la conversion de l’analogique au numérique. On dit aussi discrétisation d’un signal continu vers un signal discret. • Deux étapes dans la numérisation sont l’échantillonnage et la quantification. • Les contraintes sont: • Ne pas détériorer le signal analogique. • Limiter l’espace de stockage. Mlle Hechkel Amina

27. Numérisation Exemple de numérisation d’un signal analogique • La conversion est obtenue grâce à un circuit électronique intégré appeléConvertisseur Analogique-Numérique(CAN). • Etapes résumées dans la figure 1 et 2 suivantes. Mlle Hechkel Amina

28. Numérisation: Échantillonnage  • Modèle de l’échantillonnage L’opération mathématique associée à cette discrétisation revient à multiplier le signal e(t) par un peigne de Dirac Te (t): Xs (t) = X(t).p (t) = Xs(t). Σk (t – kTe) Mlle Hechkel Amina

29. Numérisation: Échantillonnage  • Principe • On prend ainsi des valeurs de e(t) à des intervalles de temps régulier (tous les Te, période d’échantillonnage) à une fréquence Fe dite fréquence d’échantillonnage. Plus la fréquence est élevée, plus la numérisation est de qualité. • Si le spectre du signal d’origine à une fréquence supérieur à Fe/2 : effet de repliement. • Dans ce cas, il n’est plus possible de retrouver le signal d’origine. Puisque l’opération d’échantillonnage modifie les caractéristiques d’entrée. On devra donc respecter la condition de Shannon :   Mlle Hechkel Amina

30. Numérisation: Échantillonnage  • Utilisation du filtre en amont de l’échantillonneur • Principe Avant d’échantillonner le signal, on applique un filtre pour limiter cet effet de repliement : Filtre passe bas (filtre anti-repliement) pourenlever les fréquences supérieures à ½ Fe. Mlle Hechkel Amina

31. Numérisation: Échantillonnage  • Exemple • Pour la musique, la fréquence maximale audible est de 20 kHz, en comptant très large. La fréquence d'échantillonnage des CD-audio, de 44,1 kHz, respecte bien ce théorème. • Application à la voix en téléphonie : fréquence maximale : 3700 Hz. Quelle fréquence d'échantillonnage minimale choisir ? • Choix d’une fréquence d’échantillonnage • Les fréquences usuelles sont de 44,1 kHz et 48 kHz !!! • Le choix est également fonction des performances de l’oreille • Comme il faut au moins 2 échantillons pour recréer un signal, le choix sera : fe ≥ 2 fréquence max (théorème de Shannon ou de Nyquist) Mlle Hechkel Amina

32. Numérisation: Échantillonnage  Chaine de Conversion Analogique numérique • L’échantillonnage blocage Une fois le signal filtré et échantillonné, il reste à le quantifier. On doit maintenir constant la valeur à quantifier afin de permettre au CAN de traiter l'échantillon et de le numériser. On appelle cette opération, le blocage. Ce blocage doit être d’une durée supérieure au temps de conversion. Mlle Hechkel Amina

33. Numérisation: Quantification  • Théorie de la quantification • Le signal échantillonné - bloqué peut à ce stade être converti sous forme binaire (numérique) pour être stocké. Ce codage s'appelle la quantification. De là vient le nom de la technique : PCM ("Pulse Code Modulation") ou MIC ("Modulation Impulsion Codée"). • Le rôle de la quantification est de donner une image binaire d’un signal analogique : • Passage : Analogique – Numérique Signal Continu – Signal discret Tension – chiffre Mlle Hechkel Amina

34. Numérisation: Quantification  • Effectué par un circuit intégré (CAN, ADC). • A Chaque valeur mesurée est associée une valeur binaire codée sur n bits (nombre de bits de quantification). • N bits permettent de distinguer 2n niveaux de tension entre –Vmet +Vm. • On a ainsi le pas de quantification : • Application : Un signal de +/- 5 V codé su8 bits, donner le pas de quantification q. Réponse : 39 mV. Mlle Hechkel Amina

35. Numérisation: Quantification  Fonction escalier d’un CAN • Fonction escalier d’un CAN  • La caractéristique d’entrée sortie d’un CAN est une caractéristique en marche d’escalier. Chaque palier a une largeur d’un pas de quantification q. Le passage d’un palier à un autre correspond à une variation de ‘1’ du code. • Le pas de quantification est appelée quantum, il correspond à la résolution du convertisseur. Le quantum est la plus petite variation de tension que le convertisseur peut coder. Mlle Hechkel Amina

36. Numérisation: Quantification  • Bruit de quantification Lors de la quantification, une erreur de codage entre le signal échantillonné et la valeur du code correspond à un niveau de tension (ce niveau de tension étant la moyenne des tensions correspondant à ce code) : Gamme de tension Code unique Lors du codage, tous les niveaux compris dans la gamme reçoivent le même code. La quantification fournie une valeur approximative du signal donc introduit un bruit : Rapport Signal Bruit (Signal Noise Ration) : Mlle Hechkel Amina

37. Numérisation: Quantification  • Bruit de quantification Le rapport Signal/Bruit pour un signal utilisant la pleine échelle vaut environ : SNR dB =6.N + 2 • Amplitude du signal et rapport S/B : Le rapport Signal/Bruit S/B=6N+2 est obtenu pour la pleine échelle et diminue si l’amplitude du signal numérisé est plus faible. Exemple:un CAN 8 bits travaille sur une plage d’entrée de -5V à+5V : un signal d’amplitude Smax= 5V sera digitalisé sur 256 niveaux, d’où un rapport S/B = 6.N + 2 = 50 dB un signal d’amplitude 1,25V sera digitalisé sur 64 niveaux soit 6 bits, d’où un rapport S/B = 38 dB pour S/Smax= 0,25 = -12 dB Mlle Hechkel Amina

38. Quantification uniforme (linéaire) • La fonction de quantification uniforme attribue le même niveau à tous les signaux situés dans une plage de tension donnée : le quantum q est donc constant. • Le bruit de quantification (ou bruit de numérisation) apparut, diminue si la précision, c’est-à-dire le nombre de bits N, de la conversion augmente Mlle Hechkel Amina

39. Quantification uniforme (linéaire) • Le nombre de niveaux de quantification est bien-sûr lié au nombre de bits N du CAN : • Un convertisseur 8 bits quantifie le signal analogique sur 256 niveaux, q = 19,5 mV si E = 5V • Un convertisseur 12 bits quantifie le signal analogique sur 1024 niveaux, q = 4,9 mV si E = 5V • Un convertisseur 16 bits quantifie le signal analogique sur 65536 niveaux, q = 0,076 mV si E = 5V Application: • Calculer en Volts le quantum lorsque le signal analogique a une amplitude 10 et la conversion est sur 8 bits. (Réponse : q=20/256=0,078). • Le rapport signal/bruit est particulièrement défavorable pour les signaux de petites amplitudes. Une quantification non-linéaire est donc requise. Mlle Hechkel Amina

40. Quantification non linéaire Quantification non linéaire • Pour obtenir un rapport signal/bruit de quantification constant (ie indépendant de l'amplitude), il faut évidemment faire varier le pas de quantification selon l'amplitude. • le pas est petit pour les échantillons de faible amplitude • le pas est grand pour des échantillons de forte amplitude • En téléphonie, la quantification est à pas variable et utilise une courbe non linéaire appelée “loi A” en Europe et “loi mu” aux Etats-Unis Mlle Hechkel Amina

41. Formats et standards • On peut calculer la taille d’un fichier son comme suit : Taille(en bits) = Fe * N * D * V Avec : • Fe : Fréquence d’échantillonnage (8 KHz, 44,1 KHz, …etc) • N : nombre de bits de quantification (8 bits, 16 bits) • D : Durée(en s) • V : Nombre de voies (mono : 1 voie, stéréo : 2 voies, quadri, etc) On peut aussi calculer le débit : Débit (en bps)=Fe * N * V Mlle Hechkel Amina

42. Codage • En principe, le codage désigne le type de correspondance que l'on souhaite établir entre chaque valeur du signal analogique et le nombre binaire qui représentera cette valeur. • Le type de codage : PCM - Différentiel (delta) - Prédictif - Adaptatif - etc. • Codage PCM (Pulse Coded Modulation) • En français, MIC : Modulation par Impulsions Codées. • Utilisé au départ pour la téléphonie. • Il s’agit de coder chaque échantillon à sa valeur réelle (contrairement à ce qui se fait dans le codage différentiel). Mlle Hechkel Amina

43. Codage (suite) Codage différentiel • Codage différentiel ou codage "delta" • Ce codage consiste à évaluer (coder) la différence entre le niveau du signal à l'instant de l'échantillonnage et le niveau qu'il avait lorsde l'échantillonnage précédent. • Standard DPCM (Differential PCM) Mlle Hechkel Amina

44. Codage (suite) • Codage prédictif • Fonction de prédiction • Coder la différence entre la valeur réelle et la valeur prédite • Standard : LPC (LinearPredictiveCoding/ Codage linéaire prédictif pour la parole), WarpedLPC. • Codage adaptatif  • Adapte le nombre de bits au type de variation sonore qu'il détecte. • Très utile pour adapter la qualité d'un son à l'encombrement du réseau qui le transmet. • Standard : ADPCM (Adaptative PCM). • Codage par transformation • Transformer le signal avant codage • Standards : DCT (Discrete Cosine Transform), DFT (Fourier), DWT (Wavelet) Mlle Hechkel Amina

45. Compression de son • Un son numérisé est une séquence d'octets en mémoire. • La compression consiste à trouver une séquence d'octets plus courte dont l'effet sonore soit semblable à celui de la séquence initiale. • Buts de la compression: • Gain de place dans le cas d'un enregistrement, • Économie de bande passante dans le cas d'une transmission, • Gain de temps dans le cas d'un transfert de fichier (Internet) • On calcule ainsi le taux de compression : Taux de compression (%) = Taille compressé/ Taille originale Exemple : C= 25/100= 0,25 soit 25 % Mlle Hechkel Amina

46. Algorithme de Compression • On cite ci-dessous quelques algorithmes de compression/décompression (Codec) : • Algorithme de compression sans perte  • La suite de bits obtenue après les opérations de compression et de décompression est strictement identique à l’originale, cet algorithme est utilisé pour nombreux types de données (documents, fichiers exécutables, fichiers textes). • RLE (RunLengthEncoding): Toute suite de bits ou de caractères identiques est remplacé par un couple :(nombre d’occurrence, bit ou caractère répété) Exemple : AAAAAAAAZZZEEEE devient 7A3Z4E. • LZW : Codage par dictionnaire (une table de données contenant des chaînes de caractères), peu efficace pour les images et donne de bons résultats pour les textes et les données informatiques en général (plus de 50 %). Mlle Hechkel Amina

47. Algorithme de Compression • Algorithme de compression avec perte • La suite de bits obtenue après les opérations de compression et de décompression est différente de l’originale mais l’information reste sensiblement la même, utilisé pour les types de données : images, sons et vidéos. • MPEG • ADPCM Mlle Hechkel Amina

48. Formats de fichiers audio • Ils sont plus que 50 formats : WAV, MP3, WMA, AAC, OGG, RA, MIDI,…etc • WAV : Waveform audio format • Développer par IBM et Microsoft (plateforme Windows), • Conteneur capable de recevoir des formats variés • Il peut être mono ou stéréo. • Extension : .wav Mlle Hechkel Amina

49. Formats de fichiers audio (suite) • MP3 : abréviation de MPEG-1/2 Audio Layer 3 • Moving Picture Expert Group (Layer 3: couche 3) • La partie audio du MPEG-1 est décomposée en MPEG-1 Audio Layer I, II et III. Ce dernier format est plus connu sous le nom de MP3 et permet une compression sur 2 voies audio. • Concurrent de WMA, • Très rapide à l’encodage, • Débit jusqu’à 320 kbps. • WMA (Windows Media Audio) • Alternative au MP3 par Microsoft • Compatible seulement avec les logiciels Microsoft • Suffixe : .wma Mlle Hechkel Amina

50. Formats de fichiers audio (suite) • AAC (Advanced Audio Coding) • Extension du MPEG-2 • Concurrent de WMA par Apple (iPod, iTunes) • Compression avec bonne qualité • De 8 à 96KHz et jusqu’à 48 canaux • Extensions .mp4, .aac, .m4a • OGG • Format Open source (libre et gratuit) • Amélioration du MP3 (Compression et qualité) • Compression selon Vorbis (algorithme différent de MP3, WMA et AAC) • RA (RealAudio) • Format de RealNetworks • Application en streaming • Grand taux de compression • Compatible avec Realplayer uniquement. Mlle Hechkel Amina