MULTIMÉDIA

1. MULTIMÉDIA

2. Az előadás rövid tartalma • Mi a multimédia ? (definíció) • A hang és kép • A sávszélesség kihívása (néhány szó a tömörítésről) • Néhány multimédia program • Üzleti potenciál

3. Multimédia - definíció Multimédia = Médium + Médium + Médium (kép) + (hang) + (szöveg)

4. Motiváció • A modern generáció Tv-n nőtt fel nem könyveken • Multimédiás technológia a CD-ROM formájában már 1992 óta jelen van • Hatalmas üzleti potenciál (pl. video and music on demand)

5. Kihívások Alapvető kihívások: • SÁVSZÉLESSÉG !!!! • KÉSLELTETÉS !!!! • felhasználók eszközeinek minősége Az első kettő struktúrális probléma, az utolsó pénzkérdés

6. Sávszélesség Miért probléma ? A felhasználói MODEM 28.8 Kbps (telefonvonal), vagy 128 Kbps (ISDN) - majdnem 1/40-ed része a legrégebbi MODEM sebességenke. A beszéd sávszélessége 64 Kbps A CD minőségű zene sávszélessége 706 Kbps A video sávszélessége 40 Mbps Konklúzió: 2-szer, 25-ször vagy 1400-ször nagyobb sávszélesség kellene !!!

7. Megoldás Tömörítés, tömörítés és tömörítés. Elérendő tömörítési arány max 1:5000

8. Késleltés: Vonalkapcsolás Csomagkapcsolás (késleltetés nem probléma (késleltetés probléma, de jó a de rossz a kihasználtság) kihasználtság) • Nem probléma ATM esetén (az ATM-et QoS kommunikációra tervezték) • Az IP-nál probléma, hiszen az Internet eredetileg nem QoS kommunikációra jött létre (megoldás IntServ és DiffServ)

9. Felhasználói HW és SW eszközök: • Hangkartya • video-capture kártya

10. A média (hang és kép) rövid jellemzése A hang: Tipikus sávszélességek: Beszéd 300 Hz - 3.6KHz zene: 20Hz - 20KHz

11. Digitalizált hang PCM beszed: mintevétel 8 KHz, egy minta kvantlasa 8 bit a beszedjel. digitális savszelessege 64Kbps CD zene: mintevétel 44.1 KHz, egy minta kvantlasa 16 bit a zene digitális savszelessege 705.6 Kbps (1 csatornás monoaural) Analog hang Digitalizalt hang Kvantáló Mintvavő

12. A videojel parameterei A színes digitális videojel: 600x800=480000 képpont 100 szintes kvantálás 480000 ld 100 = 3,19 Mbit másodpercenkent 25 keret 80 Mbps + 2 db alacsonyabb felbontású színkülönbségi jel = 84 Mbps sávszélesség A számítógépes képek: 40x480 VGA, 800x600 SVGA, 1024x768 XGA. Egy XGA képernyő 24 bit per képelem felbontással és 25 keret per másodperc átvitelével 472 Mbps-os sávszélességet igényel.

13. xn en x(t) + Quantizer Sampler - Predictor + Hangjelek tömörítése Adaptív prediktív kódolás: a hangminták statisztikai függősége (korreláltsága) miatt a múlt meghatorázza a jövőt ezért elég átvinni Adaptív PCM (ADPCM) x eredeti hangminta, w preidktor egyuthhatok , e atvitt hiba

14. Pl. Delta Moduláció Elsőrendű predikot, plusz egy bites kvantáló (csak azt jelzi, hogy a jel nő-e, vagy csökken-e az előző mintához képest) Ezekkel a módszerekkel pl. a beszédjelsávszélessége 6,4 Kbps-re, azaz egy tizedére csökkenthető !!!! (Ennek ára a nagy jeldolgozási igény, ami drága DSP-ket tesz szükségessé - hangkártya)

15. MIDI szabvány a zene tömörítésére Music Instrument Digital Interface (MIDI)-minden hangszer nek megfelel egy kód (pl. a zonogora 0, a hegedű 40) Összesen 127 hangszernek van kódja. A MIDI rendszerben a számítógép a kapott üzenetek alapján egy szintetizátorral generálja a zenét. A szintetizátor mind a 127 hangszert ismeri és a megfelelő spektrumot generálja a kapott utasítások alapján. Előny: a hatalmas sávszélességbeli csökkenés. Hátrány: a generált zene minősége nagyban függ a szintetizátortól (minden PC-ben más lehet)

16. tömörített kép Inverz tarnszformáció Transzformáció (DCT, KLE) A komponensek eldobása a transzfromációs tartományban előhívott kép Képtömörítés Alapgondolat: A nem fontos részek eldobása. Azt hogy mi a fontos egy transzformáció modnja meg, amley a képet “fontossági sorrendbe állítja”. Transzformációk: Karhunen - Loéve Transzformáció (KLT): a fontossági sorrendet a “főkomponen-sek” határozzák meg, amelyek lineár kombinációjából létrejön a korelált videojel. Discrete Cosine Transform (DCT): A magasabb térbeli periodicitású komponensek elhagyása A nem fontos részek eldobása. Azt hogy mi a fontos egy transzformáció modnja meg, amley a képet “fontossági sorrendbe állítja”.

17. Kivitelezés állóképekre: JPEG JPEG:. • Az információ lokális feldolgozása: Ossza fel az eredeti képet 8x8-as blokkokra. • Transzformáció: Minden blokkon hajtson végre egy DCT-t a síkbeli frekvenciák eloszlásának a meghatározására. • Kvantálás: Kerekítse a DCT együtthatóit, úgy hogy "agresszívebb" kerekítést szenvedjenek a nagyfrekvenciás komponensek együtthatói. • Kódolás: Hajtsa végre Huffman kódolást a digitalizált együtthatókon további tömörítés végett (ebben a lépésben nincs addicionális információvesztés).

18. Kivitelezés mozgóképekre- MPEG Nemcsak a térbeli, hanem az időbeli korreláltság kihasználása különbségképzéssel. 4 különboző keret kerül elküldésre: • Intracoded frames: JPEG kódolt állóképek • Predictive frames: a megelőző kerettel vett blokkonkénti különbség • Bidirectional frames: Az adottkeretnek az őt megelőző és őt követő kerettel vett különbsége • DC-coded fames: Blokk átlagok a gyors előretekeréshez

19. File-ok tömörítése Szótáralapú módszerek (Lempel- Ziv) Egy szótér felállítása és a bináris szavakra való referálás mutatók és hosszak által. Pl.

20. Forráskódolási módszerek: Adaptív Huffman kódolás 30 bit hosszú 20 bit hosszú Tömörítés: W U

21. Alkalmazás - Video on demand Video on demand = virtuális videokölcsönző A felhasználók képesek: • elíndinati • megállítani • előre és hátratekerni a filmet. Jelenleg nem megvalósítható.

22. Near video on demand Egy filmet minden 10 percben újraindítva szünet nékül ad a szolgáltató. Íg a felhasználó minidg újra indíthatja a filmet (ha közben elefont kapott) semmi nem vész el, csak max. 10 percig a már lejátszott részek jönnek.

23. Video szerverek • Hatalmas mennyiségű film tárolására alkalmasak (az összes film becsült száma 65000) • Egy film (MPEG2-ben) kb 4GByte memória • hívási statisztika C/k • tárolási hierarchia RAM RAID Optical Disk Tape archive

24. Üzleti potenciál • Pay-per-view video • Pay-per-view audio • Otthoni bevásárlás (pl. kisfilm az új fűnyírótípus használatáról, interaktív termékinfo …etc.) • On-line aukciók • híradók, sporthírek …etc.