slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Desktop Video PowerPoint Presentation
Download Presentation
Desktop Video

Loading in 2 Seconds...

play fullscreen
1 / 270

Desktop Video - PowerPoint PPT Presentation


  • 95 Views
  • Uploaded on

Desktop Video. SPV 2 SWS SS ‘99 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de. 1. Grundlagen. 1.1 Videotechnik 1.2 Kompression 1.3 Formate + deren Eigenschaften 1.4 Quicktime. 1.1 Videotechnik. Das menschliche Auge Grundlagen zu Signalen Schwarzweißfernsehen

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Desktop Video' - kaseem-watts


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

Desktop Video

SPV 2 SWS SS ‘99

Gisbert Dittrich

FBI Unido

dittrich@cs.uni-dortmund.de

1 grundlagen
1. Grundlagen

1.1 Videotechnik

1.2 Kompression

1.3 Formate + deren Eigenschaften

1.4 Quicktime

1 1 videotechnik
1.1 Videotechnik
  • Das menschliche Auge
  • Grundlagen zu Signalen
  • Schwarzweißfernsehen
  • Farbfernsehen
  • Videotechnik im Rechner
1 1 videotechnik das menschliche auge
1.1 Videotechnik - Das menschliche Auge
  • Menschliches Auge ist Rezeptor für Bilder.
  • Bildet Randbedingungen für das Folgende.
  • Auge:
      • ortsabhängiges Auflösungsvermögen
      • optischer Tiefpaß: nur begrenztes Vermögen, Kanten (fl hohe Frequenz) aufzulösen.
      • Bewegtbildauflösung: ab ca. 16 Bilder pro Sekunde
      • Flimmereffekt: bei ≤ 50 Bilder/sec: periodische Schwankung der Helligkeitsempfindung
1 1 videotechnik grundlagen zu signalen 1
1.1 Videotechnik - Grundlagen zu Signalen 1

- Darstellung über Wellen - Modulation

- Signale: Amplitude, Frequenz, Phase

1 1 videotechnik grundlagen zu signalen 2
1.1 Videotechnik - Grundlagen zu Signalen 2
  • Modulation
    • Jede Art der Beeinflussung einer charakteristischen Größe (Amplitude, Frequenz, Phase) von meist höherfrequenten, ungedämpften periodischen Vorgängen, im engeren Sinne von elektromagnetischen [Hochfrequenz]wellen bzw. -schwingungen, Lichtstrahlen oder Impulsfolgen zum Zwecke der Übertragung von Signalen oder Nachrichten ...
1 1 videotechnik grundlagen zu signalen 3
1.1 Videotechnik - Grundlagen zu Signalen 3
  • Beispiele: • Amplitudenmodulation
1 1 videotechnik grundlagen zu signalen 5
1.1 Videotechnik - Grundlagen zu Signalen 5
  • Quadraturmodulation:
    • Betrachte Trägerfrequenz und eine um 90 Grad phasenverschobene Variante derselben.
    • Führe Amplitudenmodulation zweier Teilsignale auf diese Träger durch.
    • Summiere diese beiden zu einem neuen Signal auf.
1 1 videotechnik grundlagen zu signalen 6
1.1 Videotechnik - Grundlagen zu Signalen 6
  • Beispiel für Diskretisierung einer kontinuierlichen Funktion:
1 1 videotechnik grundlagen zu signalen 7
1.1 Videotechnik - Grundlagen zu Signalen 7
  • Lehrsatz der Informationstheorie:
  • Abtasttheorem: (zitiert nach Meyers Enzyklopädischem Lexikon)
    • Ist ein Signalstrom durch eine kontinuierliche Funktion f(t) gegeben und wird diese Funktion durch Abtasten in bestimmten Zeitintervallen Dt in eine aus diskreten Impulsen bestehende Funktion zerlegt, so läßt sich aus dieser Impulsfunktion die ursprüngliche Funktion ohne Informationsverlust wiedergewinnen, wenn für die Bandbreite B gilt:
  • Dt < 1/(2B). Oder: Abtastrate 1/Dt > 2B.
1 1 videotechnik grundlagen zu signalen 71
1.1 Videotechnik - Grundlagen zu Signalen 7
  • Bandbreite:
  • Differenz zwischen größter und kleinster Frequenz in einem zusammenhängenden Bereich von Schwingungen unterschiedlicher Frequenzen.
  • In Nachrichtentechnik:
      • Breite eines Frequenzbandes zwischen zwei Grenzfrequenzen, für die die übertragene oder von einem Bandfilter hindurchgelassene Leistung auf die Hälfte, die Spannung auf das 0,71fache abfällt; wird absolut in Hz oder relativ (auf die mittlere Frequenz bezogen) angegeben.
1 1 videotechnik schwarzwei fernsehen 1
1.1 Videotechnik - Schwarzweißfernsehen 1
  • Darstellung von Helligkeit : Luminanz
  • Zeilensprungverfahren (Schema)
1 1 videotechnik schwarzwei fernsehen 2
1.1 Videotechnik - Schwarzweißfernsehen 2
  • in Europa: 625 Zeilen, Breite:Höhe = 4:3
    • also 833 Punkte pro Zeile
1 1 videotechnik schwarzwei fernsehen 3
1.1 Videotechnik - Schwarzweißfernsehen 3
  • Extreme Übergänge schwarz-weiß-schwarz:
1 1 videotechnik schwarzwei fernsehen 4
1.1 Videotechnik - Schwarzweißfernsehen 4
  • BAS-Signal (Schema) [Bild -Austast -Synchronsignal]
1 1 videotechnik schwarzwei fernsehen 5
1.1 Videotechnik - Schwarzweißfernsehen 5
  • Abschätzungen zum BAS:
    • Für 25 Bilder/sec:
      • Zeilendauer: 64ms (= 40ms/625 Zeilen)
      • Abtastfrequenz: 13,5 MHz,
      • Zeilenfrequenz (1/64ms=) 15.625 KHz
      • Videobandbr. max: 6,75 MHz; fakt.: 5/5,5 MHz
      • zudem: "Schwebungseffekte erzeugen unvernünftige Bilder"
      • --> Kell-Faktor: 0,64 (0,67)
    • --> Vertikale Auflösung von 400 Zeilen
1 1 videotechnik schwarzwei fernsehen 6
1.1 Videotechnik - Schwarzweißfernsehen 6
  • Amplitudenmoduliertes Videosignal:
1 1 videotechnik farbfernsehen 1
1.1 Videotechnik - Farbfernsehen 1
  • Erste Grundidee: Zusammensetzen aus z. B. RGB
  • Komponentenkodierung:
    • Betrachtet die Bestandteile der Videoinformation getrennt voneinander.

z. B. Synchronisation extra

  • Verschiedene Arten:
    • RGB Grundfarben werden angegeben
    • Oder: Herausziehen der Luminanz Y:
    • YUV
      • Luminanz (Leuchtdichte) [braucht man für SW-Fernseher]
      • Chrominanz (Farbinformation)
1 1 videotechnik farbfernsehen 2
1.1 Videotechnik - Farbfernsehen 2
  • Bestimmung von YUV aus RGB:

Y = 0.30 R + 0.59 G + 0.11 B

U = (B-Y) * 0.493

V = (R-Y) * 0. 877

  • Analoge Behandlung für YIQ - Signal

(verwendet für NTSC)

Y = 0.30 R + 0.59 G + 0.11 B

I = 0.60 R - 0.28 G - 0.32 B

Q = 0.21 R - 0.52 G + 0.31 B

- Randbedingung (historisch): Als Erweiterung zum SW- Fernsehen, d.h. zum BAS-Signal

1 1 videotechnik farbfernsehen 3
1.1 Videotechnik - Farbfernsehen 3
  • FBAS - Signal : Farb - Bild - Austast - Synchronsignal
1 1 videotechnik farbfernsehen 4
1.1 Videotechnik - Farbfernsehen 4
  • Verschiedene Fernsehnormen
    • NTSCNational Television Systems Committee (Amerika)
      • Bildwechselfrequenz: 30 Hz
      • Bild aus 525 Zeilen
      • verwendet Quadraturamplitudenmodulation
    • SECAMSequential Coleur avec Memoire (Frankreich, ...)
      • Bildwechselfrequenz: 25 Hz
      • Bild aus 625 Zeilen
      • verwendet Frequenzmodulation
    • PALPhase alternating line (Deutschland, Bruch 1963)
      • Bildwechselfrequenz: Halbbilder 50 Hz
      • Bild aus 625 Zeilen
      • Grundprinzip: Quadraturamplitudenmodulation
1 1 videotechnik farbfernsehen 5
1.1 Videotechnik - Farbfernsehen 5
  • Bandbreite des FS-Signals (auch SW-FS)
1 1 videotechnik farbfernsehen 5a
1.1 Videotechnik - Farbfernsehen 5a
  • Ergänzende Literatur:
    • Conventional Analog Television - An Introduction

www.ee.washington.edu/conselec/CE/kuhn/ntsc/95x4.htm

1 1 videotechnik farbfernsehen 6
1.1 Videotechnik - Farbfernsehen 6
  • Fernsehen der Zukunft: (?)
    • D2-MAC: Duobinary Multiplexed Analog Components
      • Komponentenverfahren! 2 hochwertige Stereo- resp. 8

Kanäle niederer Güte für Audio.

(wohl überholt !!!)

    • HDTV: High Definition Television
      • in Europa: Übertragungsverfahren HD-MAC

(HD = High Definition)

      • Höhere Datenrate: gegenüber PAL * 5.33 (überprüfen!!)

absolut: 1,152* 109 bit/s

      • durch Datenkompression Reduktion auf 34 Mbit/s

(" ohne merklichen Qualitätsverlust")

1 1 videotechnik farbfernsehen 7
1.1 Videotechnik - Farbfernsehen 7
  • HDTV (Fortsetzung)
    • wird unterschieden in:
      • Studiostandard
      • Produktionsstandard
      • Übertragungsstandard
      • Reproduktionsstandard
  • übergeordneter Standard HDP (P = Progressiv)
1 1 videotechnik farbfernsehen 7a
1.1 Videotechnik - Farbfernsehen 7a
  • Ergänzende Literatur: (Stand 14.4.99)
    • HDTV Television - An Introduction

http://www.ee.washington.edu/conselec/CE/kuhn/hdtv/95x5.htm

    • HDTV (High Definition Television)

http://www.circuitcity.com/tv2/products-tv-hdtv.htm

    • High Definition Television

http://meteor.uscolo.edu/ebersole/handbook/hdtv.html

1 1 videotechnik farbfernsehen 8
1.1 Videotechnik - Farbfernsehen 8
  • HDTV-Entwicklungen:
    • HD-MAC Europa
      • 1250 Zeilen , 50 Halbbilder, Bildwiederholfrequenz: 100
    • MUSE Japan
      • 1125 Zeilen 60 Hz
      • (seit ´92 auf Sendung, gar keine Kompatibilität)
    • NTSC
      • 1050 Zeilen, 59,94 Hz
1 1 videotechnik farbfernsehen 9
1.1 Videotechnik - Farbfernsehen 9
  • Digitales Fernsehen (gemäß beschlossener Normen)
    • Geschlossene Kodierung (denkbar)
      • BAS-Signal: 2 x 5MHz x 8bit = 80Mbit/sec
      • FBAS-Signal: 4 x 4,43MHz x 8bit = 141 Mbit/s Datenrate
      • Probleme:
        • -Übersprechen, -Norm-abhängig, -Abtastfrequenz +Datenreduktion nicht komponentenabhängig,
        • Weitere Störungen
    • Komponentenkodierung: 4:2:2 Kodierung
      • Luminanz wird höher gewichtet:
      • Behandlung von Y (Luminanz) mit 13.5 MHz,
      • R-Y und B-Y je mit 6.25 MHz.
      • Je zu 8 bit pro Abtastwert. --> Multiplexen.
1 1 videotechnik farbfernsehen 10
1.1 Videotechnik - Farbfernsehen 10
  • Komponentenkodierung (Fortsetzung)
    • Erfordert 216 Mbit/sec (= 28,25 Mbyte) Datenrate.
    • Paßt nicht in herkömmliche PCM-Hierarchie.
    • Daher Substandards mit niedrigerer Datenrate:
      • 1:(5/6,5/6)-->180Mbit/sec
      • 2:(3/4,1/2)--> 135Mbit/sec
      • 3:(2/3,1/3)--> 108Mbit/sec
      • Weitere Reduktionen möglich.
1 1 videotechnik videotechnik im rechner 1
1.1 Videotechnik - Videotechnik im Rechner 1
  • Fast nie mit Zeilensprungverfahren ( Ausnahme:Amiga)
  • Bildwechselfrequenz ca. ≥ 70 Hz, daher flimmerfrei.
  • Farben über CLUT (Color LookUp Table)
    • Anzahl der verwendbaren Farben n << m Anzahl aller darstellbaren Farben.
  • Einige "Standards "(v.a. alte):
    • CGA Color Graphics Adapter Bildgröße: 320*200 Pixel Anzahl der verfügbaren Farben: 4 Aufwand zur Darstellung eines Bildschirminhaltes: 320*200 Pixel*(2bit/Pixel)/(8bit/byte) = 16 000 byte
1 1 videotechnik videotechnik im rechner 2
1.1 Videotechnik - Videotechnik im Rechner 2
  • EGA Enhanced GraphicAdapter

Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben: 16

Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte

  • VGA Video Graphics Array

Bildgröße: 640*480 Pixel Anzahl Farben: 256

Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = 307 200 byte

  • 8514/ A Display Adapter Mode

Bildgröße: 1024*768 Pixel Anzahl Farben: 256

Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte

1 1 videotechnik videotechnik im rechner 3
1.1 Videotechnik - Videotechnik im Rechner 3
  • EGA Enhanced GraphicAdapter

Bildgröße: 640*350 Pixel

Anzahl der verfügbaren Farben: 16

Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte

  • VGA Video Graphics Array

Bildgröße: 640*480 Pixel Anzahl Farben: 256

Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = 307 200 byte

  • 8514/ A Display Adapter Mode

Bildgröße: 1024*768 Pixel Anzahl Farben: 256

Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte

1 1 videotechnik videotechnik im rechner 4
1.1 Videotechnik - Videotechnik im Rechner 4
  • XGA Extended Graphics Array

Bildgröße: 640*480 Pixel

Anzahl der verfügbaren Farben: 65536

Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(16bit/Pixel)/(8bit/byte) = 614400 byte

Letztere erfordern hohe Datenraten (v.a. für Bewegtbilder!)

Also: Kompressionsverfahren nötig !

1 grundlagen1
1. Grundlagen

1.1 Videotechnik

1.2 Kompression

1.3 Formate + deren Eigenschaften

1.4 Quicktime

1 2 kompression
1.2 Kompression
  • Motivation
  • Kompressionsverfahren
  • Anforderungen an Kodierungen
  • Kodierungen
  • Klassifikation der Kodierungs- und Kompressionsverfahren
  • Grundlegende Verfahren
  • JPEG
  • H. 261
  • MPEG
1 2 kompression motivation 1
1.2 Kompression - Motivation 1
  • Zur Motivation von Datenkompression
    • Beispielrechnungen für typische Werte:- Abkürzungen: 1kbit = 1.000 bit 1Kbit = 210 bit = 1.024 bit- Analog für Mbyte: 1Mbit = 210 *210 bit = 1.024*1.024 bit
    • Speicherplatzbedarf: = Anforderung an Speicherplatz , wenn je ein Bildschirminhalt resp. je ein Datenstrom pro Sekunde unkomprimiert dargestellt wird:
1 2 kompression motivation 2
1.2 Kompression - Motivation 2
  • Je ein Bildschirminhalt
    • Text Annahme: je Zeichen der Größe 8*8 Pixel sind 2 Byte nötig. Zeichen je Bildschirmseite: 640*480/(8*8) = 4800 Speicherplatzbedarf: 4800*2 = 9600 byte = 9,4 Kbyte
    • Vektorbilder Annahme: typisches Bild besteht aus 500 Geraden, Koordinate in x-Richtung : 10 bit, Koordinate in y-Richtung : 9 bit, Attributvektor pro Gerade: 8 bit. Bit je Linie: (9+10+9+10+8) bit = 46 bitSpeicherplatzbedarf: 500*46/8 byte = 2875 byte = 2,8Kbyte
1 2 kompression motivation 3
1.2 Kompression - Motivation 3
  • Je ein Bildschirminhalt (Fortsetzung)
    • Pixelbild
      • Annahme: 256 Farben, d.h. 1byte pro PixelSpeicherplatzbedarf: 640*480*1 byte = 307200 byte = 300 Kbyte

Von hier ab:

  • Platzbedarf für je eine Sekunde
    • Sprache in Telefonqualität
      • Annahme: Abtastung mit 8kHz, quantisiert mit 8 bitDatenstrom: 64 Kbit/sSpeicherplatzbedarf: 8 Kbyte
1 2 kompression motivation 4
1.2 Kompression - Motivation 4
  • Platzbedarf für je eine Sekunde(Fortsetzung)
    • Stereo-Audiosignal in CD-Qualität
      • Annahme: Abtastung mit 44,1 kHz, quantisiert mit 16 bitDatenstrom: 2*44100* 16/8 byte/s = 176400byte/sSpeicherplatzbedarf: 172 Kbyte
    • Videosequenz
      • Annahme: 25 Vollbilder pro SekundeLuminanz und Chrominanz zusamm. mit 3 byte pro PixelLuminanz Y mit 13,5 MHz, Chrominanz (R-Y sowie B-Y) mit 6,75 MHz.8 bit-gleichförmige Kodierung:(13,5 MHz + 2*6,75 MHz) * 8bit = 216*106 bit/s (entspricht ca. 27 MByte/s)
1 2 kompression motivation 5
1.2 Kompression - Motivation 5
  • Videosequenz(Fortsetzung)
    • Datenrate: 640*480*25*3 byte/s = 23 040 000 byte/sSpeicherplatzbedarf: 22500 Kbyte = 21, 97 MbyteDatenübertragungsraten von ungefähr 140 (175,78) Mbit/s.

’Heute nicht kostengünstig realisierbar. Kontinierliche Medien erhöhen die Anforderungen an das System erheblich!

Durch Kompressionsverfahren "erheblich" reduzierbar.

1 2 kompression kompressionsverfahren
1.2 Kompression - Kompressionsverfahren

Kompressionsverfahren

, die immer wieder genannt werden:

  • JPEG für Einzelbilder

(Joint Photographic Expert Group)

  • MJPEG
  • [H.261(px64) für Videosequenzen mit geringer Auflösung]
  • MPEG für Bewegtbilder als auch Audio

(Motion Picture Expert Group)

  • [DVI für Einzelbilder und kontinuierliche Medien

(Digital Video Interactive)]

1 2 kompression anforderungen an kod 1
1.2 Kompression - Anforderungen an Kod. 1

1. Gute Qualität nach Kodierung - Dekodierung

2. Verfahren möglichst einfach

3. Symmetrisch in Aufwand für Kompression-Dekom-pression

  • z. B. für Dialogsysteme (Bildübertragung, Videoconferencing, ..) etwa:

Ende-zu-Ende Verzögerung ≤ 150 msec ( z. B. px64)

4. Kompression mit hohem Aufwand - Dekompression schnell

z. B. für Abfragesysteme (audiovisuelle Auskunftssysteme, ...): einmal komprimieren, häufig dekomprimieren, möglichst in Echtzeit (z.B. DVI)

1 2 kompression anforderungen an kod 2
1.2 Kompression - Anforderungen an Kod. 2

3.+ 4. sollen erfüllen:

  • Formal unabhängig von Bildschirmgröße/ Bildwiederhol-frequenz zu definieren
  • verschiedene Datenraten für Audio/Video
  • Audio/Video exakt synchronisierbar, auch mit anderen Medienobjekten
  • kostengünstig, möglichst Software
  • Kooperation von unterschiedlichen Systemen

’ Standards : de jure - de facto

1 2 kompression anforderungen an kod 3
1.2 Kompression - Anforderungen an Kod. 3

4. soll insbesondere erfüllen:

  • schneller Vor- /Rücklauf bei Anzeige der Daten
  • wahlfreier Zugriff auf Einzelbilder ≤ 0.5 sec
  • Dekompression von Einzelbildern/Videosequenzen direkt, d.h. ohne Zugriff auf "vorherige" Daten möglich.

’ Editieren nach wahlfreiem Zugriff möglich.

1 2 kompression kodierungen 1
1.2 Kompression - Kodierungen 1
  • Grobe Einteilung:
    • Entropiekodierung: verlustfrei (Entropie: mittlerer Informationsgehalt einer Zeichenmenge)
    • Quellenkodierung:meist verlustbehaftet nutzt Semantik der Daten, bzgl. des Kompressionsgrades abhängig vom Medium.
    • Kanalkodierung(hier weggelassen)
    • hybride Kodierung
1 2 kompression kodierungen 2
1.2 Kompression - Kodierungen 2
  • Wesentliche Schritte der Datenkompression für Audio und Video (am Beispiel Einzelbild formuliert):
1 2 kompression kodierungen 3
1.2 Kompression - Kodierungen 3

Schritte der Datenkompression(Fortsetzung)

1. Bildaufbereitung

  • z. B. Zerlegung in Blöcke von je 8x8 Pixel
  • mit n Bit Beschreibungstiefe pro Block/Pixel

2. Bildverarbeitung

  • erzeugt geeignete digitale Darstellung (verschiedenste Verfahren)

3. Quantisierung

  • erzeugt Verlustbehaftung

4. Entropiekodierung

  • Bearbeitet linearen Datenstrom; verlustfreie Kompression!

(2. und 3. können mehrfach iterativ durchlaufen werden).

Dekompression läuft invers.

1 2 kompression klassifikation k k verf 1
1.2 Kompression - Klassifikation K&Kverf 1

(wichtig für unseren Kontext; Verfahren werden im folgenden z. Teil erläutert)

  • Entropiekodierung
    • Lauflängenkodierung Huffman-Kodierung
    • Arithmetische Kodierung
  • Quellenkodierung
    • Prädiktion: DPCM DM
    • Transformation: FFT DCT
    • nach Wichtigkeit, "Layered Coding":
      • Bitposition • Unterabtastung
      • Subband Kodierung
1 2 kompression klassifikation k k verf 2
1.2 Kompression - Klassifikation K&Kverf 2
  • Vektor-Quantisierung
  • Hybride Kodierung
    • JPEG
    • MPEG
    • px64
1 2 kompression grundlegende verfahren 1
1.2 Kompression - Grundlegende Verfahren 1

Vorbemerkung

Hybride Verfahren verwenden unterschiedliche grundlegende Verfahren.

Gemäß den Fähigkeiten/Eigenschaften der Sinnesorgane: unterschiedliche Gewichtungen für verschiedene Attribute, z. B.

Helligkeit hohes Gewicht,

Farbe niedrigeres Gewicht.

1 2 kompression grundlegende verfahren 2
1.2 Kompression - Grundlegende Verfahren 2
  • Lauflängenkodierung
    • Voraussetzung: Bytestrom wird übertragen.
    • Bei häufigen Wiederholungen von Bytes: Angabe des Bytes + Anzahl des Vorkommens. (Unter Verwendung von M(arkierungs)-Bytes, z. B. "!“
    • Wenn mindestens 4 Bytes gleich, dann wird gezählt. Damit 4 - 259 gleiche in 3 Bytes kodierbar.
    • Beispiel ( in vereinfachter Darstellung ) :

Unkomprimierte Daten : a!bbbcccccccccd

Lauflängenkodierung : a! !bbb!c5d

1 2 kompression grundlegende verfahren 3
1.2 Kompression - Grundlegende Verfahren 3
  • Nullunterdrückung (Spezialfall der Lauflängenkodierung)
    • Nur ein spezielles Zeichen wird potentiell gezählt.
    • Ab 3-258 gleiche Bytes so auf 2 Bytes reduzierbar. Variationen möglich.
  • Vektorquantisierung
    • (vereinfacht:) Zerlegt Datenstrom in Blöcke zu je n Bytes.
    • Verwendet Tabelle mit Mustern als Einträgen. Suche Muster, das gegebenen Block am besten approximiert . Block erhält Index(vektor) des zug. Musters aus dieser Tabelle zugeteilt.
1 2 kompression grundlegende verfahren 4
1.2 Kompression - Grundlegende Verfahren 4
  • Beispiel zur Vektorquantisierung:
    • Tabelle für Blöcke (hier durch 3 Dezimalziffern dargestellt)
    • ´24´,´801´ komprimiert ergibt z.B. (1,1), (6,4), dekodiert:´10´,´794´

Dimension 1 Dimension 2

1 2 3 4 Aufwand:

1 10 69 110 170 3 Ziffern: 12 bit

2 204 219 250 271 ‚Vektor‘: 3 +2 bit

3 305 328 352 388

4 401 439 455 479

5 501 527 556 597

6 700 726 751 794

7 901 932 955 979

1 2 kompression grundlegende verfahren 5
1.2 Kompression - Grundlegende Verfahren 5
  • Weitere Verfahren
    • (Static) Pattern Substitution
      • Ersetzt häufige Muster durch einzelne Bytes. (Z.B. BEGIN in Progspr.)
      • Häufig durch Approximation (z.B. für Bilder. fl Vektorquantisierung)
      • Anmerkungen:
        • M- Bytes benutzen
        • benötigt eine vorher bekannte Codetabelle
        • schwierige Musterfindung bei Einzelbildern und Audiodaten
1 2 kompression grundlegende verfahren 6
1.2 Kompression - Grundlegende Verfahren 6
  • Diatomic Encoding
    • Variante von Static Pattern Substitution:
    • Zusammenfassung je zweier Datenbytes. Z.B. für englisch: 8 häufigste Paare: 'E ', 'T ', 'TH', ' A', 'S ', 'RE', 'IN', 'HE' (Vorsicht: Leerzeichen!)
    • Allein Ersetzung dieser durch spezielle Bytes, die sonst nie auftreten ’10% Ersparnis.
1 2 kompression grundlegende verfahren 7
1.2 Kompression - Grundlegende Verfahren 7
  • Dynamic Pattern Substitution
    • Grundidee
      • wie Static Pattern Substitution
      • Erstellung der Codetabelle aber zur Laufzeit
    • Problem
      • Erkennung der besten Muster
    • Beispiel:Unkomprimierte Daten : ABCDEABCEEABCEEKomprimierte Daten : ABCDE11 Tabelleninhalt : 1=ABCEE
  • Implementierung
    • Lempel-Ziv Encoding: in vielen Programmen eingesetzt
1 2 kompression grundlegende verfahren 8
1.2 Kompression - Grundlegende Verfahren 8
  • Lempel-Ziv Encoding 1
    • Grundideen
      • Codetabelle wird während der Kompression erzeugt
      • jede neue Folge von Bytes in der Codetabelle aufnehmen
    • Kompression
      • sei #i der i-te Index und W der Inhalt von einem Fenster
    • Pseudocode

1.) Codetabelle initialisieren mit Alphabet

2.) Fenster = [ W ] mit W = leer

3.) Falls ein Zeichen K vorhanden ist, dann Fenster = [ WK ]

Sonst Index von W ausgeben und Programm beenden

4.) Falls Fensterinhalt in der Codetabelle, dann W = WK, 3.)

Sonst füge WK in die Codetabelle ein, Index von

W ausgeben, setze W = K und springe zu Punkt 3.)

1 2 kompression grundlegende verfahren 9
1.2 Kompression - Grundlegende Verfahren 9
  • Beispiel für Lempel-Ziv Kodierung :
    • Alphabet = { A,B,C } - Originaldaten : ´ABABAAA´
    • Lempel-Ziv Kodierung : ´#1 #2 #4 #1 #7´
1 2 kompression grundlegende verfahren 10
1.2 Kompression - Grundlegende Verfahren 10
  • Lempel-Ziv Kodierung 3
    • Anmerkungen
      • keine explizite Übertragung der Codetabelle
    • Tabellengröße
      • bestimmt Kompressionsgrad und Geschwindigkeit
      • wächst schnell
        • Speicherplatzprobleme, Index wird zu groß
        • erfordert erneute Initialisierung
1 2 kompression grundlegende verfahren 11
1.2 Kompression - Grundlegende Verfahren 11
  • Lempel-Ziv Kodierung 4
    • Dekompression
      • inverses Verfahren der Kompression
      • Aufbau der Codetabelle
        • sortiertes Alphabet initialisiert die Codetabelle
        • beim ersten dekomprimierten Index passiert nichts
        • sonst das vorherige dekodierte Codewort plus erstes Zeichen von dem neuen dekodierten Codewort einfügen
1 2 kompression grundlegende verfahren 12
1.2 Kompression - Grundlegende Verfahren 12
  • Lempel-Ziv Kodierung 5
    • Sonderfall
      • Problem : verspäteter Aufbau der Tabelle um einen Schritt

 letzter Eintrag aus der Codetabelle wurde benutzt

 erster Buchstabe des dekodierten Codewortes wird benötigt

 Anfang des zuletzt

dekodierten Codewortes

ist gleich dem Anfang

des neuen

 letzter Buchstabe

= erster Buchstabe

1 2 kompression grundlegende verfahren 13
1.2 Kompression - Grundlegende Verfahren 13
  • Statistische Kodierung
      • Zeichen können unterschiedlich lang kodiert werden.
      • häufig vorkommende Zeichen werden kurz, selten vorkommende Zeichen werden lang kodiert.
      • wichtig: Eindeutige Dekodierung muß möglich sein.
      • Beispiele: Huffman, Arithmetische Kodierung (s.u.).
  • Huffman Kodierung
      • Gegeben: Zeichen mit Wahrscheinlichkeit/ (relative) Häufigkeit ihres Auftretens.
      • Darstellung: Kodierung mit minimaler Anzahl benötigter Bits über binären Baum.
      • Prefix Code: - variable Symbollänge - kein Codewort ist Prefix eines anderen
1 2 kompression grundlegende verfahren 14
1.2 Kompression - Grundlegende Verfahren 14
  • Beispiel (zu Huffman) :
    • Zahl = Anzahl des (relativen) Auftretens des Zeichens
    • p(A) = 10, p(B) = 30, p(C) = 5, p(D) = 8, p(E) = 6

’ p(CE) = 11, p(AD) = 18, p(ACDE) = 29, p(ABCDE) = 59

1 2 kompression grundlegende verfahren 15
1.2 Kompression - Grundlegende Verfahren 15

Beispiel (zu Huffman, Fortsetzung) :

’ Kode: w(A) = 011, w(B) = 1, w(C) = 000, w(D) = 010,

w(E) = 001

      • Ersichtlich eindeutige Kodierung, da alle Zeichen an Blättern stehen.
      • Beispiel: ’ABBAC’ wird kodiert durch: 01111011000
      • Bei "üblicher" 3bit-Kodierung: 15 Bit nötig.
      • Hier nur : 11 Bit nötig.
  • In unserem Kontext:
    • Tabelle für jedes Einzelbild oder für mehrere Einzelbilder
    • resp. für eine Sequenz oder Menge von Sequenzen.
    • Dieselbe Tabelle braucht man für Kodierung und Dekodierung.
1 2 kompression grundlegende verfahren 16
1.2 Kompression - Grundlegende Verfahren 16
  • Arithmetische Kodierung 1
    • Motivation
      • Huffman- Kodierung liefert keine ausgeglichenen Bäume
    • Beispiel
      • ein Zeichen kommt zu 90% vor
      • ein Bit benötigt bereits zuviel Speicherplatz
    • Grundidee
      • eine Zeichenkette entspricht einem Intervall zwischen [0..1]
      • eine Zahl aus dem Intervall repräsentiert die Zeichenkette
      • die Auftrittswahrscheinlichkeit bestimmt die Intervallgröße
    • anfängliche Festlegung
      • Reihenfolge • Auftrittswahrscheinlichkeiten • Intervalle
1 2 kompression grundlegende verfahren 17
1.2 Kompression - Grundlegende Verfahren 17
  • Arithmetische Kodierung 2
    • auch optimale Kodierung (wie Huffman).
    • kodiert Zeichen immer unter Berücksichtigung aller vorangegangenen Zeichen

’ wahlfreier Zugriff nicht möglich.

1 2 kompression grundlegende verfahren 18
1.2 Kompression - Grundlegende Verfahren 18
  • Arithmetische Kodierung 3
  • Kodierung: Beispiel:
    • sei
      • low( i ) = untere Intervall- grenze des i-ten Zeichens
      • high( i ) = obere Intervall- grenze
      • L = 0 und H = 1
    • für alle Zeichen i = {1..n} berechne : L = L + ( H - L ) ·low( i ) H = L + ( H - L ) ·high( i ) // ( alten L-Wert benutzen )
    • wähle eine Zahl zwischen L und H
1 2 kompression grundlegende verfahren 19
1.2 Kompression - Grundlegende Verfahren 19
  • Arithmetische Kodierung 4
  • Beispiel: ´ACB´ entspricht einer Zahl aus [0,12..0,15[ z.B 0.13
1 2 kompression grundlegende verfahren 20
1.2 Kompression - Grundlegende Verfahren 20
  • Arithmetische Kodierung 5

Zeichen werden nicht einzeln sondern ganzer String wird kodiert ’

    • Anzahl der komprimierten Zeichen
      • Länge vorher übergeben
      • Endezeichen
    • Eigenschaften
      • kein zufälliger Zugriff möglich
      • Kompressionsrate ungefähr wie bei der Huffman Kodierung
1 2 kompression grundlegende verfahren 21
1.2 Kompression - Grundlegende Verfahren 21
  • Transformationskodierung
    • transformiert Daten in anderen mathematischen Raum, in dem (hoffentlich) besser kodiert werden kann.

z.B.:

      • Diskrete Kosinustransformation DCT (vgl. später JPEG)
      • Wavelets
      • Fouriertransformation FFT
1 2 kompression grundlegende verfahren 22
1.2 Kompression - Grundlegende Verfahren 22
  • Subbandkodierung
    • nur selektive Frequenztransformation
    • Qualitätskriterium: Anzahl der Bänder
    • gut zur Kompression von Sprache
  • Prädiktion/relative Kodierung
    • Grundidee: Kodierung von Differenzen von Bytes resp. Bytefolgen
    • Beispiele:
      • 1.ein Bild:
        • Kanten fl große Differenzwerte für Luminanz/ Chrominanz
        • Flächen fl kleine Differenzwerte
        • homogene Fläche fl viele Nullen ’ Lauflängenkodierung
1 2 kompression grundlegende verfahren 23
1.2 Kompression - Grundlegende Verfahren 23
  • Prädiktion/relative Kodierung(Fortsetzung)
    • Beispiele (Fortsetzung)
      • 2. Bilder über der Zeit:
        • Bewegtbilder: beschrieben durch Differenz eines Bildes zum vorherigen.
        • z. B. Nachrichtensendung/Bildtelefon: Hintergrund weitgehend gleich.
        • Bewegungskompensation über Bewegungsvektor möglich.
      • 3. in Audiotechnik:

Differential Puls Code Modulation (DPCM)

        • Folge von PCM-kodierten Abtastwerten werden dargestellt durch

- erster Abtastwert durch volle Beschreibung

- für die nachfolgenden durch Differenz zum vorherigen Wert.

1 2 kompression grundlegende verfahren 24
1.2 Kompression - Grundlegende Verfahren 24
  • Delta Modulation
    • Variation von DPCM
    • Kodierung der Differenzwerte durch genau 1 bit.
    • (kleine Differenzen sind dadurch sinnvoll beschreibbar.)
  • ! DIFFERENZBILDUNG ist wesentliches Merkmal aller im Multimedia-Bereich eingesetzten Verfahren!
1 2 kompression grundlegende verfahren 25
1.2 Kompression - Grundlegende Verfahren 25
  • Adaptive Kompressionsverfahren
    • Bisherige Verfahren:
      • gut in bestimmtem Kontext
      • untypische Folgen von Zeichen fl keine Kompression.
    • Adaptive Verfahren:
      • lassen Anpassung des Verfahrens an zu komprimierende Daten zu.
      • Grundidee:
        • Kodierungstabelle (etwa nach Huffman) durch Zähler je Eintrag für Vorkommen erweitern.
        • Die Zuordnung der Kodewörter durch Anderung gemäß der Häufigkeit der Vorkommen (Zählereinträge!) anpassen!

’ Die häufigst erscheinenden Zeichen werden dann immer am kürzesten kodiert.

1 2 kompression grundlegende verfahren 26
1.2 Kompression - Grundlegende Verfahren 26

Adaptive Verfahren (Fortsetzung)

Beispiel:

  • Adaptive DPCM (ADPCM, häufig auch nur DPCM).
    • wenige Differenzbits beschreiben:
      • wenige große Differenzen -> hohe Frequenzen
      • wenige kleine Differenzen -> niedrige Frequenzen
    • Fehler in diesem Kontext: Slope overload - Änderung der Faktoren adaptiv möglich.
    • --> nicht geeignet für z.B. Audio mit sich häufig ändernden Anteilen; jedoch:
    • CCITT: für Telefonie ADPCM: 8kHz Abtastfrequenz, 4 bit pro Abtastwert.
1 2 kompression grundlegende verfahren 27
1.2 Kompression - Grundlegende Verfahren 27
  • Weitere grundlegende Verfahren:
    • Farbtabellen
    • Stummschaltung:
      • Daten werden nur kodiert, wenn der Lautstärkepegel bestimmten Schwellwert überschreitet.
1 2 kompression jpeg 1 gliederung
1.2 Kompression - JPEG 1 (Gliederung)
  • Anforderungen an JPEG
  • Übersicht:Schritte im JPEG-Kompressionsverfahren Bildaufbereitung (für alle Modi)
  • Bildverarbeitung im 1. Modus (FDCT)
  • Quantisierung
  • Entropiekodierung
  • Erweiterter, verlustbehafteter DCT-basierter Mode
  • Verlustfreier Mode
  • Hierarchischer Mode
  • Zur Qualität
1 2 kompression jpeg 2
1.2 Kompression - JPEG 2
  • (Joint Photographic Expert Group)
  • J, da 2 Kommissionen beteiligt waren, wohl 1992 veröffentlicht
  • für farbige und grauskalierte Standbilder
  • auch für Bewegtbildsequenzen, dann M(otion)JPEG
  • als Software oder mit spezieller Hardwareunterstützung verfügbar.
  • Vorsicht: z. Teil nur ein Teil von JPEG kommerziell erhältlich ("Basismode")
1 2 kompression jpeg 3
1.2 Kompression - JPEG 3
  • Anforderungen an JPEG:
    • Unabhängigkeit
      • von der Bildgröße
      • von Höhe zu Breite - eines Bildes - eines Pixels.
      • der Farbvielfalt vom verwendeten Farbraum
      • von der Komplexität des Bildinhalts
      • von den statistischen Eigenschaften des Bildinhalts
    • Aktueller Stand bzgl. des Kompressionsgrades und der erreichbaren Bildqualität (nahezu) zu erreichen.
    • Softwarelösung sollte auf (möglichst vielen) Standardprozessoren laufen.
1 2 kompression jpeg 4
1.2 Kompression - JPEG 4
  • Anforderungen an JPEG (Fortsetzung 1)
    • Hardwarelösung sollte Komplexität der Verarbeitung drastisch reduzieren.
    • Beim Dekodieren mögliche Alternativen unterstützen:
      • sequentiellen Bildaufbau
      • progressiven Bildaufbau (Bild wird erst nur grob, dann immer feiner gezeigt.)
      • verlustfreie Dekodierung
      • Kodierung mit unterschiedlichen Auflösungen desselben Bildes.
1 2 kompression jpeg 5
1.2 Kompression - JPEG 5
  • Anforderungen an JPEG (Fortsetzung 2)
    • ’ obige "Parametrisierbarkeit" läßt Wahl zu unter:
      • Qualität des reproduzierten Bildes
      • Dauer der Kompression
      • Größe des komprimierten Bildes
    • Möglichkeit: nur Kodierer oder Dekodierer nötig
    • Austauschformat nach JPEG:
      • Parameter + Tabellen des Kodierprozesses

(Manchmal nur als "abbreviated Format", wenn gewisse "Meta"daten aus dem Kontext schon bekannt)

      • Bilddaten
1 2 kompression jpeg 6
1.2 Kompression - JPEG 6
  • Übersicht:Schritte im JPEG-Kompressionsverfahren
1 2 kompression jpeg 7
1.2 Kompression - JPEG 7

JPEG-Modi:

1. Baseline Process, Basis Mode

  • verlustbehafteter, sequentieller DCT-basierter Mode (muß von jedem JPEG-Decoder unterstützt werden.)

2. Erweiterter verlustbehafteter DCT-basierter Mode

  • stellt Menge von Alternativen zur Verfügung.

3. Verlustfreier Mode

--> verlustfreie Reduktion; geringerer Kompressionsfaktor

4. Hierarchischer Mode

  • liefert mehrere, unterschiedliche Auflösungen pro Bild
  • verwendet Algorithmen aus 1.-3.
1 2 kompression jpeg 8
1.2 Kompression - JPEG 8
  • Bildaufbereitung (für alle Modi)
    • Zu beantwortende Frage:
      • Wie wird ein (unkomprimiertes) Bild beschrieben und zur Verarbeitung in Teilinformationen zerlegt ?
    • Nach obigem:
      • Viele Parameter offen, jedoch werden folgende Voraussetzungen an die Beschreibung des unkomprimierten Bildes gestellt:
    • Ein Bild besteht aus N Ebenen/Komponenten Ci 1≤i≤N, 1≤N≤255.
1 2 kompression jpeg 9
1.2 Kompression - JPEG 9
  • Bildaufbereitung

(für alle Modi; Fortsetzung 1)

    • Pro Pixel: p bit Beschreibungstiefe
      • p = 8, 12, falls verlustbehafteter Modus
      • 2≤ p ≤ 12 , falls verlustfreier Modus.
      • Ansonsten vorweg Transformation in eine solche Darstellung.
1 2 kompression jpeg 10
1.2 Kompression - JPEG 10
  • Bildaufbereitung (für alle Modi; Fortsetzung 2)
    • Für 1≤i≤N: Xi Spaltenzahl, Yi Zeilenzahl.

Beispiel 1: Beispiel 2: Homogene Auflösung Heterogene Auflösung

der Ebenender Ebenen

1 2 kompression jpeg 11
1.2 Kompression - JPEG 11
  • Bildaufbereitung (für alle Modi; Fortsetzung 3)

Konkrete Notation eines Bildes durch :

    • (N, p, y, x, Vmax, Hmax, (i, Vi, Hi) 1≤i≤N), wobei:
      • x := Min i = 1,.., N Xi , y := Min i = 1,.., N Yi
      • (X := Max i = 1,.., N Xi , Y := Max i = 1,.., N Yi)
      • Hi := Xi/x; Vi := Yi/y
      • (Hmax := Max i = 1,.., N Hi , Vmax := Max i = 1,.., N Vi)
    • Dabei Voraussetzung: 1≤Hi ,Vi≤4 für Hi, Vi¿§
    • Festlegung: Dateneinheit:
      • 1 Pixel, falls verlustfreier Modus
      • Block aus 8*8 Pixel, falls ein verlustbehafteter Modus
1 2 kompression jpeg 12
1.2 Kompression - JPEG 12
  • Bildaufbereitung (für alle Modi; Fortsetzung 4)

Verarbeitung:

    • nicht über Ebenen

verschachtelt:

    • über Ebenen verschachtelt (Interleaving):
      • Problem: zusammengehörige Informationen sind zu verarbeiten, trotz evtl. unterschiedlicher Auflösung der verschiedenen Ebenen.
      • führt zum Begriff der MCU: Minimum Coded Units
1 2 kompression jpeg 13
1.2 Kompression - JPEG 13
  • Bildaufbereitung (für alle Modi; Fortsetzung 5)
    • Beispiel:
    • Vorgehen:
      • Zerlege jede Komponente/Ebene in Regionen, so daß die Anzahl der Regionen für jede Ebene gleich groß ist.
      • Die jte MCU enthält jeweils die jte Region der Ebene i (für 1≤i≤N).
1 2 kompression jpeg 14
1.2 Kompression - JPEG 14
  • Bildaufbereitung (für alle Modi; Fortsetzung 6)
    • Für JPEG gilt:
      • Jede MCU erfüllt:
        • Maximal 4 Komponenten können derart verschachtelt kodiert werden
        • maximal 10 Dateneinheiten können enthalten sein.
    • (Ende Bildaufbereitung für alle Modi.)
1 2 kompression jpeg 15
1.2 Kompression - JPEG 15
  • Bildverarbeitung im 1. Modus (FDCT)
    • Überblick:
    • unkomprimiertes Bild wird in Dateneinheiten zu je 8*8 Pixel zerlegt
    • p = 8 [bit]
1 2 kompression jpeg 16
1.2 Kompression - JPEG 16
  • Bildverarbeitung 1. Modus(FDCT) (Fortsetzung1)
    • Bildverarbeitung für je 8x8 Pixel:

(F)DCT: Diskrete Cosinus Transformation

      • Beschreibe dazu 8*8 Pixel so:
      • Verschiebe Wertebereich von [0,255] nach [-128, 127]
      • Dann gilt: Pixelwerte syx aus [-128, 127] für 0≤x,y≤7
      • Wende darauf FDCT (Forward DCT) an:
      • Svu = (1/4) cu cvSx= 0,.., 7Sy= 0,.., 7

syx cos((2x+1)up/16) cos((2y+1)vp/16)

      • mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1 für u,v e [0,7].
1 2 kompression jpeg 17
1.2 Kompression - JPEG 17
  • Bildverarbeitung 1. Modus(FDCT) (Fortsetzung2)
    • Dies ist interessant, da folgende Interpretation:
      • Svu interpretierbar als "zweidimensionale" Frequenz.
      • Beispiele:
        • S00 DC- Koeffizient

(fl Gleichspannungsanteil; direct current)

bestimmt Grundfarbton für die 64 Pixeldateneinheiten

        • andere: AC - Koeffizienten (fl Wechselspannungsanteil)
        • S70 = höchste Frequenz, die nur in waagerechter Richtung auftritt, d. h. dichtest mögliches Muster senkrechter Streifen.
        • S77 maximal, wenn 8*8 Dateneinheit aus möglichst vielen, d.h. 1*1 Karos
1 2 kompression jpeg 18
1.2 Kompression - JPEG 18
  • Bildverarbeitung 1. Modus(FDCT) (Fortsetzung3)
    • "zweidimen-

sionale"

Frequenzen

1 2 kompression jpeg 19
1.2 Kompression - JPEG 19
  • Bildverarbeitung 1. Modus(FDCT) (Fortsetzung 4)
    • Rücktransformation durch IDCT (Inverse DCT) :
      • syx = (1/4) Su= 0,.., 7Sv= 0,.., 7

cu cv Svu cos((2x+1)up/16) cos((2y+1)vp/16)

mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1.

    • Anmerkungen:
      • Cos-Werte in Tabelle erfaßbar.
      • Hin- und Rücktransformation nicht exakt.
      • Genauigkeit durch JPEG nicht vorgeschrieben.
      • Flächen erzeugen viele AC-Koeffizienten zu Null oder fast Null.
1 2 kompression jpeg 20
1.2 Kompression - JPEG 20
  • Quantisierung
    • Erzeugt Verlustbehaftung
    • pro Block: 64 Quantisierungseinträge; individuell einstellbar (vom Bildmaterial abhängig)
      • Bildqualität <--> Kompressionsgrad einstellbar
    • Qvu 8bit ganzzahlige Werte gemäß:
      • sqvu = round Svu/Qvu.
      • Je größer Tabelleneinträge, desto gröber die Quantisierung.
    • Dequantisierung mit derselben Tabelle gemäß
      • Rvu = sqvu* Qvu
1 2 kompression jpeg 21
1.2 Kompression - JPEG 21
  • Entropiekodierung
    • Vorbereitung der Verarbeitung in der Kodierung
      • i.a. unterschiedliche Behandlung von DC- und AC - Koeffizienten
      • DC-Wert: beschreibt Grundfarbton, differieren i.a. wenig von Block zu Block. Daher:
    • Differenzbildung benachbarter Werte
1 2 kompression jpeg 22
1.2 Kompression - JPEG 22
  • Entropiekodierung(Fortsetzung 1)
    • AC-Werte: "Zick-Zack"- Verarbeitung

nach steigenden

Frequenzen

(entspricht meist

fallenden Werten

--> 0)

1 2 kompression jpeg 23
1.2 Kompression - JPEG 23
  • Entropiekodierung(Fortsetzung 2)
    • JPEG-Entropiekodierung
      • Zunächst Lauflängenkodierung (von Nullwerten)
      • dann: Huffman (/z. T. Arithmetische Kodierung)

--> Liefert ISO- Intermediate-Symbol-Sequenz- Format

i. w. folgende alternierende Angaben:

      • Anzahl der folgenden Koeffizienten mit dem Wert Null
      • für die Darstellung des danach folgenden Koeffizienten benutzte Anzahl an Bits
      • Wert des Koeffizienten, dargestellt mit der angegebenen Anzahl an Bits
1 2 kompression jpeg 24
1.2 Kompression - JPEG 24
  • Entropiekodierung(Fortsetzung 3)
    • Zudem:
      • AC- Werte fi0 sowie DC- Werte werden so dargestellt, daß Anzahl benötigter Bits von der Größe des Wertes abhängt
        • AC-Werte: 1-10 bits
        • DC-Werte: 1-11 bits (i.a. höhere Auflösung)
      • Huffman:
        • keine Lizenzgebühren für Patente
        • schlecht: Anwendung hat Kodierungstabellen bereitzustellen.
      • Hier verwendet man: sequentielle Kodierung
1 2 kompression jpeg 25
1.2 Kompression - JPEG 25
  • Bildaufbau bei Dekodierung
    • Beispiel:
1 2 kompression jpeg 26
1.2 Kompression - JPEG 26
  • Erweiterter, verlustbehafteter DCT-basierter Mode
    • Unterschiede zum 1. Mode:
      • p = 8 oder 12
      • Neben sequentieller Kodierung: progressive Kodierung

(fl Layered Coding)

    • Erlaubt folgenden Bildaufbau bei Dekodierung
      • Beispiel:
1 2 kompression jpeg 27
1.2 Kompression - JPEG 27
  • Erweiterter, DCT-basierter Mode(Fortsetzung 1)
    • Wird erreicht durch:
      • Erweiterung der Quantisierung

--> Alle quantisierten Werte kommen in Puffer

--> Selektive Weiterverarbeitung

        • Spectral Selektion:
          • zuerst: nur Koeffizienten der niedrigen Frequenzen
          • danach: auch Koeffizienten der höheren Frequenzen
        • Successive Approximation:
          • alle Koeffizienten werden übertragen.
          • jedoch nach Wertigkeit weiterverarbeitet
    • Neben Huffman: Arithmetischer Kode
      • Patentschutz (noch?) - paßt sich autom. den statistischen Eigensch. des Bildes an.- > keine Tabellen auf Seiten der Anwendung nötig.
1 2 kompression jpeg 28
1.2 Kompression - JPEG 28
  • Erweiterter, DCT-basierter Mode(Fortsetzung 2)

Verschiedene alternative Kombinationen in den Teilschritten:

Bildaufbau Bits/ Abtastwert Entropiekodierung

sequentiell 8 Huffman - Kodierung

sequentiell 8 Arithmetische Kodierung

sequentiell 12 Huffman-Kodierung

sequentiell 12 Arithmetische Kodierung

progressiv sukzessive 8 Huffman-Kodierung

progressiv spektral 8 Huffman-Kodierung

progressiv sukzessive 8 Arithmetische Kodierung

progressiv spektral 8 Arithmetische Kodierung

progressiv sukzessive 12 Huffman-Kodierung

progressiv spektral 12 Huffman-Kodierung

progressiv sukzessive 12 Arithmetische Kodierung

progressiv spektral 12 Arithmetische Kodierung

1 2 kompression jpeg 29
1.2 Kompression - JPEG 29
  • Verlustfreier Mode
    • Start:
      • Dateneinheit: Pixel mit 2- 16 bit Beschreibungstiefe.

Statt Transformationskodierung:

1 2 kompression jpeg 30
1.2 Kompression - JPEG 30
  • Verlustfreier Mode(Fortsetzung 1)
    • Prädiktionsverfahren
      • Für Pixel X : 1-8 Prädiktoren

Aufgabe: Möglichst gute

Vorhersage von X aus

den bekannten A,B,C

Selektionswert Prädiktion Selektionswert Prädiktion

0 keine Prädiktion 4 A + B + C

1 A 5 A + (B-C)/2

2 B 6 B + (A-C)/

3 C 7 (A + B)/2

Selektionswert sowie Prä(X) - X werden entropiekodiert.

1 2 kompression jpeg 31
1.2 Kompression - JPEG 31
  • Hierarchischer Mode
    • nach Bedarf: - verlustbehaftet -verlustfrei
    • Kodierungen je eines Bildes mit (mehreren) unterschiedlichen Auflösungen
      • 1. Digitalisiertes Bild "um den Faktor 2n herabsetzen" --> komprimieren
      • 2. Digitalisiertes Bild "um den Faktor 2n-1 herabsetzen"

--> Bild gemäß 1 davon abziehen ("Differenzbild")

--> komprimieren

      • 3. 2. geeignet iterieren, bis "vollständiges" Bild komprimiert.
      • Damit Skalierung einfach möglich.
1 2 kompression jpeg 32
1.2 Kompression - JPEG 32
  • Hierarchischer Mode (Fortsetzung)
    • Vorteil:
      • Anwendung verarbeitet die Auflösung, die ihr angepaßt ist.

--> Berechnung der reduzierten Informationen aus den detailliert beschriebenen Bildern durch die Anwendung nicht nötig.

    • Nachteil:
      • Kodierung ist rechen- und speicherplatzintensiv.
1 2 kompression jpeg 33
1.2 Kompression - JPEG 33
  • Zur Qualität
    • Für DCT-kodierte Einzelbilder:
      • 0,25 bis 0,50 bit/Pixel :Mäßige bis gute Qualität, für einige Anwendungen ausreichend.
      • 0,50 bis 0,75 bit/Pixel: Gute bis sehr gute Qualität, für viele Anwendungen ausreichend.
      • 0,75 bis 1,50 bit/Pixel: Ausgezeichnete Qualität, für die meisten Anwendungen ausreichend.
      • 1,50 bis 2,00 bit/Pixel: Meistens vom Original nicht mehr zu unterscheiden. Genügt fast allen Anwendungen, selbst bei höchsten Qualitätsansprüchen.
    • Im verlustfreien Modus:
      • Kompressionsgrad 2:1 im Mittel.
1 2 kompression h 261 px64 1
1.2 Kompression - H.261 (px64) 1
  • Bewegtbildstandard
  • Für Einsatz bzgl. ISDN gedacht für z. B.:
    • Bildtelefon - Videokonferenzsysteme

--> Kodierung + Dekodierung in Echtzeit

    • jetzt: für Videokompression auf p x 64 Kbit/sec mit p = 1, 2, . .., 30
  • H. 261 Video Codec for Audiovisual Services at p x 64 kbit/s
    • Coder/Decoder
    • 1990 verabschiedet
    • Voraussetzung: Kompression + Dekompression ≤ 150 msec Signalverzögerung.
1 2 kompression h 261 px64 2
1.2 Kompression - H.261 (px64) 2
  • Bildaufbereitung
    • Präzise(re) Voraussetzungen:
      • Am Eingang anliegende Bildwechselfrequenz: 29,97 = 30000/1001 (wieso?)
      • Geringere Bildwechselfrequenzen für Übertragung zugelassen (z.B. 10-15)
      • Nicht Zeilensprungverfahren.
      • Bild mit Y Luminanz, Cb,Cr Chrominanzdifferenzen (gemäß CCIR 601)
      • 2:1:1 kodiert (vgl. YUV (Fernsehen); entspricht wohl 4:2:2)
1 2 kompression h 261 px64 3
1.2 Kompression - H.261 (px64) 3
  • Auflösungen: 4:3 Seitenformat
    • CIF (Common Intermediate Format) : optional
      • 288*352 Pixel Luminanz
      • 144*176 Chrominanz
    • QCIF (Quarter CIF) : vorgeschrieben
      • 144*176 Pixel Luminanz
        • Zur Hilfe: [(2*3*3*8) *(2*11*8)] für unten
      • 72* 88 Chrominanz [(3*3*8) *(11*8)]
  • Nötiger Kompressionsgrad, um mit QCIF über 1 ISDN-B-Kanal zu kommen: 1: 47,5. (bei 10 Bildern/sec)
      • Heute technisch machbar.
      • CIF benötigt 6 ISDN-B-Kanäle
1 2 kompression h 261 px64 4
1.2 Kompression - H.261 (px64) 4
  • Verwendete Unterteilung je eines Bildes:
    • Jede Komponente in Blöcke zu 8*8 Pixel
    • Makroblock: 4 Blöcke für Y, je 1 für Cb und Cr
    • Gruppe von Blöcken: 3*11 Makroblöcke
    • QCIF-Bild: 3 Gruppen
    • CIF-Bild: 12 Gruppen
1 2 kompression h 261 px64 5
1.2 Kompression - H.261 (px64) 5
  • Kodierungsverfahren
    • Intraframe. Zur Kodierung werden nur Daten eines Bildes verwendet

(vgl. Intrapicture bei MPEG; s.u.)

    • Interframe: Zur Kodierung werden Daten aus mehreren Bildern verwendet.

(vgl. P-Bilder in MPEG; s.u.).

    • Norm schreibt hier keine Parameter fest.
    • Zu Intraframe:
      • 8*8 Pixelblock mit DCT (wie bei JPEG)
      • DC und AC Koeffizienten unterschiedlich quantifiziert
      • Kodierung mit Kode variabler Länge.
1 2 kompression h 261 px64 6
1.2 Kompression - H.261 (px64) 6
    • Zu Interframe:
      • Für jeden Makroblock mit Prädiktion möglichst ähnlichen Block im vorangegangenen Bild suchen.

Relative Lage über Bewegungsvektor festlegen.

      • Bewegungsvektor nicht zwingend vorgeschrieben
      • Möglich: Differenzen zwischen sequentiell aufeinanderfolgenden Makroblöcken kodieren.
  • Datenstrom
    • ist in H.261 in Schichten aufgeteilt. Unterste Schicht:
    • Eigenschaften: komprimierte Bilder
      • Fehlerkorrektur möglich • Jedes Bild hat 5 bit lange Bildnummer • Letztes Bewegtbild kann als Standbild "eingefroren" werden. • ........
1 2 kompression mpeg
1.2 Kompression - MPEG
  • Vorbemerkungen zu MPEG
    • MPEG: Moving Picture Expert Group
    • Derzeitige Fassungen:

(eine Klassifikation, zitiert nach: MPEG Video Webpage, http://bs.hhi.de/mpeg-video/ (5.5.99)

      • MPEG-1: Standard zur Speicherung und zum Information Retrieval bewegter Bilder und assoziiertem Audio auf Speichermedien
      • MPEG-2: Standard für digitales TV

Noch in Entwicklung:

      • MPEG-4: Standard für Multimedia-Anwendungen
      • MPEG-7: Standard zur Inhaltsrepräsentation für die Inhaltssuche
1 2 kompression mpeg 1 1
1.2 Kompression - MPEG-1 1
  • Vorbemerkungen zu MPEG-1
      • MPEG-1:
      • Zur Bearbeitung von Algorithmen zur Audio- und Bewegtbildkodierung.(s.u.)
      • Interntl. Standard seit 92 (MPEG-1 „approved“ Nov. 92).
      • berücksichtigt andere Normierungen
        • JPEG: Bewegtbild entspricht Folge von Standbildern; JPEG lag früher vor.
        • H.261
      • MPEG 1: Datenrate ≤ 1856 Kbit/s (lt. Steinmetz ‚93)
      • MPEG-1: Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s

drogo.cselt.stet.it/mpeg/standards/mpeg-1/mpeg-1.htm (5.5.99)

1 2 kompression mpeg 1 2
1.2 Kompression - MPEG-1 2
    • Geeignet für symmetrische und asymmetrische Kompression (incl. Audio)
    • MPEG spezifiziert:

- Video - Audio - Systemdefinition

  • Videokodierung
    • Bildaufbereitung (ähnlich H.261)
      • Bild ist beschrieben durch:
        • Y Luminanz,
        • Cb,Cr Farbdifferenzkomponenten
        • Y hat in horizontaler und vertikaler Richtung je doppelte Auflösung (Color Subsampling)
      • Es sollte sein: Räumliche Auflösung ≤ 768*576 Pixel
1 2 kompression mpeg 1 3
1.2 Kompression - MPEG-1 3
  • Bildaufbereitung (Fortsetzung)
    • p = 8 in jeder Ebene
    • Weitere Infos bei MPEG:
      • 14 unterschiedliche Seitenverhältnisse von Pixeln
      • 8 Bildwechselfrequenzen: 23,976 Hz, 24 Hz, 25 Hz, 29,97 Hz, 30 Hz, 50 Hz, 59,94 Hz, 60 Hz.
    • Verwendung von Prädiktoren für Bildbereiche
    • Aufbau eines Bildes aus Bereichen:
      • Block : 8*8 Pixel
      • Makroblock: - 16*16 Pixel Luminanz, - 8*8 Pixel je Chrom. diese 6 Blöcke werden sequentialisiert
        • --> der Anwender hat keine MCUs zu definieren
    • 3 Komponenten werden gemeinsam komprimiert/ dekompr.
      • kein progressiver Bildaufbau (Bildaufbau in max 41,7 ms)
1 2 kompression mpeg 1 4
1.2 Kompression - MPEG-1 4
  • Bildverarbeitung
    • 4 unterschiedliche

Bildkodierungsarten:

wegen: effiziente

Kodierung <-->

wahlfreier Zugriff

auf Einzelbild/Frame

    • Bildarten: I-, P-, B-, D- Bilder
1 2 kompression mpeg 1 5
1.2 Kompression - MPEG-1 5
  • Bildverarbeitung (Fortsetzung 1)

Beschreibung grob. (Zu Einzelheiten vgl. [Steinmetz ´93])

    • I-Bilder (Intra Coded Pictures)
      • wird als Standbild (Einzelbild) behandelt.
      • wie in JPEG (8*8 Blöcke, DCT, DPCM für DC-Koeff, ....)
      • Kompression jedoch in Echtzeit nötig --> geringe Kompressionsrate
      • bilden Anker für wahlfreien Zugriff
    • P-Bilder (Predictive Coded Pictures)
      • verwenden vorangegangene I- resp. P-Bilder

--> Bewegungsschätzung:

(Algorithmus ist nicht vorgeschrieben; nur die Kodierung des Ergebnisses. Bewegungsvektor + Differenzbild)

1 2 kompression mpeg 1 6
1.2 Kompression - MPEG-1 6
  • Bildverarbeitung (Fortsetzung 2)

Bewegungsvektoren häufig (fast) gleich. Daher dafür DPCM-Kodierung.

--> höhere Kompressionsrate als I-Bilder.

      • Makroblöcke in P- Bildern auch wie in I-Bildern kodierbar.
      • Im Prinzip gleich, im Detail anders als bei JPEG.
    • B-Bilder (Bidirectionally Predictive Coded Pictures)
      • verwendet vorangegangene und nachfolgende I- und P-Bilder

--> höchste Kompressionsrate

1 2 kompression mpeg 1 7
1.2 Kompression - MPEG-1 7
  • Bildverarbeitung (Fortsetzung 3)
      • Beispiel (zu sinnvollem Einsatz von B-Bildern):

Bewegung eines Balles von links nach rechts vor statischem Hintergrund. Geben sukkzessive Teile des Hintergrundes frei. Daher Ableitung aus nachfolgenden Bildern günstig.

      • u.a. Interpolation von Makroblöcken.
      • B-Bilder werden nicht im Dekoder als Referenzbilder gespeichert.
    • D-Bilder (DC-Coded Picture)
      • intraframekodiert; nur DC-Parameter (, resp. niederfrequente AC) • für schnellen Vorlauf
      • diese Funktionalität kann auch durch periodisch auftretende I-Bilder erreicht werden
1 2 kompression mpeg 1 8
1.2 Kompression - MPEG-1 8
  • Bildverarbeitung (Fortsetzung 4)
    • Weitere Anmerkungen:
      • Reihenfolge der Bilder in der Dekodierung und der Präsentation können unterschiedlich sein. (vgl. Beispiel oben + unten)
      • Rückwärtslauf hier (evtl.) aufwendig, da Group of Pictures vorher zu verarbeiten .
      • In praktischen Anwendungen von MPEG:
        • Bildfolge : I BBPBBPBB I BBPBBPBB I ....

--> Wahlfreier Zugriff auf jedes 9. Bild.

      • (Mindestens alle 15 Bilder je ein I Bild gefordert.)
1 2 kompression mpeg 1 9
1.2 Kompression - MPEG-1 9
  • Quantisierung
    • wird an Bedarf angepaßt
  • Audiokodierung
    • Abtastraten: eine aus 32 kHz, 44,1 kHz, 48kHz; Abtastung mit 16 bit.
    • Kompression je Audiosignal:
        • zu einem von 64, 96, 128, 192 kbit/sec.
    • Vorverarbeitung: FF - Transformation (--> also Infos in Spektraldarstellung)
    • Zerlegung des Frequenzbereichs in 32 (disjunkte) Bereiche (Bänder).
      • Können unterschiedlich gewichtet quantisiert werden.
1 2 kompression mpeg 1 10
1.2 Kompression - MPEG-1 10
  • Audiokodierung (Fortsetzung)
    • 3 Qualitätsstufen:
      • Stufe 1+2: PCM-kodiert
      • Stufe 3: PCM-kodiert + Huffman
    • verarbeitbar:
      • 1 Kanal,
      • 2 unabhängige Kanäle
      • Joint Stereo: nutzt Abhängigkeiten zwischen beiden Kanälen
    • kompatibel zu:
      • CD-DA (Compact Disc - Digital Audio)
      • DAT (Digital Audio Tape)
1 2 kompression mpeg 1 11
1.2 Kompression - MPEG-1 11
  • Datenstrom

MPEG spezifiziert feste Syntax für Audio- und Videodaten-strom

    • Audiostrom
      • besteht aus Frames, diese aus Audio Access Units, diese wiederum aus Slots.
      • Slot: bei niedrigster Komplexität der Kodierung: 4 Byte, sonst 1 Byte
      • Audio Access Unit: kleinstmögliche Audiosequenz komprimierter Daten, die unabhängig von allen übrigen Daten vollständig dekodiert werden kann.
        • Spieldauern hierfür:

- 48kHz: 8ms - 44.1 kHz: 8,7ms - 32 kHz: 12 ms

      • Frame: feste Anzahl von Abtastwerten
1 2 kompression mpeg 1 12
1.2 Kompression - MPEG-1 12
  • Datenstrom (Fortsetzung 1)
    • Videostrom: 6 Schichten
      • Sequence
      • Group of

pictures

      • Picture
      • Slice
      • Makroblock
      • Block
1 2 kompression mpeg 1 13
1.2 Kompression - MPEG-1 13
  • Datenstrom (Fortsetzung 1)
    • Videostrom: (Fortsetzung)
      • Sequence Layer: Steuert Zwischenspeicherung der Daten
        • Angaben enthalten u.a.:
          • für Sequenz konstante Bitrate
          • für Dekodierung min. Speicherplatz
        • Video Buffer verifier: Sitzt hinter Quantisierer. Wird zur Überprüfung der durch die Dekodierung entstehenden Verzögerungszeit verwendet.
        • Zwischen Sequenzen können grundlegende Parameter des Dekoders neu gesetzt und Initialisierung durchgeführt werden.
1 2 kompression mpeg 1 14
1.2 Kompression - MPEG-1 14
  • Datenstrom (Fortsetzung 2)
    • Videostrom (Fortsetzung 1)
      • Group of Pictures Layer:
        • Enthält mindestens ein I-Bild (und das an erster Stelle) .
        • Folge im Datenstrom und in der Präsentation können unterschiedlich sein

Beispiel:

          • Reihenfolge bei der Darstellung:

Bildart B B I B B P B B P B B I

Bildnummer 0 1 2 3 4 5 6 7 8 9 10 11

          • Reihenfolge im Datenstrom:

Bildart I B B P B B P B B I B B

Bildnummer 2 0 1 5 3 4 8 6 7 11 9 10

1 2 kompression mpeg 1 15
1.2 Kompression - MPEG-1 15
  • Datenstrom (Fortsetzung 3)
    • Videostrom (Fortsetzung 2)
      • Picture Layer: beinhaltet
        • je ein gesamtes Einzelbild
        • zeitlicher Bezug über Bildnummer
        • (noch freie weitere Datenfelder [für Erweiterungen])
      • Slice Layer
        • besteht aus Anzahl von Makroblöcken, die sich von Bild zu Bild ändern können.
        • enthält u.a. Skalierung der DCT-Quantisierung für dieses slice.
      • Macro Block Layer
      • Block Layer
1 2 kompression mpeg 1 16
1.2 Kompression - MPEG-1 16
  • Systemdefinition
    • Zusammenfassung von Audio- und Videostrom.
    • Multiplexen incl.
      • Koordination beim Datentransfer zwischen einkommenden und ausgehenden Datenströmen
      • Justage von Uhren
      • Puffermanagement
    • Zerlegung des Datenstroms (nach ISO 11172) in Packs.
      • Erster Pack enthält Infos z.B. über maximal auftretende Datenrate. (Headerinfos).

---> Dies Vorgehen kritisch bei Verteilungsanwendung (etwa späteres Aufschalten!).

    • MPEG setzt zur Synchronisation erforderliche Zeitstempel.
1 2 kompression mpeg 1 17
1.2 Kompression - MPEG-1 17
  • Systemdefinition (Fortsetzung 1)
    • Prototypischer ISO/IEC 11172 Dekoder:
1 2 kompression mpeg 1 18
1.2 Kompression - MPEG-1 18
  • Anmerkungen
    • MPEG verlangt nicht Kompression in Echtzeit.
    • MPEG spezifiziert Prozeß der Dekompression, nicht den Dekoder selbst.
    • Weitgehend verfügbar: MPEG 1 Datenrate: 1.5 Mbit/s
    • Wichtig: Qualität, Kompressionsfaktor
    • Unwichtig: Kompressionszeit
1 2 kompression mpeg 2 1
1.2 Kompression - MPEG-2 1
  • MPEG-2 (ISO 13818) Referenzen: (Stand: 14.6.98)
    • Startseite zu MPEG-2 (ISO 13818): http://www.mpeg2.de/
    • MPEG-2-Dokumentation:

http://www.mpeg2.de/doc/index.htm

    • Video-Codierung mit MPEG-2: Breites Spektrum (deutsch) (*) http://www.mpeg2.de/doc/mpuo05/mpuo05.htm
    • MPEG-2 FAQ Table of Contents http://bmrc.berkeley.edu/projects/mpeg/faq/mpeg2/
1 2 kompression mpeg 2 2
1.2 Kompression - MPEG-2 2
  • MPEG-2 (ISO 13818) Referenzen: Fortsetzung
    • Überblicke zu MPEG (u.a. MPEG-2):
      • The MPEG Home Page:
        • http://drogo.cselt.stet.it/mpeg/ (5.5.99)
      • MPEG and multimedia communications (Leonardo Chiariglione) ["Vater" von MPEG] http://drogo.cselt.stet.it/ufv/leonardo/paper/isce96.htm (**)
      • Recent advances in video compression http://www.stud.ee.ethz.ch/%7Erggrandi/intro.html
  • Anmerkung:
    • Dieses Material v.a. nach (*) zusammengestellt.
1 2 kompression mpeg 2 3
1.2 Kompression - MPEG-2 3
  • Entwicklungstufen des Standards ISO 13818 (MPEG-2):
    • Working Draft 1 November 1992
    • Comittee Draft November 1993
    • Draft International Standard März 1994
    • International Standard November 1994
    • "Generische Kodierung von Bewegtbildern und synchronisiertem Audio" (übersetzt)
1 2 kompression mpeg 2 4
1.2 Kompression - MPEG-2 4
  • Ziele:
    • MPEG 1:
      • Kodierung von Video auf CD-ROMs
      • Anwendungen bei: Video-CDs (CD-V/heute: DVD), CD-Interactive (CD-I), Spieleconsolen
1 2 kompression mpeg 2 5
1.2 Kompression - MPEG-2 5
  • Ziele (Fortsetzung):
    • Ziele für MPEG 2:
      • Für Einsatz im Fernsehfunk (broadcasting):
      • Einsatzgebiete:
        • Video-On-Demand im Consumerbereich (Home Cinema)
        • hochqualitative und verlustfreie Übertragung von Video im Studiobereich
          • Verringerung der Kosten bei Satellitenübertragungen
          • Nicht: Videokonferenzen (dazu: --> H.261)
          • (würde: --> synchrones Kodierungsverhältnis, geringe Kodierverzögerung)
    • in MPEG-2:
        • Verzögerung zwischen analogem Eingangsstrom und digitalem Videodatenstrom: 1/2 bis 3 Sekunden.
1 2 kompression mpeg 2 6
1.2 Kompression - MPEG-2 6
  • Systemansatz:
    • Kombination eines oder mehrerer elementarer Video- und Audioströme mit weiteren Daten in
      • einen oder mehrfachen Strom zur
        • Speicherung
        • Übertragung
    • Spezifiziert in
      • Program- und
      • Transportstrom
    • (Vgl. Bild nächste Seite)
1 2 kompression mpeg 2 7
1.2 Kompression - MPEG-2 7
  • Systemansatz (Fortsetzung):
1 2 kompression mpeg 2 8
1.2 Kompression - MPEG-2 8
  • Verwendete Mechanismen (für Videos):
    • bei MPEG-1 und MPEG-2 ähnlich:
      • Einzelbilder kodieren
        • mit temporären Abhängigkeiten (IPB-frames) und
        • zeitlichen Verschiebungen von Bildinhalten (motion vectors).
      • Mathematische Verfahren zur Datenreduktion:
        • Diskrete-Cosinus-Transform-Kodierung,
        • Huffman- und Lauflängenkodierung.
    • Ungleicher Kodier-/Dekodier-Aufwand: Studio-/Home-Hardware
1 2 kompression mpeg 2 9
1.2 Kompression - MPEG-2 9
  • MPEG-2 ermöglicht:
    • Skalierbarkeit:
      • schnellere Dekodierhardware ---> erhöhte Bildqualität
      • räumlich: für 16:9 HDTV-Bild Abwärtskompatibilität zu herkömmlichem 4:3.
      • Bitrate bis 10 Mbit/s.
    • erhebliche Flexibilität des Videoteils:
      • verschiedene Bildformate
      • wahlfreie Bildqualität
      • variable Bitraten
1 2 kompression mpeg 2 10
1.2 Kompression - MPEG-2 10
  • MPEG-2 ermöglicht: (Fortsetzung 1)
    • erhebliche Flexibilität des Videoteils (Fortsetzung)
      • channel hopping: wahlfreier Zugriff auf verschiedene Videokanäle
      • nachträgliche und einfache Editierung des kodierten Bitstroms
      • trick modes (z.B. für effektreiche Überblendungen)
      • Wiederholung des Kodier- /Dekodiervorgangs darf nicht zu weiteren Qualitätsverlusten führen.
1 2 kompression mpeg 2 11
1.2 Kompression - MPEG-2 11
  • MPEG-2 ermöglicht: (Fortsetzung 2)
    • Audioteil

der Kodierung muß mehrere Kanäle (--> Multilingualität) und niedrigere Sampling-Frequenzen unterstützen.

    • Rückwärtskompatibilität zu MPEG-1 und H.261

u.a.: MPEG-2 Kodierer realisieren Sub-Kodierer, die exakt rückwärtskompatible Datenströme erzeugen.

z.B.: MP@ML: Video Main Profile + Video Main Level ist MPEG-1 ähnlich.

1 2 kompression mpeg 2 12
1.2 Kompression - MPEG-2 12
  • Kodierungs"methoden":

- Profiles und Levels - Scalability - Security

    • Profiles (complexity of compression) und

Levels (sample rate, framedimension, coded bitrates)

      • schränken die zur Verfügung stehenden Parameter der Kodierung ein, um dieseEinschränkungen dann in den Kompressionsalgorithmen ausnutzen zu können.
      • Standardisieren Kodierungsparameter.
1 2 kompression mpeg 2 13
1.2 Kompression - MPEG-2 13
  • Kodierungs"methoden":(Fortsetzung 1)
    • Profile und Level in MPEG-2:
1 2 kompression mpeg 2 14
1.2 Kompression - MPEG-2 14
  • Kodierungs"methoden":(Fortsetzung 2)
    • Sampling Größen und Bitraten:
1 2 kompression mpeg 2 15
1.2 Kompression - MPEG-2 15
  • Scalability:
      • ist die Möglichkeit des Dekoders, Teile eines Datenstroms zu ignorieren und doch sinnvolle und angepaßte Video- und Audioausgaben zu erzeugen. --> MPEG-2 weitgehend speicher- und übertragunsmedienunabhängig.
1 2 kompression mpeg 2 16
1.2 Kompression - MPEG-2 16
  • Kodierungs"methoden":(Fortsetzung 3)
    • Zeitliche Scalability
      • Bildrate kann erhöht werden, indem in den normalen Ablauf des "Base Layers“ zusätzliche B-frames des "Enhancement Layers" dekodiert werden.
1 2 kompression mpeg 2 17
1.2 Kompression - MPEG-2 17
  • Kodierungs"methoden":(Fortsetzung 4)
    • Qualitative Scalability
      • anstelle der ungenaueren B-frames des "Base Layers"werden P-frames des "Enhancement Layers" dekodiert und angezeigt.
1 2 kompression mpeg 2 18
1.2 Kompression - MPEG-2 18
  • Kodierungs"methoden":(Fortsetzung 5)
    • Pan-Scan-Scalability: ermöglicht die Definition von Ausschnitten im aktuellen Bild. Diese Ausschnitte können zwar von Bild zu Bild unterschiedlich eingeteilt werden, die Hauptanwendung ist jedoch die Definition eines 4:3 Fernsehbildes innerhalb eines 16:9 HDTV-Bildes.
1 2 kompression mpeg 2 19
1.2 Kompression - MPEG-2 19
  • Kombinationsmöglichkeiten:
1 2 kompression mpeg 2 20
1.2 Kompression - MPEG-2 20
  • Weitere Möglichkeiten von MPEG-2:
    • Sicherheit (Vertraulichkeit + Integrität) wird unterstützt (nicht ausgeführt.)
    • Makroblock-Scalability:

einzelne Macroblöcke können mehrfach, in verschiedenen Qualitätsstufen kodiert werden.

    • Block-based Motion Compression Prediction (MCP):
      • das Erkennen von relativen Bewegungen einzelner Blöcke im Vergleich von Bild zu Bild wird im MPEG-2 Format viel einfacher realisiert.
    • Frame Motion Prediction:
      • Das Auffinden von ganzen, gleichen Frames innerhalb des Datenstroms (Frame Motion Prediction) und
1 2 kompression mpeg 2 21
1.2 Kompression - MPEG-2 21
  • Weitere Möglichkeiten von MPEG-2:(Fortsetzung 1)
    • Field Motion Prediction:
      • das Auffinden von gleichen, wie auch immer geformten Teilen in verschiedenen Bildern und auch innerhalb des aktuellen Bildes wird ermöglicht. ---> vgl. JPEG
    • variabler Farbraum
      • für den Studiobereich notwendig, ein Farbverlust ist während der Produktionsphase von Filmen nicht akzeptabel
      • in MPEG-1 wird immer im Verhältnis 4:1:1 kodiert.
1 2 kompression mpeg 2 22
1.2 Kompression - MPEG-2 22
  • Weitere Möglichkeiten von MPEG-2:(Fortsetzung 2)
    • Zu Audio: (kurz)
      • für Kodierung von Audiosignalen hoher Qualität (CD,Studio).
      • auch für digitale Quellen ausgelegt, z.B. ISDN.
      • unterstützt HDTV, Dolby Sorround (bis zu 5 Kanäle)
    • MPEG-2 ist auf Verwendung von Hardware zugeschnitten

--> SetTop Boxen

1 2 kompression mpeg 4 1
1.2 Kompression - MPEG-4 1
  • Wo bleibt MPEG 3 ?
    • Sollte v.a. HDTV bis zu 1920x1080 Pixel bis zu 30 Hz mit kodierten Bitraten zwischen 20 und 40 Mbit/sec bearbeiten. Wurde jedoch allein durch MPEG 1+2 beschreibbar. HDTV ist nun Bestandteil von MPEG-2 High Level-1440. MPEG 3 ist damit gecancelt.
    • Anmerkung:
      • Vorsicht. MPEG 3 nicht gleich
      • MP3 : = MPEG 1 Layer 3 (aktuelles Audioformat !!!!)
1 2 kompression mpeg 4 2
1.2 Kompression - MPEG-4 2
  • (Nur) Einstieg in MPEG-4:
    • zitiert v.a. nach: Overview of the MPEG-4 Standard
      • ISO/IEC JTC1/SC29/WG11 N2725 March 1999/Seoul, South Korea
      • www.drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm (Stand 5.5.99)
      • Inhaltsverzeichnis
        • Executive Overview
        • Scope and features of the MPEG-4 standard
        • Detailed technical description of the MPEG-4
        • List of major functionalities provided by MPEG-4 in Vers. 1
        • Verification Test: checking MPEG’s Performance standard
        • Profiles in MPEG-4 Version 1 - Version 2 of MPEG-4
        • Annexes
1 2 kompression mpeg 4 3
1.2 Kompression - MPEG-4 3
  • Executive Overview
    • MPEG-4 (offiziell: ISO/IEC 14496) is an ISO/IEC standard von MPEG entwickelt
    • MPEG-4
      • begonnen Juli 1993
      • Draft Intnl Standard level Oktober 1998.
      • Offizieller Standard: 1999
      • Aktuell wird gearbeitet an MPEG-4 Version 2 (abwärtskompatibel zu MPEG-4 Version 1)
1 2 kompression mpeg 4 4
1.2 Kompression - MPEG-4 4
  • Executive Overview (Fortsetzung 1)
    • MPEG-4 stützt sich auf die nachgewiesenermaßer erfolgreichen Gebiete:
      • Digital television
      • Interactive graphics applications (synthetic content)
      • Interactive multimedia (World Wide Web, distribution of and access to content)
    • MPEG-4 liefert standardisierte technologische Elemente für die Integration von
      • Produktion
      • Verteilung und
      • Zugriff auf den Inhalt

aller drei Bereiche von oben. Also: nicht (nur) Kompression !!

1 2 kompression mpeg 4 5
1.2 Kompression - MPEG-4 5
  • Executive Overview (Fortsetzung 2)

The MPEG-4

standard: a set of

technologies

to support AVOs

"audio-visual

objects"

1 2 kompression mpeg 4 6
1.2 Kompression - MPEG-4 6
  • Executive Overview (Fortsetzung 3)

Satz von Technologien:

    • 1. Kodierte Repräsentation von Objekten mit sprachlichem oder visuellem oder audiovisuellem Inhalt (AVOs)
    • 2. Art, wie individuelle AVOs in einer Szene zusammengesetzt werden;
    • 3.Art, wie AVOs gemultiplexed und synchronisiert werden, so daß sie über Netzwerke transportiert werden können bei Einhaltung benötigter Qualität.
    • 4. Generisches (?) Interface zwischen Anwendung und Transportmechanismus
    • 5. Art für die Benutzerinteraktion mit der Szene
    • 6. Projektion der AV Szene gemäß Benutzersicht/Hörpunkt.
1 2 kompression mpeg 4 8
1.2 Kompression - MPEG-4 8
  • MPEG 4: zielt auf sehr niedrige Bitraten 4800 - 64000 bits/sec. Bis 176x144 und 10 Hz: Für Videophone und analoges Telephon.
  • Aktuelle Infos zu MPEG-4:
    • Overview of the MPEG-4 Standard
      • drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm

(Stand 5.5.99)

    • MPEG Informations, Questions and Answers
      • http://www.crs4.it/HTML/LUIGI/MPEG/mpegfaq.html (Stand 5.5.1999)
1 grundlagen2
1. Grundlagen

1.1 Videotechnik

1.2 Kompression

1.3 DV Formate + deren Eigenschaften

1.4 Quicktime

1 3 dv formate literatur
1.3 DV Formate - Literatur
  • Bajohr, M.: DV Formate

Vortrag und Ausarbeitung im Seminar „Digitales Video“

Veranstalter Dittrich, FBI UniDo, SS 99

  • Roger Jennings: “Video, Audio, and Data Recording Formats”

http://www.adaptec.com/technology/standards/1394formats1.html [Stand: 09.02.1999]

  • Wilt, A. J. :“The DV, DVCAM, & DVCPRO Formats”

+ weitere Beiträge zu “Video and Data Recording Formats”

U.a. http://www.adamwilt.com/DV.html [Stand: 04.02.1999]

1 3 dv formate gliederung
1.3 DV Formate - Gliederung
  • Formate für Video im Consumerbereich
  • DV - Format
    • Vorbemerkungen - Eingangsbilddarstellung
    • Allgem. DV Format - Digital Interface (DIF) Format
  • DV - Format : Technische Aspekte
    • DV Kassetten und Aufzeichnungsformat
    • 1394/FireWire - LSI Impl. eines DV Systems
  • Sichtbare Phänomene
  • DV Formate konkret
1 3 dv formate f r video im consumerbereich
1.3 DV Formate - ... für Video im Consumerbereich
  • Analog:
    • VHS/VHS-C
      • VHS weitest verbreitet
      • VHS-C durch Adapterkassette in norm. VCRs abspielbar.
    • S-VHS
      • Bessere Qualität; Y/C Kodierung
    • Video 8
      • Erheblich kleinere Kassetten
    • Hi 8
      • Bessere Qualität im Vergleich zu Video 8; Y/C Kodierung
  • Digital:
    • DVC/MiniDV
1 3 dv formate vorbemerkungen 1
1.3 DV Formate - Vorbemerkungen 1
  • DV: Standard für digitales, komprimiertes Video und Audio
  • von 10 Firmen gegründet:
    • Sony Corp
    • Panasonic
    • Victor Corporation of Japan (JVC)
    • Philips Electronics, N.V.
    • Sanyo Electric Co. Ltd
    • Hitachi, Ltd.
    • Sharp Corporation
    • Thompson Multimedia
    • Mitsubishi Electric Corporation
    • Toshiba Corporation
1 3 dv formate vorbemerkungen 2
1.3 DV Formate - Vorbemerkungen 2
  • DV definiert ein eigenes Kassettenformat
  • MiniDV und DVC
  • Video wird in einer Rate von 4:1:1 (NTSC) oder 4:2:0 (PAL) gesampled
  • max. Auflösung: 720 x 480 Pixel
  • Datenrate bei ca. 3.6 Mbyte/sec
  • Kompressionsverhältnis: 5.0 - 7.0 : 1

(in der Regel 5.0:1)

  • Digitale Datenübertragung via FireWire
  • Vervielfältigung ohne Verluste
1 3 dv formate eingangsbilddarstellung 1
1.3 DV Formate -Eingangsbilddarstellung 1
  • Verschiedene Notationen: SQCIF, CIF und SDTV, nach ITU-R BT.601; hier SDTV verwendet.
  • YUV-Darstellung:

Helligkeitswerte Y

Farbdifferenz Rot Cr

Farbdifferenz Blau Cb

  • DV ist eine 4:1:1 YUV Bildfolge (NTSC)
  • bei einer 4:1:1 Norm ergibt sich:

Ersparnis von 12 (von ursprüngl. 24) Bit pro Pixel!

  • --> PIX Formate
1 3 dv formate eingangsbilddarstellung 2
1.3 DV Formate -Eingangsbilddarstellung 2
  • Speicherplatzverbrauch pro Pixel

wobei Farbtiefe: Anzahl Bits für die Helligkeit (nach ITU-R BT.601: 8 Bit)

Beispiel:

Ein „volles“ RGB Bild mit 720 x 480 Pixel

Hinweis: RGB Bilder sind 4:4:4 (=24 Bit pro Pixel) gecoded

1 3 dv formate eingangsbilddarstellung 3
1.3 DV Formate -Eingangsbilddarstellung 3
  • 4:2:2 Format
    • Farbe wird in der halben Rate des Helligkeitssignals gesampled
    • Bei 720 Pixeln pro Zeile ergeben sich 360 Farbabtastungen pro Farbdifferenz
1 3 dv formate eingangsbilddarstellung 4
1.3 DV Formate -Eingangsbilddarstellung 4
  • 4:1:1 Format
    • Farbe wird in der viertel Rate des Helligkeitssignals gesampled
    • Bei 720 Pixeln pro Zeile ergeben sich 180 Farbabtastungen pro Farbdifferenz
1 3 dv formate eingangsbilddarstellung 5
1.3 DV Formate -Eingangsbilddarstellung 5
  • 4:2:0 Format 1
    • Wird eine Farbe gar nicht berücksichtigt?

NEIN!

    • Farbe in der halben Rate des Helligkeitssignals in horizontaler und vertikaler Richtung abgetastet
1 3 dv formate eingangsbilddarstellung 6
1.3 DV Formate -Eingangsbilddarstellung 6
  • 4:2:0 Format 2

2 Definitionen:

    • jeweils 360 Farbinformationen für Rot und Blau pro ungerader Zeile
    • jeweils 360 Farbwerte für Rot in den ungeraden Zeilen und 360 Farbwerte für Blau in den Geraden (co-sited)
1 3 dv formate eingangsbilddarstellung 7
1.3 DV Formate -Eingangsbilddarstellung 7
  • PIX Formate im Vergleich:

Es ergibt sich ein immer noch zu hoher Datenstrom!

    • ca. 240 Mbit/s (unkomprimiert, RGB)
    • ca. 170 Mbit/s (4:2:2)
    • ca. 120 Mbit/s (4:1:1, 4:2:0)

(alle Berechnungen gelten für 720 x 480 Pixel bei 30 frames/sec)

1 3 dv formate allgem format aufbau 1
1.3 DV Formate - Allgem. Format: Aufbau 1
  • Ein komprimiertes Bild besteht aus 10 tracks
  • Bildauflösung: 720 x 485 Pixel!
  • 1 Track umfaßt 138 Datablocks (nur Video)
  • 1 Datablock enthält 76 Bytes Nutzdaten und 1 Byte Header
  • inklusiv Fehlerkorrektur und Synchronisationsdaten ergeben sich 90 Bytes pro Datablock
  • die Synchronisations- und die Fehlerkorrektur-daten werden nicht mitübertragen!
1 3 dv formate allgem format aufbau 2
1.3 DV Formate - Allgem. Format: Aufbau 2
  • Video, Audio und Subcode Aufnahme Format
1 3 dv formate allgem format datenraten 1
1.3 DV Formate - Allgem. Format: Datenraten 1
  • Videodatenrate:

Es werden statt 30 frames/sec immer nur 29,97 frames/sec

berücksichtigt, da bei 1000 frames ein Bild nicht verwendet wird

1 3 dv formate allgem format datenraten 2
1.3 DV Formate - Allgem. Format: Datenraten 2
  • Videodatenrate ITU-R BT.601 (4:1:1):

Kompressionsverhältnis:

Kompressionsverhältnis zu 4:2:2 Format:

1 3 dv formate allgem format datenraten 3
1.3 DV Formate - Allgem. Format: Datenraten 3
  • Audioinformationen werden in 9 blocks zu 76 bytes gespeichert
  • max. Audiodatenrate:

entspricht 4 Spuren in 32 kHz zu 12-bit:

oder 2 Spuren in 48 kHz zu 16-bit:

1 3 dv formate allgem format datenraten 4
1.3 DV Formate - Allgem. Format: Datenraten 4
  • Gesamtdatenrate (Audio & Video), inklusiv Parity, aber ohne ITI sector
  • Overhead:
  • 25 % der aufgezeichneten Daten für subcode data, error detection und error correction!
1 3 dv formate allgem format fehlerbehandlg
1.3 DV Formate - Allgem. Format:Fehlerbehandlg
  • DV nutzt den Reed-Solomon (RS) error detection / correction Code
  • Daten eines droupouts (burst errors) nur selten rekonstruierbar
  • große Menge an Arbeitsspeicher (RAM) erforderlich
  • Error concealment arbeitet mit einer Schätzung der verlorenen Daten
  • Zur Datenübertragung wird nur ein error detection Code verwandt
1 3 dv formate allgem format fehlererkennung mit kreuzparit t
1.3 DV Formate - Allgem. Format: Fehlererkennung mit Kreuzparität
  • Video und Audio Daten mit einer Kreuzparität versehen
  • nur „1 Bit Fehler“ korrigierbar
  • gerade Parität

Darstellung einer Error Detection mit Parity bits

1 3 dv formate dif format 1
1.3 DV Formate - DIF (Format) 1
  • Aufbau 1
    • Data in Frame: DIF
    • Format zur Datenübertragung via FireWire
    • arbeitet nur mit error detection

=> einfachere Implementierung, geringerer Overhead

    • DIF Format lehnt sich an das allg. DV Format an
    • Bildauflösung: 720 x 480 Pixel
    • die Synchronisations- und die Fehlerkorrekturdaten werden nicht mitübertragen!
1 3 dv formate dif format 2
1.3 DV Formate - DIF (Format) 2
  • Aufbau 2
    • Ein NTSC Bild mit 720 x 480 Pixel wird in 10 gleichgroße DIF Sequenzen zu je 12000 Bytes gepackt
    • Eine DIF Sequenz beinhaltet 5 Superblocks für die Videodaten
    • DIF Sequenzen bestehen aus 150 DIF Blocks zu je 80 Bytes (=20 Quadlets) Inhalt

Eine DIF Sequenz besteht aus:

    • 135 DIF blocks für Video Daten
    • 9 DIF blocks für Audio Daten
    • 6 DIF blocks für Header, Subcode und Video Auxiliary (VAUX)
1 3 dv formate dif format 3
1.3 DV Formate - DIF (Format) 3
  • DIF Sequenzen im Detail 1

Anordnung von DIF Sequenzen

1 3 dv formate dif format 4
1.3 DV Formate - DIF (Format) 4
  • DIF Sequenzen im Detail 2
    • Resultierende Datenrate:
    • Übertragung der DIF Blocks:
      • 9 Audio DIF Blocks werden interleaved mit 135 Video DIF Blocks in eine 9 x 14 Matrix gemischt
      • Zu Beginn wird ein 6 Block langer Header mit Subcode und VAUX übertragen
      • Wiedergabe erfolgt in der gleichen Reihenfolge wie die Aufnahme
1 3 dv formate dif format 5
1.3 DV Formate - DIF (Format) 5
  • DIF Sequenzen im Detail 3
  • Übertragungssequenz von Data, Video und Audio DIF Blocks
1 3 dv formate dif format 6
1.3 DV Formate - DIF (Format) 6
  • Superblocks & Makroblocks 1
    • DV frames bestehen aus 270 Videosegmenten => pro DIF Sequenz ergeben sich 27 Videosegmente
    • jedes Videosegment beinhaltet 5 komprimierte Makroblocks zu je 80 Bytes
    • ein Makroblock entspricht physikalisch einem DIF Block
    • jeder Makroblock stellt eine 32 x 8 Pixel Region innerhalb eines Bildes dar => 1350 Makroblocks pro Bild
    • ein Superblock enthält 27 Makroblocks => pro DIF Sequenz gibt es 5 Superblocks (5 * 27 = 135 DIF Blocks)
    • jeweils 5 Superblocks pro Spalte ergeben eine DIF Sequenz
1 3 dv formate dif format 7
1.3 DV Formate - DIF (Format) 7
  • Superblocks & Makroblocks 2

Struktur eines Videosegments

1 3 dv formate dif format 8
1.3 DV Formate - DIF (Format) 8
  • Superblocks & Makroblocks 3

Aufbau eines Makroblocks

3 bytes für die DIF block ID information

14 bytes jeweils für die Helligkeitsinformationen Y0, Y1, Y2, Y3 (=56 bytes)

10 bytes jweils für die Farbinformation Cr und Cb (= 20 bytes)

1 byte als quantization number (QNO) und block status (STA)

1 3 dv formate dif format 9
1.3 DV Formate - DIF (Format) 9
  • Superblocks & Makroblocks 4

Anordnung der Makroblocks

    • Pro Superblock (Spalten) gibt es 27 Makroblocks
    • Die letzten Makroblocks (24, 25, 26) ergeben jeweils eine 16 x 8 Pixel Region pro Zeile => 720 Pixel / 32 Pixel = 22,5
    • Makroblocks werden nicht zeilenweise angeordnet => error concealment
1 3 dv formate dif format 10
1.3 DV Formate - DIF (Format) 10
  • Superblocks & Makroblocks 5

Superblocks innerhalb eines NTSC frames

1 3 dv formate dif format 11
1.3 DV Formate - DIF (Format) 11
  • Superblocks ...

Anordnung der Makro-blocks innerhalb eines NTSC DV frame

1 3 dv formate dif format 12
1.3 DV Formate - DIF (Format) 12
  • Dekodierung eines Videosegments 1
    • Dekodierung der AC Koeffizienten erfolgt mit einem 3 schrittigen variable length decoding Algorithmus:

Schritt 1:

dekodiere VLC AC Koeffizienten für Y0, Y1, Y2, Y3, Cr und Cb innerhalb eines Makroblocks

Schritt 2:

dekodiere übergelaufene VLC AC Koeffizienten innerhalb eines Makroblocks

Schritt 3:

dekodiere übergelaufene VLC AC Koeffizienten innerhalb eines Video Segments

1 3 dv formate dif format 13
1.3 DV Formate - DIF (Format) 13
  • Dekodierung eines Videosegments 2

Dekomprimierung und IDCT:

    • Inverse quantization
    • “Zigzag” Koeffizienten Sortierung
    • Inverse Gewichtung
    • Inverse diskrete Cosinus Transformation (DCT) nach 8-8 oder 2-4-8 (2-4-8 wird benötigt, wenn sich viele Details im Bild befinden.)
    • Speichere die Pixeldaten in der richtigen Reihenfolge innerhalb des Video frames

Randbedingungen:

    • Alle 3 Video Segmente muß der Audio DIF Block übersprungen werden
    • Nach jeweils 27 Video Segmenten muß der Header, Subcode und VAUX übersprungen werden. Dieses sind 6 DIF blocks.
    • Decodiere die 27 Video Segmente
    • Dieses wird nun 10 Mal pro Bild durchgeführt. Als Ergebnis erhält man ein YUV kodiertes 4:1:1 Bild mit einer Auflösung von 720 x 480 Bildpunkten
1 3 dv formate techn aspekte kassetten 1
1.3 DV Formate - Techn. Aspekte: Kassetten 1
  • Grundlagen
    • 2 verschiedene Formate: DVC und MiniDV
    • Band hat eine Breite von 6,35 mm (1/4 inch)
    • wird mit 18,81 mm/sec im Normal Modus fortbewegt
    • MiniDV ist mit einem Kassettenadapter zur Standard DV Kassette kompatibel
    • interner Festwertspeicher, MIC (Memory in Cassette), max. 16 MB, aber nicht erforderlich!
    • MIC Daten werden über FireWire mitübertragen
    • geringere Probleme gegen Dropouts, als bei Hi8 Bändern
    • Bandmaterial besteht aus 5 Schichten
1 3 dv formate techn aspekte kassetten 3
1.3 DV Formate - Techn. Aspekte: Kassetten 3
  • Anordnung der Spuren 1
    • min. 2 Köpfe auf einer rotierenden Kopftrommel
    • Rotationsgeschwindigkeit: 9000 rpm
    • azimuth recording Verfahren (+/- 10 Grad)
    • Spurlage um 9 Grad geneigt
    • Spurlänge: 35 mm, davon genutzt 33 mm
    • Spurbreite: 10 microns (Millionstel eines Meters)

(Hi8 benötigt 20,5 microns, VHS sogar 58 microns)

    • keine Kontrollspur zur Bandgeschwindigkeitsanpassung => DV mischt Pilottöne in den Datenstrom
    • 2 horizontale Spuren, die herstellerabhängig genutzt werden
1 3 dv formate techn aspekte kassetten 4
1.3 DV Formate - Techn. Aspekte: Kassetten 4
  • Anordnung der Spuren 2

Spuranordnung auf dem DV Band

1 3 dv formate techn aspekte kassetten 5
1.3 DV Formate - Techn. Aspekte: Kassetten 5
  • Anordnung der Spuren 3

Aufnahme eines

Bildes nach NTSC

Norm

Anzahl an Tracks kann von DV geändert werden:

=> NTSC 525/60 nutzt 10 Tracks pro Bild

=> PAL 625/50 benötigt 12 Tracks pro Bild

1 3 dv formate techn aspekte kassetten 6
1.3 DV Formate - Techn. Aspekte: Kassetten 6
  • Verwendung der Spuren
    • Insert and Track Information (ITI) Sektor:
      • Track status
      • Kontrollspur während des Insert Schnittes => Pilottonspur
    • Audio Sektor:
      • Audio und Audio Auxiliary (AAUX) Daten
      • 4 x 32 kHz, 12 Bit oder 2 x 48 kHz [44.1 kHz, 32 kHz], 16 Bit
    • Video Sektor:
      • Video und Auxiliary Video (VAUX) Daten
      • Video Bilder mit DCT und Huffmann Kodierung auf 5:1 komprimiert
      • VAUX Daten enthalten Datum und Uhrzeit, Zoom und Linsen-einstellung, shutter speed, Farbbalance, sonstige Kamera Einstellungen
    • Subcode Sektor:
      • Timecode in kleinen Blöcken, packs, gespeichert
      • sonstige Informationen
1 3 dv formate techn aspekte 1394 firewire 1
1.3 DV Formate -Techn. Aspekte: 1394/FireWire 1
  • Grundlagen
    • digitale Kommunikation zwischen max. 63 DV Geräten
    • Hochgeschwindigkeits serieller Bus (bidirektional)
    • dient der „reinen“ Kommunikation ähnlich TCP/IP, keine Angaben zur Kodierung/Dekodierung

Vorteile

    • digitale Kopien zwischen 2 Camcordern oder VTRs mit 1394 I/O Interface ohne Qualitätsverlust
    • linear editing ohne Qualitätsverlust möglich, keine Artefakte
    • Digitale Daten können von einem VTR oder einem Camcorder mit 1394 I/O Interface direkt in einen Computer übertragen werden. Es ist keine Digitalisierung erforderlich!
    • Günstiger Preis. Diese Schnittstelle wird in bereits vielen low-end DV-Kameras eingebaut und kostet wesentlich weniger als die professionelle Lösung, SMPTE 259M SDI (serial digital interface)
1 3 dv formate techn aspekte 1394 firewire 2
1.3 DV Formate -Techn. Aspekte: 1394/FireWire 2
  • IEEE-1394 Steckernorm
    • 2 geschirmte verdrillte Adernpaare (RX und TX)
    • Stromversorgung (8 - 40 V, 1.5 A)
    • „Gameboy“ Stecker
    • Datenraten: 98.304, 196.608, 393.216 Mbps!
1 3 dv formate sichtbare ph nomene 1
1.3 DV Formate - Sichtbare Phänomene 1
  • PIX Sampling in der Praxis 1

4:1:1 codiertes Bild

1 3 dv formate sichtbare ph nomene 2
1.3 DV Formate - Sichtbare Phänomene 2
  • Aufnahme mit VX1000
  • 525/29.97 NTSC Mode
  • 2 Pixel gleiche Farbe, da co-sited 4:1:1 Format

4:1:1 codiertes Bild (Detail)

1 3 dv formate sichtbare ph nomene 3
1.3 DV Formate - Sichtbare Phänomene 3
  • Aufnahme mit VX1000
  • 625/50 PAL Mode

4:2:0 codiertes Bild (Detail)

1 3 dv formate ph nomene pix artefakte 1
1.3 DV Formate - Phänomene: PIX Artefakte 1
  • Allgemein

Durch die Farbreduktion ergeben sich 3 Probleme:

      • Mosquito Noise
      • Quilting
      • Motion Blocking
    • diese Effekte sind in der Regel kaum sichtbar
    • nur von Bedeutung beim Videoschnitt (Vergrößerung, Zeitlupe, Gamma Korrektur, ...)
1 3 dv formate ph nomene pix artefakte 2
1.3 DV Formate - Phänomene: PIX Artefakte 2
  • Mosquito Noise 1
    • Entstehung durch hochfrequente Bildanteile
    • Erkennbar durch Pixelrauschen an scharfen Kanten
    • nur innerhalb einer 8 x 8 Pixel Region
    • tritt in allen DCT orientierten Kompressionsverfahren auf, wie JPEG, DV oder MJPEG
    • Minderung dieser Artefakte durch Tiefpaß Filter => Weichzeichnen, Reduktion der Schärfe
1 3 dv formate ph nomene pix artefakte 3
1.3 DV Formate - Phänomene: PIX Artefakte 3
  • Mosquito Noise 2

Testbild, erzeugt mit Adobe Premiere 4.2

1 3 dv formate ph nomene pix artefakte 4
1.3 DV Formate - Phänomene: PIX Artefakte 4
  • Mosquito Noise 3

Testbild, erzeugt mit Adobe Premiere 4.2 (Detail)

1 3 dv formate ph nomene pix artefakte 5
1.3 DV Formate - Phänomene: PIX Artefakte 5
  • Quilting 1
    • Entstehung durch Diskontinuität benachbarter DCT (8 x 8) Blöcke
    • Sichtbar an leicht diagonalen Linien
    • Effekt tritt vor allen bei langsamen Kamera-schwenks auf
    • Minderung durch Kontrastveringerung
1 3 dv formate ph nomene pix artefakte 6
1.3 DV Formate - Phänomene: PIX Artefakte 6
  • Quilting 2

4:1:1 codiertes Bild

1 3 dv formate ph nomene pix artefakte 7
1.3 DV Formate - Phänomene: PIX Artefakte 7
  • Quilting 3

Detailaufnahme (72 x 48 Pixel, 8 x 8 DCT Pfeile)

1 3 dv formate ph nomene pix artefakte 8
1.3 DV Formate - Phänomene: PIX Artefakte 8
  • Motion Blocking 1
    • Entstehung durch getrennte Codierung der beiden Halbbilder => Codecs
    • tritt hauptsächlich bei PAL codierten Videos auf
    • Sichtbar bei schnell bewegten Objekten
    • Bild verliert in den „ruhigen“ Flächen an Schärfe
    • Minderung durch höhere Verschlußzeiten der Blende => High Speed Shutter
1 3 dv formate ph nomene pix artefakte 9
1.3 DV Formate - Phänomene: PIX Artefakte 9
  • Motion Blocking 2

Aufnahme mit einer PAL DVCAM

1 3 dv formate ph nomene dv aussetzer fehler 1
1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 1
  • Ursachen
    • Fehler werden hauptsächlich durch das Bandmaterial verursacht
    • Fehler kann nicht beseitigt werden, da nur error detection

=> fehlerhafte Stelle wird ausgelassen = Dropout

Fehlerarten

Dropout

      • 32 x 8 Pixel Region defekt
      • verdrecktes oder verknittertes Band

Bandeffekt

      • vorheriges Bild bleibt im Puffer stehen und wird angezeigt
      • verschmutzte oder defekte Videoköpfe (1 Kopf liest falsche Daten)
1 3 dv formate ph nomene dv aussetzer fehler 2
1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 2
  • Dropout 1

Dropout, aufgenommen mit einer VX1000 auf Sony MiniDV, 32 x 8 Pixel

1 3 dv formate ph nomene dv aussetzer fehler 3
1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 3
  • Dropout 2

Dropout, aufgenommen mit einer VX1000 auf Panasonic MiniDV, (32 x 20) - (16 x 4) Pixel

1 3 dv formate ph nomene dv aussetzer fehler 4
1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 4
  • Dropout 3

Multiple Dropout, bei einem Videokopf

1 3 dv formate ph nomene dv aussetzer fehler 5
1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 5
  • Bandeffekt

Bandeffekt, NTSC 525/60 Bild mit 10 Streifen

1 3 dv formate konkret 4
1.3 DV Formate konkret 4
  • DVCPro 4:1:1
    • Propritäres Format von Panasonic und Television Systems Co.
    • Benutzt Metallband mit einer Spurberite von 18 micron und einer Bandgeschw. Von 33,82 mm/sec
    • nicht kompatibel zu DV, aber MiniDV Kassetten
    • Neuere VTRs können beide Formate abspielen
    • Beide Längsspuren werden für audio cue und control tracks genutzt
    • Studioqualität
    • günstigere Versionen verfügen statt dem SDI über ein 1394/FireWire Anschluß
    • 4 fache Datenübertragung zwischen VTRs oder Computern mit FireWire Anschluß
    • AJ-D200, VTR: AJ-D230
1 3 dv formate konkret 5
1.3 DV Formate konkret 5
  • DVCPro 4:2:2 (DVCPro 50)
    • Weiterentwicklung der DVCPro
    • 1/4 inch DV Metallbänder mit einer Bandgeschw. von 67,64 mm/sec
    • 3,3:1 Kompression bei 4:2:2, gleich mit JVCs 1/2 inch Digital-S
    • DV ähnliches Format, jedoch Verdoppelung der Tracks pro Bild (bei NTSC statt 10 jetzt 20, bei PAL 24)
    • 2 zusätzliche Videoköpfe erforderlich (4 Köpfe)
    • Datenrate: 50 Mbps
    • kompatibel zu dem alten DVCPro Format
1 3 dv formate konkret 6
1.3 DV Formate konkret 6
  • DVCAM
    • Entwickelt von Sony für die industrielle Videoproduktion
    • nutzt DV ME Band und weicht nur mit der Trackbreite von 15 microns und der Bandgeschw. vom DV Format ab
    • Bandgeschwindigkeit: 28.22 mm/s
    • durch die breitere Spur verkürzt sich die Aufnahmezeit einer 4.5 h Kassette auf 3 h
    • 2 Mbit MIC zur Speicherung von 198 Szenen
    • 4 fache Übertragungsgeschw. zwischen VTRs oder Computern mit FireWire
    • liest normale DV Bänder, aber keine DVCPRO
    • DSR-130, DSR-200, VTR: DSR-85
    • DCR-VX800, DCR-VX1000, DCR-VX9000
1 3 dv formate konkret 7
1.3 DV Formate konkret 7
  • Digital-S
    • Entwickelt von Japan Victor Corp. (JVC)
    • 1/2 inch VHS Kassetten mit einer Spieldauer von max. 104 min
    • Kompression: 3.3:1 DCT 4:2:2
    • 2 Längsspuren für audio cue track und control track
    • einige Digital-S Recorder können auch SVHS Kassetten abspielen
    • Produktionskosten wurden gesenkt, da die Mechanik aus den VHS Videorekordern übernommen wurde
    • geringere Dropouts als bei den 1/2 inch Bändern
1 3 dv formate konkret 8
1.3 DV Formate konkret 8
  • Betacam SX
    • Entwickelt von Sony
    • 1/2 inch digitales Format
    • Spurbreite: 32 microns
    • benutzt MPEG-2 Kompression mit 4:2:2
    • Auflösung: 720 x 512 (nicht 720 x 480!)
    • max. Datenrate: 50 Mbps
    • Standard Datenrate bei 18 Mbps für Satelliten Link
    • Einsatz für Broadcast ENG/SNG
1 3 dv formate konkret 9
1.3 DV Formate konkret 9
  • Qualität

Bewertung:

1 : Normales Video

10: Studioqualität

(Subjektive Einschätzung

von Adam Wilt et al.)

dv formate lsi implementierung 1
DV Formate - LSI Implementierung 1
  • Aufbau
    • LSI Entwurf von Matsushita Electric Ind. der Schaltkreise für das consumer DV
    • Einsatz in DVCPRO
    • Fähigkeit: einen 4:1:1 DV Datenstrom in einen 4:2:2 DV Datenstrom zu interpolieren
    • Audio I/O mit I2C Interface von Philips

=> IC erzeugt ein serial D-1 (SMPTE 259M) video und AES/EBU serial audio Signal zur Versorgung der digitalen Komponenten der DVCPRO

    • Integration des 1394 Interfaces
    • Verzögerung von 2 Bildern bei der Aufnahme und Wiedergabe des Audio/Videostroms
dv formate lsi implementierung 2
DV Formate - LSI Implementierung 2
  • Funktionsweise 1
    • Application Layer
      • shuffle/deshuffle
      • compression/decompression der DV-Daten
    • Tape Format Layer
      • Erzeugung der Reed-Solomon-Codes
      • die Modulation/Demodulation für die Aufnahme/ Wiedergabeköpfe
    • DVC-BUS
      • proprietären Bus, der die beiden Einheiten verbindet
      • mit 8 Datenleitungen und 3 Kontrollsignalen
      • BDEN (data enable)
      • BDCK (data clock)
      • BQUIET (data start)
dv formate lsi implementierung 3
DV Formate - LSI Implementierung 3
  • Funktionsweise 2

LSI Entwurf der DVCPRO

1 grundlagen3
1. Grundlagen

1.1 Videotechnik

1.2 Kompression

1.3 DV Formate + deren Eigenschaften

1.4 Quicktime

1 4 quicktime gliederung
1.4 Quicktime - Gliederung
  • Was ist QT?
  • Literatur
  • Historie
  • Bestandteile
    • Component Manager
    • Image Compression Manager
    • Movie Toolbox
  • Movie
  • Frontends
    • QT Viewer - QT Player (Pro)
    • QTVR Player
1 4 quicktime was ist qt
1.4 Quicktime - Was ist QT?
  • Ein Herstellerstandard (Apple).
  • Architektur/Toolkit für multimediale Daten
    • unterstützt:

- Standbilder - Graphik - Video - Sound

- Sprites/ Animation - Text - MIDI - 3D -Tween - Timecode - VR

    • schließt ein:

- Benutzerschnittstellen - Mediendienste (z.B. für Kompr.)

- Datenformate - Abstraktionsschicht

    • Hardwareunabhängig - Plattformunabhängig - Erweiterbar
  • Apple möchte: „Postscript“ für Digitale Medien
  • Alternativen anderer Hersteller : - AVI? - Real networks?
  • Grundlage für MPEG-4 Standardisierung (?)
1 4 quicktime literatur
1.4 Quicktime - Literatur
  • Literatur: (Stand 26.5.99)
    • QT Home Page; http://www.apple.com/quicktime/
    • QT Spezifikationen

http://www.apple.com/quicktime/specifications.html

    • QuickTime4 Fact Sheet

http://www.apple.com/quicktime/pdf/QuickTime4_FS-a.pdf

    • QuickTime4Pro Data Sheet http://www.apple.com/quicktime/pdf/QuickTime4Pro_DS-a.pdf
    • Die QuickTime Media Layer; Broschüre Apple 1996
    • Flechtker, B.: QT 3.0/4.0; Vortrag im Kompress.Sem., (Veranstalter Dittrich), FBI, UniDo, SS ‘99
1 4 quicktime historie
1.4 Quicktime - Historie
  • 1991 von Apple vorgestellt

JPEG, Cinepak, e-mail mit multimedialen Daten

  • 1992 QT 1.5 doppelte Geschwindigkeit, Kodak Foto Format
  • 1994 QT 2.0

Videos erstmals Bildschirm-füllend, Videos in mehreren Sprach- versionen,

MPEG I können ohne spezielle Hardware abgespielt werden

  • QT 2.5

Midi, searchable Text Tracks

  • QT 3.0

Sorenson Video Codec, Qdesign Music Compressor,

Qualcomm Pure Voice

  • 1999 QT 4.0 (final 8.6..99)
1 4 quicktime verf gbarkeit
1.4 Quicktime -Verfügbarkeit
  • Mac Teil des Betriebssystems
  • PC 3.11 95/98 NT4.0
  • SGI Irix
1 4 quicktime bestandteile 1
1.4 Quicktime - Bestandteile 1
  • auf Benutzerebene:
    • QT-Viewer: Standbilder
    • QT-Player: Movies, Sounds
    • QTVR-Player: Interaktive 3D-Movies
  • auf Entwicklerebene:
    • Bietet:
      • „Datenbank“, die Routinen registriert und Applikationen zur Verfügung stellt
      • Routinen zum
        • Anfertigen, Editieren und Abspielen
        • Komprimieren und Dekomprimieren
1 4 quicktime bestandteile 2
1.4 Quicktime - Bestandteile 2
  • QuickTime: (als) Systemerweiterung
      • Bei Installation integriert es sich in das Betriebssystem und kann von beliebigen Anwendungen ohne extra Aufruf durch den Anwender im Hintergrund benutzt werden.
    • Toolbox: liefert „Manager“
      • Manager sind Routinensammlungen, die vom Programmie-rer angesprochen werden
      • stellen ihre Dienste anderen Managern oder Applikationen zur Verfügung
      • erweiterbar durch Hinzufügen von Components
      • bieten standardisierte Human Interfaces
      • 3 wichtige Manager:
        • Component Manager - Image Compression Manager
        • Movie Toolbox
1 4 quicktime bestandteile 3
1.4 Quicktime - Bestandteile 3
  • Component Manager
    • ist für das Verwalten von Geräten und Ressourcen (Components) zuständig, die jede Anwendung nutzen kann.
      • Zudem unterstützt er gleichzeitigen Zugriff mehrerer Programme auf das gleiche Programm oder die Ressource.
      • QT 3.0: 175 Components
      • QT 4.0: „over 200 media capabilities and components“
1 4 quicktime bestandteile 4
1.4 Quicktime - Bestandteile 4
  • Image Compression Manager (ICM)
    • ist für das Komprimieren und Dekomprimieren von Bilddatenmengen zuständig.
    • Geräte- und Treiber-unabhängig
    • verwaltet verschiedenste Kompressionsmodelle.

(Für künftige Codecs offen!)

1 4 quicktime bestandteile 5
1.4 Quicktime - Bestandteile 5
  • Unterstützte Video Kompressoren (QT 4):
      • H.261 - H.263 - Animation - Apple BMP
      • Apple Video - Cinepak - Component video
      • DV NTSC and PAL - Graphics
      • Intel Indeo Video 3.2 + 4.4 - Microsoft RLE
      • Microsoft Video 1 - Motion JPEG A + B
      • Photo JPEG - Planar RGB - Sorenson Video 1+2
  • Unterstützte Sound Kompressoren (QT 4):
      • 24-bit integer - 32-bit floating point
      • 32-bit integer - 64-bit floating point
      • ALaw 2:1 - AU - IMA 4:1 - MACE 3:1
      • MACE 6:1 - MS ADPCM
      • QDesign Music 1 + 2 - Qualcomm PureVoice
1 4 quicktime bestandteile 6
1.4 Quicktime - Bestandteile 6
  • Movie Toolbox
    • Routinen für das
      • Herstellen,
      • Bearbeiten,
      • Synchronisieren und
      • Abspielen von Daten des

Datentyps „movie“.

1 4 quicktime movie 1
1.4 Quicktime - Movie 1
  • QT spielt ein movie:
1 4 quicktime movie 2
1.4 Quicktime - Movie 2
  • Organi-

sation

eines

movies 1

1

Audio

Tracks

2

Video

3

Video

Preview

Poster

Zeitachse

  • Beliebig viele Tracks
  • Individueller Offset
  • Alternate Group
  • Searchable Text Tracks
1 4 quicktime movie 3
1.4 Quicktime - Movie 3
  • Organi-

sation

eines

movies 2

Track

2

Video

Media

  • Track verweist über Pointer auf das Medium
  • Medium enthält Rohmaterial
  • Rohmaterial kann sowohl in der Resource Fork als auch in der Data Fork enthalten sein

(nur auf Mac)

1 4 quicktime movie 4
1.4 Quicktime - Movie 4
  • Datenstruktur eines movies:
    • Movie ist Baumstruktur, die aus Atomen (atoms) unterschiedlicher Hierachieebenen besteht
    • Atome können andere Atome enthalten
    • Jedes Atom enthält Informationen über Typ und Länge
slide254

Movie atom

Movie header

atom

Movie clipping

atom

User-defined data

atom

  • Movie

5

Atom eines

movies:

Clipping region

atom

Movie user data

Track atom

Track clipping

atom

Track matte

atom

Track header

atom

Clipping region

atom

Clipping region

atom

Edit

atom

Media atom

Media header

atom

Media handler

Reference atom

Edit list

atom

Video media information atom

Data information atom

1 4 quicktime movie 6
1.4 Quicktime - Movie 6
  • Darstellung eines movies 1
1 4 quicktime movie 7
1.4 Quicktime - Movie 7
  • Darstellung eines movies 2
1 4 quicktime movie 8
1.4 Quicktime - Movie 8
  • Darstellung eines movies 3
1 4 quicktime movie 9
1.4 Quicktime - Movie 9
  • Darstellung eines movies 4
1 4 quicktime movie 10
1.4 Quicktime - Movie 10
  • Darstellung eines movies 5
1 4 quicktime movie 11
1.4 Quicktime - Movie 11
  • Von QuickTime in Movies unterstützte Medientypen 1
    • Video:
      • MPEG, M-JPEG (jetzt hinreichend kompatibel zwischen verschiedenen Herstellern) und andere digitale Video-Standards, z. B. Cinepak, ...
      • DV (neu in QT 3.0)
    • Sprites:
      • Graphikbausteine für Computerspiele
    • Sound:
      • Musik, Geräusche, Töne - eben digitalisierte Schallwellen; mLAW-, IMA-Codecs.
1 4 quicktime movie 111
1.4 Quicktime - Movie 11
  • Von QuickTime in Movies unterstützte Medientypen 2
    • Music:
      • für MIDI-Daten
    • Text:
      • wird meist zum Untertiteln von Videos eingesetzt.
    • Graphiken
    • Animation:
      • gerenderte, also bildweise berechnete Daten aus Animationsprogrammen
    • Quickdraw 3D:
      • Apples 3dimensionaler Graphikstandard
1 4 quicktime movie 12
1.4 Quicktime - Movie 12
  • Von QuickTime in Movies unterstützte Medientypen 3
    • Tween:
      • Art Steuerspur, um z. B. Quickdraw-Operationen wie Skalieren, Rotieren etc.

auf Daten in anderen Spuren anzuwenden.

    • Time Code:
      • auch nach dem SMPTE - Standard;

(Society of Motion Picture and Television Engineers).

1 4 quicktime movie 1 3
1.4 Quicktime - Movie 13
  • Anmerkungen 1
    • Synchronisation
      • der verschiedenen zeitbasierten Daten wird erreicht durch Verwendung von Spuren/Tracks in einem Zeitkoordinatensystem.
      • ---> Parallelität von Datenströmen.
    • Bei Leistungsengpässen
      • werden Bilder übersprungen.
      • Ton wird solange wie möglich vollständig erhalten.
      • Zeitbasis wird, wenn irgend möglich, eingehalten.
1 4 quicktime movie 1 4
1.4 Quicktime - Movie 14
  • Anmerkungen 2
    • QuickTime unterstützt Multiprocessing (erste Schritte).
    • Text in Textspur (z. B. für Untertitel) ist Text und kein Graphikoverlay.
      • --> z.B. durchsuchbar. Gut für etwa Indizierung von Bild- oder Videokatalog.
      • Codecs arbeiten asynchron zu QuickTime.
1 4 quicktime frontends 1
1.4 Quicktime - Frontends 1
  • QuickTime Viewer
    • Für (Stand)bilder
1 4 quicktime frontends 2
1.4 Quicktime - Frontends 2
  • QuickTime Player (Pro) 1
    • Easy-to-use controls
    • New enhanced interface
    • Ability to save effects settings
    • Movie controller selection slider
    • Bass and treble controls
    • Balance control
    • Streaming media support
    • Ability to save movie favorites
    • Info tray
1 4 quicktime frontends 3
1.4 Quicktime - Frontends 3
  • QuickTime Player (Pro) 2
    • Import file formats
      • 3DMF • AIFF • AU
      • Audio CD Data (Macintosh) • AVI
      • BMP • DV • FlashPix*
      • GIF • JPEG/JFIF • Karaoke
      • MacPaint • Macromedia Flash
      • MIDI • MPEG 1 • MPEG 1, Layer 3(MP3)
      • Photoshop* • PICS • PICT
      • Pictures • PNG • QuickTime Image File
      • QuickTime Movie • SGI
      • Sound • Targa • Text
      • TIFF* • Virtual Reality (VR) • Wave
1 4 quicktime frontends 4
1.4 Quicktime - Frontends 4
  • QuickTime Player (Pro) 3
    • Export file formats
      • AIFF • AU • AVI
      • BMP • DV Stream • FLC
      • Image Sequence movie exporters • JPEG/JFIF
      • MacPaint • MIDI • Photoshop
      • PICT • Picture • PNG
      • QuickTime Image • QuickTime Movie
      • SGI • System 7 Sound • Targa
      • Text • TIFF • WAV
1 4 quicktime frontends 5
1.4 Quicktime - Frontends 5
  • QuickTime Player (Pro) 4
    • Video effects
      • Alpha gain • Blur
      • Color balance • Color style
      • Color tint • Edge detection
      • Emboss • Film noise
      • General convolution • Lens flare
      • HSL balance • RGB balance
      • Sharpen • Zoom
1 4 quicktime frontends 6
1.4 Quicktime - Frontends 6
  • QuickTime VR (Teil vom QT Player)
    • Softwarelösung zur Erstellung und Erkundung virtueller Welten.
    • Unterschied zum Videofilm: Benutzer steuert seinen Blick (via Maus) selbst.
    • 2 Techniken:
      • Panoramavideotechnik:
        • 360 Grad Rundumblick wird durch "Vernähen" von Fotos erzeugt.
      • Object-Video-Technologie:
        • Erlaubt interaktive Untersuchung von Objekten.
        • Läßt das Objekt sich vor den Augen des Benutzers um 360 Grad drehen.
    • Personen und Objekte anklickbar (Hot Spots).