Metody kompresji

1. Metody kompresji

2. Plan prezentacji Metody kompresji: • dźwięku • elementy psychoakustyki • współczesne standardy stratnej kompresji • obrazu • metody bezstratnej kompresji • metody stratnej kompresji • metody kompresji obrazu ruchomego

3. Metody kompresji dźwięku

4. Metody kompresji dźwięku Ze względu na dużą entropię informacji w sygnale fonicznym, współczynnik kompresji dla dźwięku jest stosunkowo niewielki przy zastosowaniu bezstratnych algorytmów kompresji. Dlatego też opracowano stratne metody kodowania, których działanie opiera się na wykorzystaniu własności psychofizycznych słuchu, dzięki czemu możliwe jest kilkukrotne zwiększenie współczynnika kompresji przy jednoczesnym zachowaniu wysokiej jakości sygnału fonicznego.

5. Elementy psychoakustyki • System słuchowy człowieka przetwarza dźwięk w pewnych podpasmach, zwanych pasmami krytycznymi. • W każdym z nich sygnał jest analizowany w sposób niezależny od dźwięku w pozostałych pasmach krytycznych. • Każdemu pasmu krytycznemu odpowiada pewien odcinek na błonie podstawnej ślimaka równy 1,3 mm. • Szerokość tych pasm nie jest wielkością stałą. Mianowicie poniżej 500 Hz jest ona stała i wynosi 100 Hz, zaś powyżej 500 Hz szerokość każdego następnego pasma jest o 20% większa niż dla poprzedniego pasma. • Perceptualną jednostką szerokości pasma jest 1 Bark.

6. Elementy psychoakustyki • Maskowanie - zagłuszanie składowych sygnału fonicznego przez inne. • maskowanie jednoczesne (w dziedzinie częstotliwości) • maskowanie niejednoczesne (w dziedzinie czasu).

7. Elementy psychoakustyki • Maskowanie jednoczesne charakteryzuje się tym, że pewne tony stają się niesłyszalne w obecności innych, tzw. maskerów.

8. Elementy psychoakustyki • Maskowanie niejednoczesne może występować jako premaskowanie lub postmaskowanie.

9. Współczesne standardy stratnej kompresji dźwięku

10. SONY ATRAC System kodowania sygnałów fonicznych ATRAC (ang. Adaptive Transform Acoustic Coding) jest przeznaczony dla przenośnych rejestratorów dźwięku wysokiej jakości. Przepływność binarna kodeka ATRAC wynosi około 140 kbit/s, przy czym ATRAC wykorzystuje: • maskowanie jednoczesne w dziedzinie częstotliwości, • maskowanie w dziedzinie czasu, • bank 3 zwierciadlanych filtrów kwadraturowych QMF (ang. Quadrature Mirror Filters), dzielących zakres na podpasma: 0-5.5 kHz, 5.5-11 kHz i 11-22 kHz, • zmodyfikowaną dyskretną transformację kosinusową MDCT (ang. Modified Discrete Cosine Transform), • zmienną rozdzielczość częstotliwościową dla różnych pasm częstotliwości, • zmienną rozdzielczość czasową w zależności od parametrów statystycznych sygnału.

11. Dolby AC-3 • Standard ten opracowano w celu zastosowania w systemie wielokanałowego nagłośnienia kina cyfrowego, następnie wybrano go dla potrzeb kodowania dźwięku w HDTV. • Wykorzystuje: • maskowanie jednoczesne w dziedzinie częstotliwości • bank filtrów oparty na transformacie TDAC (Time Domain Aliasing Cancelation) • zmienną rozdzielczość czasowo-częstotliwościową. • Koder wykorzystuje dodatkowe 16-bitowe słowo synchronizacji oraz 2 słowa 16-bitowe w celu kontroli błędu (CRC). • Przepływność binarna kodeka AC-3 jest zawarta między 32 a 640 kb/s w sumie wszystkie kanały. • Typowe całkowite opóźnienie czasowe kodowania ok.100ms.

12. PASC • Standard PASC (ang. Precission Adaptive Subband Coding) został opracowany przez firmę Philips wraz z japońską firmę Matsushita i zastosowany w magnetofonie cyfrowym DCC (ang. Digital Compact Casette). • Jego interfejs foniczny składa się z przetworników A/C oraz C/A, przy czym dla wejścia analogowego możliwa jest jedna częstotliwość próbkowania (44.1 kHz), natomiast dla wejść cyfrowych możliwe są trzy wartości częstotliwości próbkowania: 32 kHz, 44.1 kHz oraz 48 kHz. • Analiza sygnału szerokopasmowego odbywa się przy pomocy 32 filtrów NOI, pasmowo-przepustowych o stałej szerokości pasma (750 Hz). • Przepływność binarna kodeka PASC wynosi 384 kbit/s dla sygnału stereo przy kompaktowej jakości dźwięku.

13. MUSICAM • MUSICAM (ang. Masking-pattern Universal Subband Integrated Coding And Multiplexing) został opracowany dla potrzeb cyfrowej transmisji radiowej DAB (ang. Digital Audio Broadcasting). • Cyfrowy sygnał foniczny w standardzie EBU/AES (768 kbit/s) jest dzielony na 32 podpasma o szerokości 750 Hz przy pomocy wielofazowego banku filtrów. • Zastosowano układ realizujący FFT, który oblicza co 24 ms 1024 składowych widma. • Kodek MUSICAM wykorzystuje maskowanie jednoczesne w dziedzinie częstotliwości i jest kompatybilny z formatami ISO/MPEG (Layer I). • Przepływność binarna kodeka MUSICAM wynosi 384 kbit/s dla sygnałów stereo przy kompaktowej jakości dźwięku.

14. MPEG-1 • MPEG to skrót od Moving Pictures Experts Group • umożliwia kodowanie sygnałów PCM dla częstotliwości próbkowania: 32, 44.1, 48kHz • maskowanie jednoczesne w dziedzinie częstotliwości • maskowanie w dziedzinie czasu • zastosowanie banku 32 filtrów wielofazowych wytwarzających podpasma o stałej szerokości 750Hz

15. MPEG-1 • MPEG umożliwia pracę z zadanym trybem przepływności: • FBR - praca ze stałą przepływnością bitową • VBR - praca ze zmienną przepływnością bitową • Wprowadzono mechanizm zabezpieczenia przed błędami transmisji • Przepływność binarna wynosi od 64 do 384kb/s - kanał stereo

16. zakodowany sygnał (2*32 kbit/s) ... 2*192 kbit/s sygnał akustyczny (2*768 kbit/s) Podpasmo 0 Bank filtrów dla 32 pasm Kwantyzacja liniowa Formatowanie sygnału skomprymowanego ... 31 Kodowanie informacji dodatkowej FFT Model psychoakustyczny Dane pomocnicze Kontrola zewnętrzna MPEG-1 Schemat kodera MPEG

17. sygnał akustyczny (2*768 kbit/s) zakodowany sygnał (2*32 kbit/s) ... 2*192 kbit/s Podpasmo 0 Demultiplekser i test CRC Dekwantyzacja liniowa Bank odwrotnych filtrów dla 32 pasm ... 31 Dekodowanie informacji dodatkowej MPEG-1 Schemat dekodera MPEG

18. MPEG-1 • Możliwa jest praca w 3 warstwach: 1, 2 i 3. • Warstwa 1: • Uproszczona wersja schematu MUSICAM. • Przeznaczonagłównie do zastosowań takich, jak: cyfrowe nagrywanie w warunkach domowych na kasetach, twardych dyskach i dyskach magnetooptycznych. • Warstwa ta używa ramki o czasie trwania 8ms przy częstotliwości próbkowania 48kHz.

19. MPEG-1 • Warstwa 2: • Wprowadza dalsze udoskonalenia w stosunku do warstwy 1. • Podstawowa długość ramki to 24ms przy 48kHz. • Jest prawie identyczna ze schematem MUSICAM. • Ma zastosowanie głównie w profesjonalnej technice dźwiękowej, czyli wykorzystywana jest w rozgłośniach radiowych i telewizyjnych, studiach nagrań oraz w systemach multimedialnych.

20. MPEG-1 • Warstwa 3: • kombinacja efektywnych modułów z kodera ASPEC i MUSICAM. • Hybrydowy bank filtrów wprowadza dodatkową rozdzielczość częstotliwościową. • Długość ramki jest identyczna z warstwą 2. • Używana jest tutaj niejednolita kwantyzacja, adaptacyjna segmentacja i kodowanie entropijne skwantowanych wartości w celu zwiększenia wydajności kodowania. • Metoda ta jest najbardziej użyteczna w telekomunikacji, szczególnie w wąskopasmowym ISDN, łączach satelitarnych i wszystkich przypadkach, gdzie wymagana jest wysoka jakość przy niskich przepływnościach.

21. MPEG-2 • MPEG-2 BC - kompatybilny wstecz • Obejmuje kompresję sygnału fonicznego dla częstotliwości próbkowania: 16, 22.05, 24kHz - telekonferencje • Kompresja wielokanałowego sygnału fonicznego typu 3/2+1 lub 5/2+1 • Oferuje obsługę wielokanałowych ścieżek dźwiękowych w wersjach wielojęzycznych.

22. MPEG-2 • Kanał L (lewy) i R (prawy) są zastąpione przez zmatrycowane sygnały Lc i Rc: Lc = L + a * C + b * Ls Rc = R + a * C + b * Rs i kodowane kodem MPEG-1. • Dodatkowe kanały C(centralny), Ls (lewy surround) i Rs (prawy surround) są przesyłane w pomocniczym polu MPEG-1

23. Metody kompresji obrazu

24. Metody kompresji bezstratnej • Niewielki stopień kompresji (około 50%). • Prostota metody. • Stosowane często tam, gdzie wprowadzanie jakichkolwiek zakłóceń jest niedopuszczalne (np. obrazy uzyskiwane dla potrzeb medycznych). • Można je w ogólności podzielić na cztery grupy: • kody o zmiennej długości słowa, • metody arytmetyczne, • metody słownikowe oraz • metody wykorzystującespecyfikę danych graficznych.

25. Kody o zmiennej długości słowa Kod Huffmana • Każdemu poziomowi jasności przypisuje się częstośćwystępowania piksli o tej jasności. • Następnie wyszukuje się dwa poziomy o najmniejszej częstościwystępowania i łączy je w jeden, o częstościwystępowania równej sumie częstości obu połączonych poziomów. • W wyniku połączenia liczba rozpatrywanych poziomów maleje o jeden. • Czynność wyszukiwania i łączeń powtarza się tak długo, ażpołączeniuulegną wszystkie poziomy. • Kolejność łączenia wyznacza drzewo. • Jeżeli dla każdegorozgałęzieniajedną z gałęzi oznaczy się 0, a drugą 1, to poruszając się w kierunku od korzenia do dowolnego węzła terminalnego napotkane symbole wyznaczą kod Huffmana, odpowiadający temu węzłowi.

26. Kod Huffmana Częstość 0 0 10 1 0 110 0 1 1110 0 1 1 1111 40% 31% 100% 15% 60% 29% 8% 14% 6% Kody o zmiennej długości słowa Kod Huffmana Kody różnych symboli charakteryzująsię tym, żeżaden z symboli nie jest początkiem innego (dłuższego) symbolu.

27. Metody arytmetyczne • Średnia wartość współczynnika bit/symbol jest zbliżona do wartości entropii. • Symbole ułożone są w kolejności rosnących lub malejących prawdopodobieństw wystąpienia wzdłuż odcinka od 0 do 1.

28. Symbol Położenie Długość Bity znaczące (-log2(długość)) Słowo kodowe S0 0.0 .03 6 .000000 S1 .3 .2 3 .010 S2 .2 .1 4 .0011 S3 .5 .5 1 .1 S4 .03 .03 6 .000001 S5 .1 .05 5 .00011 S6 .06 .04 5 .00001 S7 .15 .05 5 .00100 Metody arytmetyczne • Symbole są następnie kodowane poprzez przypisanie binarnej liczby zmiennoprzecinkowej przedstawiającej początek odpowiedniego fragmentu odcinka. • Liczba bitów znaczących po przecinku odpowiada długości odcinka (i równa jest log2(długość odcinka)). • Słowa kodowe dla różnych symboli mają następujące wartości:

29. Metody słownikowe • Idea tego rozwiązania polega na kodowaniu ciągów symboli (piksli) za pomocą odwołań do słownika zawierającego takie ciągi. • Im dłuższy ciąg piksli uda się zastąpić indeksem do słownika, tym większy będzie stopień kompresji. • Najpopularniejszym algorytmem tego typu jest, zaproponowany w 1984 roku, algorytm LZW. • Z algorytmu tego korzystają dwa popularne formaty graficzne: GIF oraz TIFF.

30. Metody wykorzystujące specyfikację danych graficznych • Metody te wykorzystują fakt, że sąsiadujące ze sobą piksle mają często takie same lub podobne kolory. • Najpopularniejszą metodą w tej grupie jest RLE (ang. Run Length Encoding). • W metodzie RLE obraz przeglądany jest liniami (np. poziomymi). Ponieważ w większości linii powtarzają się podobne elementy, koduje się następujące pary: liczba piksli i kolor. • Metodę RLE wykorzystują takie formaty graficzne, jak PCX oraz TIFF.

31. Metody wykorzystujące specyfikację danych graficznych • Do tej grupy metod zaliczyć można metody kodowania plam. • W metodach tych obraz rozbijany jest na jednokolorowe plamy i kodowane są pary: kształt i kolor. • W zależności od sposobu opisywania kształtu plamy można wyróżnić kilka metod kodowania plam: • metoda konturowa, • metoda prostokątów, • metoda drzewa czwórkowego.

32. Metody kompresji stratnej • Duży stopień kompresji osiągany jest kosztem utraty szczegółów. • Metody stratnej kompresji obrazu można w ogólności podzielić na trzy grupy: • metody bezpośrednie (w dziedzinie obrazu), • metody fraktalne, • metody transformat.

33. Metody bezpośrednie • Metoda predykcyjna • Wykorzystuje ona fakt, iż kolory sąsiednich piksli sązbliżone. • Możnaprzewidzieć kolor piksla. • Znajomośćbłędu estymacji, tzn. różnicye koloru rzeczywistego c i przewidywanego c’, wystarcza do wiernego odtworzenia obrazu. • Aby uzyskać lepszy stopień kompresji, można przed zakodowaniem dokonać kwantyzacji błędu estymacji e.

34. Metody bezpośrednie • metoda binarnej kwantyzacji blokowej BTC(ang. Block Truncation Compression) • Obraz dzielony jest na bloki n*m piksli. • Na każdym z bloków dokonuje się kwantyzacji binarnej, tzn. kolory kolejnych piksli zastępowane są przez jeden z dwóch kolorów c1 lub c2 wybieranych osobno dla każdego bloku. • Zamiast pełnej liczby 2l kolorów (poziomów szarości) koduje się jedynie dwa kolory w bloku (1 bit/piksel w miejsce l bitów/piksel). • Dla każdego bloku należy pamiętać c1 i c2. • Kompresja możliwa do uzyskania w tej metodzie jest rzędu 4:1.

35. Metody fraktalne • Do kompresji obrazów można wykorzystać teorię fraktali. • Wiele obrazów cechuje się znacznym stopniem samopodobieństwa – w jednym obrazie można wyróżnić całe fragmenty, może inaczej położone, innej wielkości czy jasności, ale o bardzo zbliżonym kształcie. • Najważniejszą operacją, dokonywaną podczas kodowania fraktalnego, jest rozpoznawanie par obiektów i znajdowanie przekształceń, odwzorowujących jeden obiekt w drugi, będących złożeniem obrotów, skalowania i przesunięć. Ta klasa przekształceń nosi nazwę przekształceń afinicznych.

36. Metody fraktalne • Stopień kompresji możliwy do uzyskania tą metodą wynosi typowo kilkadziesiąt do jednego. • Wielką zaletą metody jest niezależność zakodowanego obrazu od rozdzielczości, co umożliwia łatwe skalowanie obrazu wynikowego. Zastosowanie kompresji fraktalnej Powiększenie obrazu

37. Metody transformat • Transformaty umożliwiają rozłożenie funkcji jasności, będącej dyskretną funkcją dwóch zmiennych, na superpozycję funkcji bazowych transformaty. • Najczęściej wykorzystuje się dyskretną transformatę cosinusową (DCT). • Jeślif(i, j) oznacza wartość piksla leżącego w punkcie o współrzędnych (i, j), a F(u, v) reprezentuje dwuwymiarowy współczynnik transformaty ze składowąharmonicznąrzęduuwzdłuż osi U i składowąharmonicznąrzęduvwzdłuż osi V (gdzie U i V odpowiadają osiom I i J), wówczas F(u, v) definiowane są jako:

38. RGB YUV YUV RGB DCT DCT -1 Kwantowanie Dekwantowanie Kodowanie Odkodowanie Metody transformat – standard JPEG • Najpopularniejszym standardem wykorzystującym dyskretną transformatę cosinusową (DCT) jest JPEG (Joint Photographic Experts Group). Ogólny schemat kodera JPEG Ogólny schemat dekodera JPEG

39. Metody transformat – standard JPEG • Zmiana modelu barw z RGB na YUV. • Wyznaczenie, niezależnie dla każdego składnika barwy, dyskretnej transformaty cosinusowej. • Kwantyzowanie współczynników transformaty F(u, v) otrzymanych z kodowania DCT przy pomocy macierzy kwantyzacji. Polega to na dzieleniu każdego ze współczynników F(u, v) przez odpowiadający mu element tablicy dwuwymiarowej Q(u, v) (gdzie Q jest macierzą kwantyzacji).

40. Metody transformat – standard JPEG • Składowe stałe różnych bloków (współczynniki F(0,0)) są kodowane przy użyciu metody DPCM. Sygnały różnicowe wygenerowane przez koder DPCM są następnie kodowane przy użyciu kodera Huffmana. • Pozostałe współczynniki F(u, v) zawierają składowe zmienne. Po skwantyzowaniu wiele z nich zaokrągla się do zera. • Skwantyzowana tablica dwuwymiarowa F(u, v) przekształcana jest w tablicę jednowymiarową (wektor) według kolejności przedstawionej na rysunku: • Współczynnik kompresji dla metod opartych o transformatę cosinusową wynosi około 30:1.

41. Kompresja obrazów ruchomych • Duży stopień kompresji uzyskiwany jest dzięki uwzględnieniu zależności, jakie występują między następującymi po sobie obrazami. • Do najczęściej spotykanych standardów kompresji obrazów ruchomych należą: • MPEG (Moving Picture Experts Group) • SONY SX • M-JPEG (Motion JPEG)

42. Sekwencja obrazów Koder kompensacji ruchu Koder na bazie DCT Koder entropii Ramki ze skompensowanym ruchem Współczynniki DCT Skompresowana sekwencja obrazów Odwrotna sekwencja obrazów Dekoder kompensacji ruchu Dekoder na bazie DCT Dekoder entropii MPEG • MPEG oparty jest na dwóch podstawowych technikach: kompensacja ruchu pod kątem nadmiarowości międzyramkowej (nadmiarowość czasowa) oraz kompresja DCT do nadmiarowości wewnątrzramkowej (nadmiarowość przestrzenna). • Schemat blokowy kodera i dekodera MPEG: Ramki ze skompensowanym ruchem Współczynniki DCT

43. MPEG • Zakodowany ciąg obrazów może zawierać trzy rodzaje ramek: • Wewnętrzne ramki odniesienia I, które nie zależą od żadnych innych ramek. Są one kodowane w sposób podobny do tego, jaki wykorzystuje algorytm kompresji obrazów statycznych. Umożliwiają one swobodny dostęp do zakodowanego ciągu obrazów. • Ramki P, przedstawiające obraz będącyróżnicąmiędzybieżącąramką a ramką odniesienia. Ponieważ na sąsiednich obrazach większość obiektów nie ulega istotnym zmianom, tak zmodyfikowany obraz zawiera znacznie mniej informacji. • Ramki B, mające dwie ramki odniesienia: jednąwcześniejszą i jednąpóźniejszą.

44. MPEG • Kolejność kodowania sekwencji obrazów MPEG:

45. SONY SX • System kompresji SONY SX używa tylko ramek I oraz B. • Sekwencja ramek w schemacie SONY SX:

46. M-JPEG (Motion JPEG) • Cechy standardu M-JPEG: • jest rozszerzeniem metody JPEG i przeznaczony jest do kompresji obrazów ruchomych, • dokonuje kompresji każdej ramki w sekwencji obrazu wizyjnego, • możnauznać, że jest bardzo uproszczonąwersją standardu MPEG (bez kompensacji ruchu), czyli bez kodowania międzyramkowego (wszystkie ramki są typu I), • czas kompresji (złożoność) M-JPEG jest mniejsza niż dla MPEG, gdyż nie trzeba dokonywać predykcji ramek typu P i B oraz dokonywać kosztownego przeszukiwania ramek i dopasowania podczas kompensacji ruchu,

47. M-JPEG (Motion JPEG) • Cechy standardu M-JPEG: • techniki edycyjne sygnału wizyjnego (przesuwanie w przód i w tył, zatrzymywanie, itd.) dla standardu M-JPEG są mniej złożone obliczeniowo niż dla MPEG, a zatem szybsze podczas działania, • dostęp swobodny do dowolnej ramki jest natychmiastowy, • dekompresja ramek następuje w tej samej kolejności, jak podczas kompresji, • M-JPEG wymaga mniej pamięci operacyjnej niż MPEG, gdyż nie przeprowadza takich operacji buforowania jak MPEG, • współczynnik kompresji w standardzie M-JPEG jest taki sam jak dla JPEG i wynosi około 10:1, 15:1, natomiast dla systemu MPEG współczynnik kompresji wynosi około 30:1. Ponadto, MPEG możebyćtakżeużyteczny przy współczynnikachrzędu 100:1.

48. Źródło: • J. Zabrodzki, „Grafika komputerowa – metody i narzędzia”, Wydawnictwo Naukowo-Techniczne, Warszawa, 1994. • S. Anderson, S. Anger, „Grafika PC bez tajemnic”, Interfoftland, Warszawa, 1995. • R. Królikowski, „Współczesne standardy perceptualnej kompresji dźwięku wysokiej jakości”, Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej Nr 11, str. 81-88, Gdańsk, 1997. • K. Brandenburg, M. Bosi, „Overview of MPEG Audio: Current and Future Standards for Low-Bit-Rate Audio Coding”, J. Audio Eng. Soc., Vol. 45, No. 1/2, pp. 421, 1997. • J. Lebiedź, „Kompresja danych” – materiały do wykładu, Politechnika Gdańska, Wydział ETI, Katedra Technik Programowania, Gdańsk, 1996. • A. Wieczorkowska, „Badanie metod kompresji obrazu”, Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej Nr 10, str. 71-76, Gdańsk, 1996. • W.S. Mościbrodzki, „Badanie metod kompresji obrazu ruchomego”, Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej Nr 12, str. 113-120, Gdańsk, 1998.