Transmisia datelor multimedia in retele de calculatoare Compresia imaginilor . Generalitati

1. UNIVERSITY POLITEHNICA of BUCHAREST DEPARTMENT OF COMPUTER SCIENCE Transmisiadatelor multimedia in retele de calculatoareCompresia imaginilor. Generalitati Conf. Dr. Ing. Costin-Anton Boiangiu <Costin.Boiangiu@CS.PUB.RO>

2. Cuprins • Introducere. Reprezentarea imaginilor • Aspecte ale perceptieivizuale • Necesitateacompresieiimaginilor • Tehnici de baza in compresia imaginilor (imagini statice) • Standarde in compresia imaginilor. Exemple

3. Reprezentareaimaginilor • Imaginilediscretizatesuntreprezentateprintablouribidimensionale de forma de maijos • Pentrucazulsimplu al uneiimagini cu niveluri de gri, imagineadiscretizataestereprezentataprintr-o matrice

4. Reprezentareaimaginilor • Intensitatileimaginilor pot fireprezentate ca numerefarasemn, pe un numar de n – simboluribinare: sauintr-un format cu semn, de forma: • Celmai des n=8, insa pot fisivalorimaimari • De exemplun=12 pentruaplicatiimedicalesaun=16 pentruaplicatiimilitare • Imaginile color suntreprezentatetipicprintreivalori: • rosu • verde • albastru (RGB= Red, Green, Blue), de forma

5. Tipuri de imagini • Exista 3 categorii de imaginidiscretizate, fiecare cu anumiteparticularitati: • imagini “naturale“ • imagini text • imaginigrafice fiecaredintreacesteaavandtrasaturispecifice de corelatie

6. Semnalele video uzuale • Captareaimaginilor din exterior siconvertirealor in semnaleelectriceanalogice - operatieefectuata de camerele video - definesteprocesul de intrare video, saufilmare • Semnalele video obtinute pot fiapoistocatepesuport magnetic (videobenzisivideocasete) sautransmise sub forma de semnal TV • Semnalul electric ceprovine de la camerele video are in mod obisnuittreicomponente, cecorespundcelortreiculoriesentiale, de compozitie video: rosu, verdesialbastru (RGB - Red, Green, Blue) • Componenetele RGB suntputerniccorelatesi – ca urmare – nu se pot obtinerapoarte de compresiedeosebite • Pentrudifuzare, se construieste din celetreicomponente de baza un singursemnal, denumit "semnalcompozit", care codificadupaanumiteexpresiiinformatia video de transmis

7. Semnalele video uzuale • Semnalul YUV (caracteristicpentrusistemul PAL): expolateazaproprietateaochiuluiuman de a fimaisensibil la intensitatealuminoasa (luminanta) decat la informatia de culoare (crominanta) • Rezulta ca in loc de a separaculorile in componenteleesentiale, se poateseparainformatia de luminanta (Y) de informatia de culoare (douacanale de crominanta: U si V) • Relatiiledintrecomponentele Y,U,V si R,G,B suntexprimate in formulele: Y = 0.30R + 0.59G + 0.11B U = 0.493(B-Y) V = 0.877(R-Y) • Compunerealor se face duparelatia:

8. Semnalele video uzuale • Componenta de luminanta (Y) trebuietransmisaintotdeauna din motive de compatibilitate; receptoarele alb-negruutilizand-o in mod obligatoriu, celelaltedouafiindutilizate in plus, de receptoarele color • Oricepotentialaeroare in componenta de luminanta (Y) estemaiimportantadecat in valorile de crominanta (U, V) • De aceeapentruluminanta se aloca o latime de banda de transmisiemai mare ca pentrucrominanta • Semnalul YIQ: esteasemanator cu codificarea YUV sista la bazastandardului TV NTSC: • Compunerealor se face duparelatia

9. Aspecte ale perceptieivizuale • Sensibilitatea la contrast variazafunctie de frecventaspatiala • Celmaisensibileste la frecventejoase:

10. Aspecte ale perceptieivizuale • Oameniisuntmaisensibili la straluciredecat la culoare • Modelulvederiicolorate are la bazavederea tri-cromatica: ochiulposeda 3 tipuri de senzori, fiecaresensibilinrtr-o anumitagama de lungime de unda • Daca : reprezintafunctiile de absorbtie ale pigmentilor din retina, atuncireceptoriiproduc un semnal de forma: undereprezintadistributiaspectrala de energie a sursei de luminaincidente

11. Aspecte ale perceptieivizuale • Perceptiamiscariiesterealizatadacamiscarilorsunt cu o frecventamai mare de 24 imagini (cadre) / sec • Ochiulestesensibil la schimbarile in luminantasipeaxaalbastru-galben • Vedereapresupunedetectiamarginilor (muchiilor) • Este posibilamascareavizualaprinschimbarimari ale luminantei

12. Necesitateacompresieiimaginilor • Transmisiasimemorareaimaginilornecesitacapacitati de memoriefoartemari • In figura de maijos se prezintanecesarul de memoriepentrudiferiteformate de imagine • De exemplu, numaipentrunivele de gri cu 256 de valoripentru un pixel, un cadru de imagine in format SVGA necesita 800*600*8biti / (8 biti /Octet) = 500 KB iarpentru HDTV estenevoie de 2MB

13. Necesitateacompresieiimaginilor • Complexitateaproblemeicrestedaca se consideraimaginile color undefiecare pixel are nevoie de inca 3 octetipentruinformatiile de culoare RGB • Daca se dorestetransmisiauneiastfel de imaginipe un canal telefonic cu viteza de 10 Kb/s estenevoie de o durata T = (800 pixeli * 600 pixeli * 8 biti * 3 culori ) / ( 10 Kb / s) / 60 s / min)= 19.2 min • In cazulimaginilordinamice, cum estecazulteleviziunii, debitul de informatiepoateajunge la 10 MB/s ceecenecesitacanalespeciale de transmisiunesicapacitatifoartemari de memorare • De exemplu, un cadru de 512 x 512 pixeli, cu 8 bitipeculoaresi 30 de cadre pesecunda, o imagine digitala are un debit de informatie de: 512 * 512 * 8 *3 * 30 = 188 Mb /s = 23 MB /s.

14. Necesitateacompresieiimaginilor • Obiectivulcompresieiimaginiloreste de a reduce numarul de bitipentru a memorasau a transmiteimaginilefarapierderesemnificativa de informatie • Algoritmii de compresie a imaginilor se bazeazapeproprietatilestatistice ale imaginilor, sianumepecorelatiileparametrilorunui set succesiv de pixeli • Astfel, dacaparametriiunuidoemniu spatial de pixelisuntsimilari, atunciparametriiunui pixel din aceldomeniupoatefiexprimat in functie de parametriicelorlaltipixeli, dejacodati • O valoare mare a corelariiimplica o distributiespectrala de tip trecejossi, deci, necesitateafolosiriiuneicapacitatiredusepentrutransmisie • Rezulta ca gradul de compresie al uneiimaginidepinde crucial de proprietatilestatistice ale elementelorimaginii

15. Necesitateacompresieiimaginilor • Aplicatiiletipicepentrutransmisiaimaginilorsunt: • televiziunea • comunicatiipentrutelemasura • teleconferinte • transmisii fax • Stocareaimaginilorestenecesara in: • aplicatiilemedicale • aplicatiile de instruire

16. Necesitateacompresieiimaginilor • Redundantauneiimaginidepinde de o serie de parametritehnologici (adicade sistemulceutilizeazaimagini) si se referala: • frecventa de esantionare • numarulde niveluri de cuantizare • prezentasitipul de dezgomot • Raportul de compresiearataraportuldintrenumarul de bitipentrureprezentareaimaginiioriginalesinumarul de bitinecesarpentrureprezentareaimaginiicomprimate • Prezentaunuizgomot in imagineaoriginalava reduce corelatiadintrepixelisideterminascadarearaportului de compresieposibil a fiobtinut • Acelasilucru se intamplasi in cazulcresteriinumarului de nivele de cuantizare, candiarasi se reduce corelatiadintrepixelisi, deci, raportul de compresiepoatesa fie maimic

17. Tehnici de compresie a imaginilor • Metodele de compresie pot ficlasificate in urmatoarelecategorii: • metode care eliminaredundantainformationala a imaginii de baza • metode care eliminairelevantainformationalabazandu-se pemodelulperceptieivizuale a omului, deci a portiunilorsauparametrilorimaginii care nu suntpercepute de om • metode care trunchiazaimagineaoriginala, astfelincatimaginearefacutadupacompresieeste o aproximatie a imaginiioriginale • Algoritmii de compresiefolosescunasaumaimultetehnici din categoriilede maisus

18. Tehnici de compresie a imaginilor • Din punctul de vedere al pierderii de informatie, metodele de compresie pot fi: • farapierdere de informatie • cu pierdere de informatie • Metoda cu pierdere de informatie, cunoscutasi sub numele de compresieireversibila: • Imagineareconstruita nu esteidentica cu imagineaoriginala • Se pot obtinerapoarte de compresiemari • Raportul de compresieeste cu atatmai mare cu cat gradul de distorsiuneacceptatestemai mare

19. Tehnici de compresie a imaginilor • Metode de compresiefarapierdere de informatie: • Se mainumescmetode de compresiereversibilesau cu pastrareabitilor (bit-preserving) • Acestemetode se pot folosi in cazulimaginilor din aplicatiilemedicale, cand nu estepermisa o degradare a informatieibilologicereprezentate de pixeli, intrucataltfel pot afectadiagnosticul • Rapoartele de compresiesuntfoartemicisinesemnificative • Exista 3 strategii de baza: • codareaplana a bitilor • codarepredictivafarapierdere de informatie • codareafaraerori a diferentelor

20. Tehnici de compresie a imaginilor • Metode de compresiefarapierdere de informatie (cont): • Compresiafarapierdere de informatiepleaca de la reprezentareabinara a imaginilorsi se aplicaunul din algoritmii de codareentropica: • Huffman • Lempel-Ziv • Nu se admitepierdere de informatie • Rata de compresiedepinde de algoritmul entropic folositsi nu estefoarte mare • Aplicatiileimportante ale acestui tip de compresie se refara la imaginilebinare (Fax) siimaginimedicale

21. Tehnici de compresie a imaginilor • Oricecomponenta a uneimetode de compresie cu pierdere de informatiepoatefiimplementataintr-o manieraadaptivasau ne-adaptiva • O schema de compresieesteadaptivadacastructura (numarulsi/sauvalorileparametrilor) se schimba local in cadrulimaginiipentru a folosianumiteparticularitati ale statisticii locale • Metodele adaptive oferaperformantemaibune, darimplicacrestereacomplexitatii • Imaginilede intrarepot fi: • imaginibinare (cum suntcele de tip text) • continue (8 biti video, 12-biti medicale)

22. Clasificareatehncilor de compresie a imaginilor

23. Masuri de aprecierecantitativa • Masurile de aprecierecantitativa nu suntceimaiimportanti in evaluareacalitatiiuneiimaginireconstruitedupacompresie • Se folosescnumaipentruevaluareaeficientiicodarii a diferitiloralgoritmii • Masurile de baza se bazeazape: • raportelesemnal-zgomot • eroareamediepatratica • Fie o imagine de dimensiuneNxM; fie s(i,j)intensitateaimaginii in punctulaflat la intersectialinieii cu coloamnajsis’(i,j)intensitateaimaginiirefacute in acelasipunct

24. Marimi • Eroareamediepatratica (MSE = Mean Square Error) • Eroareamediepatraticanormalizata (NMSE = Normalized Mean Square Error) se obtineprinraportare la energiasemnalului de la intrare: sauprinraportare la intensitateaimaginii:

25. Marimi • Pentruo imagine cu rezolutie de 8 bit PCM, xppeste 255 • Daca se considerasimomentelede timpprinindicelek, se poatecalculaeroareamediepatraticape un domeniu de timpcaracterizat de Pmomente cu relatia:

26. Marimi • Eroareamedieabsoluta (MAE = Mean Absolute Error) • Eroareamedieabsolutanormalizata (NMAE = Normalized Mean Absolute Error)

27. Marimi • Coeficientul de corelatienormalizat (NCC = Normalized Correlation Coefficient) • trebuiesa fie 1 pentru o reconstructieideala

28. Masuri de aprecieresubiective • Pentruevaluarisubiective, se considera un grup de observatori, considerand ca suntexperti in codareaimaginilor, care analizeazaimaginileoriginalesiceleprocesatein conditii de iluminaresi de distantaadecvate • Se calculeaza, ca si in cazul audio, un scormediu al opiniilor (MOS) pebazauneiscari de apreciere • Exemplu:

29. Exemplu • Figuraalaturataprezinta 4 imagini in format “jpg” in format gray (8 biti), deci de la 0 la 255 • Dimensiunilematricilorcereprezintaimaginilesunt de 200 x 200 • Imaginile au indiciii de calitate, dupaformatul jpg, de 90%, 40, 10% si 1%

30. Exemplu

31. Compresiaprin re-cuantizare

32. Compresiaprin re-cuantizare • Scopulestereducereanumaruluiposibil de valoripentrucodare • Figura de maijosaratamecanismulrecuantizarii cu 4 domenii: • Se obtine un raport de compresiedat de raportuldintrenumarul initial de nivelurisinumarulnou de niveluri 4 • Fiecarevaloare din fiecareintervalulvaficuantizat cu un numar, iar la decuantizare se inmultestenumarulmemorat cu latimeaintervalului de recuantizare

33. Compresiaprin re-cuantizare • Raportul de compresieeste

34. Exemplu • Sa se facacompresiaimaginii de maijosprinmetodarecuantizarii de la 8 la 2 bitipeesantion • Dimensiuneaimaginiieste de 4x4 pixeli

35. Exemplu • Plajanivelelor de cuantizare, de la 0 la 255, esteimpartita in 4 domenii de cuantizare, numerotate de la I0 la I3 • Fiecare interval estereprezentatprinnumerelecearatajumatateaintervalului • Ceeacetrebuiememorat se refera la numarulintervalului, atattimp cat se cunoastelatimeafiecarui interval

36. Exemplu

37. Standardului CCITT • Standardele CCITT T.4 si T.6 sunt elaborate pentru compresia imaginilor alb-negru (transmisiii facsimile), incluzand: • rezolutii pentru scanare si tiparire • restrictii de timp • tolerante dimensionale, etc. • Principiul de baza este codarea imaginii sursa in modul linie dupa linie, corespunzator modului in care liniile sunt tiparite si scanate intr-o masina de tip fax

38. Standardului CCITT • Diferenta dintre cele doua standarde (T.4. si T.6.)consta in modul in care sunt tratate liniiile succesive • In primul standard liniile sunt codate independent, si, in al doilea standard, liniile sunt codate cu referinta la liniile anterioare, ceea ce duce la o compresie mai mare • In primul standardo linie scanata este codata printr-osecventa de numere de pixeli albi si negri, cu alternanta celor albi si negri • Fiecare secventa de pixeli este codata cu un numar variabil de biti • Rapoartele de compresie sunt in general de ordinul 10:1 pentru pagini de tipul textului scris

39. Standardului CCITT • CCITT T.6 este mai complex, in sensul ca fiecare linie este comparata cu linia anterioara, astfel incat – ca efect – se considera si trasaturile verticale din imaginea sursa • In loc sa se considere pixeli albi-negri alternanti, se considera pozitiile pixelilor in care se schimba informatia, deci se codifica pozitia fiecarui pixel inceput de trasatura cu referire la linia precedenta

40. Exemplu