Vasile Bogdan <bogdan_constantin_vasile@yahoo>

1. UNIVERSITY POLITEHNICA of BUCHAREST DEPARTMENT OF COMPUTER SCIENCE Transmisiadatelor multimedia in retele de calculatoare Content Based Architecture For Video transcoding Vasile Bogdan <bogdan_constantin_vasile@yahoo.com>

3. Cuprins • Introducere • Transcoding • MPEG-1 • Tipuri de transcodere • Abordarea propusă • Concluzii • Întrebări • Referinţe

4. Introducere • Odată cu dezvoltarea terminalelor mobile si a retelelor de comunicatie cantitatea de date multimedia destinate acestora a crescut considerabil • O foarte mare parte din datele care circula intre si catre dispozitivele mobile sunt stream-uri video • Necesare prelucrări ale sursei pentru a obtine compatibilitate cu dispozitivul destinaţie.

5. Introducere(2) • Ecranele dispozitivelor mobile sunt de obicei mici ca rezoluţie şi de calitate slabă comparativ cu ecranele mari. • Puterea de calcul de care dispun terminalele este redusă, ceea ce înseamnă ca prelucrările asupra fluxului de date nu pot fi făcute offline, pe dispozitivul client • Lăţimea de bandă nu este nici ea foarte mare, ceea ce poate crea probleme în ceea ce priveşte cursivitatea redării.

6. Transcoding • Pentru a adapta datele video condiţiilor impuse de terminale si de reţelele de comunicaţie care le deservesc, formatul video trebuie modificat dinamic, online, astfel incât să ajungă gata de redare la client. • Această procedură poartă numele de transcoding şi presupune transformarea formatului folosit pentru date vizând unul din aspectele: • Conversie de bitrate • Conversie de rezoluţie • Conversie sintactică

7. Conversie de bitrate • Formatul sursă presupune un video la o calitate bună sau foarte bună, dar transferul său consumă foarte multă bandă. • Terminalele în general nu pot beneficia de suplimentul de calitate. • Clipul este transformat in unul cu bitrate mai mic, ceea ce duce la o incărcare mai mică a retelei şi la o redare mai fluentă.

8. Conversie de rezoluţie • În cele mai multe cazuri, rezoluţia ecranelor terminalelor este mică în comparaţie cu rezoluţia sursei • Se face conversia la o rezoluţie mai mică, compatibilă cu terminalul • Rezolvă şi probleme privitoare la lăţimea de bandă

9. Conversia sintactică • Presupune transformarea formatului datelor în un format suportat de dispozitivul mobil • Poate fi făcută atât online, cât şi offline în cazul în care dispozitivele suportă instalarea de codecuri. • De cele mai multe ori, sunt folosite combinaţii ale celor trei metode, alaturi de algoritmi de compresie a datelor.

10. MPEG • Protocol care permite comprimarea unui stream video şi a unuia audio, într-un format lossy • Profită de imposibilitatea ochiului uman de a distinge între schimbările subtile în cromatică (spre deosebire de strălucire) • Constituit din diverse tipuri de frame-uri: • I-frame : Frame-uri care conţin informaţii ce permit căutarea în fişier şi prelucrarea acestuia • P-Frame(Predicted Frame): Conţin variaţiile faţă de frame-urile de bază, folosite pentru a reconstitui frame-uri complete.

11. MPEG(1) • B-Frames(Bidirectional Frames): Folosite pentru reconstituirea unei scene pe baza unor frame-uri precedente, precum şi a unora viitoare • D-Frames: Conţin numai coeficienţii DC ai transformarii cosinus discrete • Macroblocks: Blocuri de 16x16 pixeli. Desi MPEG este definit pentru blocuri de 8x8, datorita rescalarii in domeniul cromatic sunt necesare aceste blocuri mai mari • Vectori de Miscare: La nivel de macroblock, memorează variaţiile din scene consecutive

12. Transcoder in cascadă • Cel mai simplu transcoder este cel în cascadă • Fluxul de date este decodat comform protoculului folosit iniţial şi apoi este recodat în formatul necesar • Consumă multe resurse computaţionale

13. Transcoder pentru scăderea de bitrate • Pentru reducerea de bitrate este preferabilă în schimb utilizarea unui transcoder care să aibă la intrare formatul sursă şi la iesire formatul destinaţie, cu toate transformările necesare deja efectuate. • Bitrate-ul redus este obţinut prin folosirea transformării cosinus discrete(coeficienţii transformării sunt scalaţi sau ignoraţi optimal)[1] • Erorile de reconstituire sunt cumulative. • Vectorii de mişcare din sursă nu pot fi folosiţi ca atare în noul format, din cauza variaţiei mari de bitrate.

14. Transcoder pentru scăderea de bitrate(1) • Scalarea vectorilor de mişcare ar asigura o calitate bună dar consumă multe resurse computaţionale • Se foloseşte o scalare parţială a vectorilor de miscare, luându-se drept sursă doar o parte a imaginii.

15. O abordare mai eficientă

16. Extragerea de caracteristici • Fiecare vector de mişcare corespunde unui bloc de 16x16 pixeli • Sunt necesare informaţiile folosite pentru TCD • Vectorii de mişcare sunt grupaţi in funţie de magnitudine şi de direcţie şi mulţimea obţinută este considerată ca fiind un potenţial obiect • Analiză de texturi şi margini • Pe baza coeficienţilor TCD, se calculează energia texturii, ca un mod de a obţine caracteristici diferite pentru obiectele în sine şi fundal

17. Calculul energiei – model propus

18. Folosind coeficienţii TCD se pot deduce caracteristicile diagonale, orizontale şi verticale ale blocurilor, ceea ce va permite diferenţierea lor in blocuri textură şi blocuri de graniţă

19. Control temporal • Folosind vectorii de mişcare se merge pe ideea că o mişcare lină corespunde unor vectori de mişcare care nu reflectă schibări bruşte. • În acest fel se poate stabili gradul de corelaţie între diferite frame-uri şi astfel se poate decide ponderea unui frame în determinarea altor frame-uri apropiate

20. Transcodarea • Transcodarea va fi controlată de un modul special, pentru a asigura scalabilitatea soluţiei • După toate etapele prezentate, transcodarea în sine se va realiza tot prin scalarea coeficienţilor TCD în cazul modificarii de bitrate, la care se adaugă operaţiile necesare reducerii rezoluţiei în cazul în care aceasta este necesară.

21. Concluzii • Având în vedere trecerea tot mai accentuată în domeniul live-streaming, metote tot mai eficiente de transcodare trebuiesc găsite. • Deşi terminalele devin tot mai puternice, la fel se întâmplă şi cu setea de HD a utilizatorilor (dar şi a marketerilor) • Pe viitor necesitatea de a obţine algoritmi care să ofere o calitate tot mai bună a imaginii va fi tot mai mare, dispariţia nevoii de a rescala filmele nu va insemna dispariţia nevoii de transcodare.

22. Întrebări?

23. Referinţe • CONTENT BASED ARCHITECTURE FOR VIDEO TRANSCODING – Ashraf M.A. Ahmad1, Bashar Mammon Ahmad • MPEG-1 format : http://en.wikipedia.org/wiki/MPEG-1#Part_1:_Systems • Image Compresion: http://www.acm.org/crossroads/xrds6-3/sahaimgcoding.html • Texas Instruments DaVinci hardware Transcoder http://www.ti.com/corp/docs/landing/transcoding/index.htm