Poglavlje 7 Multimedi jalno umrežavanje

Poglavlje 7Multimedijalno umrežavanje Computer Networking: A Top Down Approach Featuring the Internet, 3rd edition. Jim Kurose, Keith RossAddison-Wesley, July 2004. 7: Multimedijalno umrežavanje

QoS mreža obezbeđuje aplikaciji nivo performansi potreban za funkcionisanje aplikacije Multimedija, Quality of Service: Šta je to? Multimedijalne aplikacije: mrežni audio i video (“kontinualni mediji”) 7: Multimedijalno umrežavanje

Poglavlje 7: Ciljevi Principi • Klasifikacija multimedijalnihaplikacija • Identifikacija mrežnih servisa koji su potrebni aplikaciji • Odabrati najbolji od best effort servisa • Mehanizmi za obezbeđivanje QoS Protokoli i arhitekture • Specifični protokoli za servis najboljeg pokušaja • Arhitekture za QoS 7: Multimedijalno umrežavanje

7.1 Multimedijalne mrežne aplikacije 7.2 Streaming uskladištene audio i video aplikacije 7.3 Multimedija u realnom vremenu: Proučavanje telefoniranja preko Internet-a 7.4 Protokoli za interaktivne aplikacije koje rade u realnom vremenu RTP,RTCP,SIP 7.5 Distribuirane multimedijalne aplikacije: distribuirane mreže bazirane na sadržaju 7.6 Iznad najboljeg pokušaja 7.7 Mehanizmi raspoređivanja i vođenja politike 7.8 Integrisani servisi i diferencirani servisi 7.9 RSVP Poglavlje 7: sadržaj 7: Multimedijalno umrežavanje

Osnovne karakteristike: Tipičnoosetljivost na kašnjenje end-to-end kašnjenje jitter kašnjenje Tolerancija gubitaka:gubici koji se ne pojavljuju čestoprouzrokovani minornim greškama-kvarovima Ove karakteristike se razlikuju od "elastičnih" Web aplikacija, e-mail, FTP i Telnet, koje su netolerantne na gubitke ali tolerantne na kašnjenje Klase MM aplikacija: 1) Streaming uskladištenog audio i video sadržaja 2) Streaming audio i video signala-zapisa "uživo" 3) Interaktivni audio i video u realnom vremenu MM aplikacije umrežavanja • Jitterje promena kašnjenja paketaunutar • istog toka paketa(packet stream) 7: Multimedijalno umrežavanje

Streaming uskladištenihmultimedijanih aplikacija Streaming: • medijalna aplikacijauskladištena na izvoru • transmitovana do klijenta • streaming: klijentovo preslušavanje ili gledanje - playout počinje prenego što svi podaci stignu - vremenska ograničenja za podatke koji još uvek treba da se prenesu nisu toliko stroga kao kod aplikacija "uživo", interaktivnih aplikacija kao što su telefoniranje preko Interneta i video konferensing. 7: Multimedijalno umrežavanje

2. video sent 3. video received, played out at client 1. video recorded network delay streaming:u ovom trenutku, klijent izvodi (play out)rani-početni deo videa, dok server još uvek šalje preostali deo videa Streaming uskladištene multimedijalne aplikacije:Šta je to ? Kumulativni podaci vreme 7: Multimedijalno umrežavanje

Streaming uskladištene multimedijalne aplikacije: interaktivnost • Funkcionalnost kao-kod-VCR-a: klijent može da pauzira, premota video zapis itd. • 10 sec početno kašnjenje OK • 1-2 sec dok komanda ne počne da se izvršava OK • RTSP je često korišćen 7: Multimedijalno umrežavanje

Streaming multimedijalnih aplikacija "uživo" Primeri: • Internet radio talk show • Uživo sportski događaji Streaming • playback bafer • playback može da se uspori nekoliko desetina sekundi nakon transmisije • postoje vremenska ograničenja još uvek Interaktivnost • nemuguće brzo premotavanje • premotavanje pa pauza, to je moguće 7: Multimedijalno umrežavanje

Interaktivnost, Multimedija u realnom vremenu • zahtevi end-end kašnjenja: • za glas, kašnjenja manja od 150 msec slušalac ne primećuje • kašnjenja između 150 msec i 400 msec mogu biti prihvatljiva • uključuju aplikacioni-nivo (paketizacija) i mrežna kašnjenja • značajno veća kašnjenjaslabe interaktivnost • inicijalizacija sesija • kako onaj koji poziva oglašava svoju IP adresu, broj porta, algoritme kodiranja? • aplikacije: IP telefoniranje, video konferencija, distribuirani interaktivni svet 7: Multimedijalno umrežavanje

? ? ? ? ? ? ? Ali rekli ste da multimedijalne aplikacije zahtevaju da QoS i nivo performansi budu efikasni! ? ? ? ? Današnje multimedijalne aplikacije na Internet-u koriste tehnike aplikacionog nivoa da bi smanjile (što je moguće više) uticaje kašnjenja i gubitaka Multimedija preko današnjeg Internet-a TCP/UDP/IP: “servis najboljeg pokušaja” • nema garancija da neće biti kašnjenja, gubitaka 7: Multimedijalno umrežavanje

Filozofija integrisanih servisa: Fundamentalne promene na Internet-u tako da aplikacije mogu da rezervišu end-to-end širinu opsega Zahteva novi, kompleksan softver na hostovima i ruterima Nemešanje nema promena kao gore ISP povećavaju širinu opsega kako zahtevi rastu mreže sa distribucijom sadržaja repliciraju uskladišten sadržaj na krajeve Internet-a (Web strane, MP3, video) višestruko upućivanje na overlay mrežama na aplikacionom sloju sportski događaji Filozofija različitih servisa: Male promene Internet infrastrukturetako da se obezbeđuje prva i druga klasa servisa Kako treba razvijati Internet da bolje podržava multimediju? 7: Multimedijalno umrežavanje

pre prenosa preko računarskih mreža signal treba biti digitalizovan i komprimovan Analogni signal (glas, muzika) je semplovan konstantnom brzinom telefon: 8,000 samples/sec CD muzika: 44,100 samples/sec Svaki odbirak je kvantizovan, tj. zaokružen npr. 28=256 mogućih kvantizacionih veličina Svaka kvantizaciona veličina je predstavljena bit-ovima 8 bit-ova za 256 vrednosti PCM impulsno kodna modulacija primer: 8,000 samples/sec, 8 bitova --> 64,000 bps Prijemnik vrši konverziju nazad u analogni signal: postoji smanjenje kvaliteta CD - 44100 samples/sec, 16 bits per sample Primeri brzina CD stereo: 1.411 Mbps tehnike kompresije MPEG 1 sloj 3 - MP3: 96, 128, 160 kbps. Kada se datoteka MP3 razbije na delove, svaki deo još uvek može da se reprodukuje. Nekoliko reči o audio kompresiji 7: Multimedijalno umrežavanje

Video je niz slika prikazanih konstantnom brzinom npr. 24 ili 30slika/sec Digitalna slika je niz piksela Svaki piksel je predstavljen bit-ovima koji definišu osvetljenje i boju Redundantnost prostorna vremenska Primeri: MPEG 1 (CD-ROM) 1.5 Mbps MPEG2 (DVD) 3-6 Mbps MPEG4 (za objektno orijentisanu video kompresiju, često korišćen na Internet-u, < 1 Mbps) Istraživanje: Uslojeni (skalabilni) video prilagođava slojeve na iskoristljivu širinu opsega Nekoliko reči o video kompresiji 7: Multimedijalno umrežavanje

RealTimeProtocol, RTStreamingP Tehnike streaming-a aplikacionog nivoa za pravljenje najboljeg rešenja servisa najboljeg pokušaja: bafering na klijent strani korišćenje UDP-a u odnosu na TCP višestruka kodiranja multimedije dekompresija uklanja jitter korekcija greške Streaming uskladištene multimedijalne aplikacije Media Player 7: Multimedijalno umrežavanje

Multimedija na Iternet-u: najprostiji pristup • audio ili video uskladišten u fajl • pretraživač uspostavlja TCP konekciju sa Web serverom i zahteva audio/video fajl sa HTTP zahtev-porukom • fajl transferovan kao HTTP objekat • primljen u potpunosti na klijent strani • onda prosleđen plejeru audio, video nisu stream-ovani: • ne postoji, “pipelining,” duga kašnjenja,dok ne bude playout! 7: Multimedijalno umrežavanje

Multimedija na Iternet-u: streaming pristup • pretraživač dobija (GET)metafile(URL ili tip kodiranja) • pretraživač startuje player, prosleđujući mu metafile • player kontaktira server • server stream-ujeaudio/video ka player-u 7: Multimedijalno umrežavanje

Streaming sa streaming servera • Ova arhitektura dozvoljava protokole koji nisu HTTP između servera i medija player-a • Koristi UDP radije nego TCP 7: Multimedijalno umrežavanje

client video reception constant bit rate video playout at client variable network delay buffered video client playout delay Streaming multimedijalne aplikacije: bafering na klijent strani • Bafering na klijent strani, playout kašnjenje kompenzuje dodatno kašnjenje na mreži, jitter kašnjenje constant bit rate video transmission Cumulative data time 7: Multimedijalno umrežavanje

Streaming multimedijalne aplikacije: bafering na klijent strani • Bafer na klijent strani se puni brzinom x(t) i prazni brzinom d constant drain rate, d variable fill rate, x(t) buffered video 7: Multimedijalno umrežavanje

Streaming multimedijalne aplikacije: UDP ili TCP? UDP • server šalje brzinom koja odgovara klijentu (ne obazire se na mrežna zagušenja !) • brzina slanja = brzina kodovanja = konstantna brzina • zatim, brzina punjenja = konstantna brzina - paketni gubici • kratko playout kašnjenje (2-5 sekundi) da bi kompenzovao mrežno jitter kašnjenje • oporavak od greške TCP • slanje je sa maksimalno mogućom brzinom kod TCP-a • brzina punjenja se menja zbog TCP kontrole zagušenja, retransmisije izgubljenih paketa • veće playout kašnjenje: "glatka" TCP brzina isporuke • HTTP/TCP prolaze lakše kroz firewalls 7: Multimedijalno umrežavanje

Streaming multimedijalne aplikacije: klijentova brzina (e) 1.5 Mbps encoding 28.8 Kbps encoding Q:kako rukovati različitim sposobnostima klijentove brzine prijema? • 28.8 Kbps dialup • 100Mbps Ethernet A: server skladišti, transmituje više kopija videa, kodiranih različitim brzinama 7: Multimedijalno umrežavanje

HTTP Nije mu cilj multimedijalni sadržaj Nema komande za brzo premotavanje, repozicioniranje, itd. RTSP: RFC 2326 Klijent-server protokol aplikacionog sloja. Za korisnika da bi kontrolisao display: rewind, fast forward, pause, resume, repositioning itd. … Šta ne radi: ne definiše kompresione šeme za audio i video ne definiše kako je audio/video enkapsuliran za streaming preko mreže ne određuje kako se streamed media transportuje; može biti transportovan preko UDP-a ili TCP-a ne specificira kako media player baferuje audio/video Korisnička kontrola streamingamedia:Real Time Streaming Protocol - RTSP 7: Multimedijalno umrežavanje

FTP koristi “out-of-band” kontrolni kanal: Fajl je prenešen preko jedne TCP konekcije. Kontrolne informacije (promena direktorijuma, brisanje fajla, promena imena fajla, itd.) se šalju preko odvojene TCP konekcije. “out-of-band” i “in-band” kanali koriste različite brojeve portova RTSP poruke su takođe poslate out-of-band: RTSP kontrolne poruke koriste različite brojeve portova u odnosu na media stream: out-of-band. Port 554 media stream se posmatra “in-band”. RTSP: out of band kontrola 7: Multimedijalno umrežavanje

RTSP Primer Scenario: • metafile za komunikaciju ka web browser-u • browser startuje player • player postavlja RTSP control konekciju, data konekciju ka streaming server-u 7: Multimedijalno umrežavanje

Metafile primer <title>Twister</title> <session> <group language=en lipsync> <switch> <track type=audio e="PCMU/8000/1" src = "rtsp://audio.example.com/twister/audio.en/lofi"> <track type=audio e="DVI4/16000/2" pt="90 DVI4/8000/1" src="rtsp://audio.example.com/twister/audio.en/hifi"> </switch> <track type="video/jpeg" src="rtsp://video.example.com/twister/video"> </group> </session> 7: Multimedijalno umrežavanje

Kako radi RTSP 7: Multimedijalno umrežavanje

RTSP primer razmene C - client, S - sender C: SETUP rtsp://audio.example.com/twister/audio RTSP/1.0 Transport: rtp/udp; compression; port=3056; mode=PLAY S: RTSP/1.0 200 1 OK Session 4231 C: PLAY rtsp://audio.example.com/twister/audio.en/lofi RTSP/1.0 Session: 4231 Range: npt=0- . C: PAUSE rtsp://audio.example.com/twister/audio.en/lofi RTSP/1.0 Session: 4231 Range: npt=37 . C: TEARDOWN rtsp://audio.example.com/twister/audio.en/lofi RTSP/1.0 Session: 4231 S: 200 3 OK 7: Multimedijalno umrežavanje

PC-2-PC telefoniranje instant messaging servisi obezbeđuju ovo PC-2-telefon Dialpad Net2phone video konferensing koristeći Web kamere Interaktivne aplikacije koje rade u realnom vremenu 7: Multimedijalno umrežavanje

Interaktivne multimedijalne aplikacije: telefoniranje preko Internet-a Predstavljanje telefoniranja preko Internet-a kroz primer • govornikov glas-audio: naizmenično se smenjuje priča i tišina. • 64 kbps za vreme talkspurt • paketi su generisani samo za vreme priče-talk spurts • 20 msec chunks na 8 Kbytes/sec: 160 bytes podataka • heder aplikacionog sloja dodat svakom komadu-chunk. • Chunk+header su enkapsulirani u UDP segment. • aplikacija šalje UDP segment na soket svakih 20 msec za vreme talkspurt. 7: Multimedijalno umrežavanje

Internet telefoniranje: gubici i kašnjenje paketa • mrežni gubici: IP datagram izgubljen zbog zagušenja mreže (prepunjen bafer rutera) • gubici usled kašnjenja: IP datagram stiže suviše kasno za playout kod primaoca • kašnjenja: procesiranje, rad sa redovima u mreži; kašnjenja end-system-a (pošiljalac i primalac) • tipično maksimalno dozvoljeno kašnjenje: 400 ms • tolerancija gubitaka: zavisno od kodiranja glasa, prikrivanje gubitaka, brzina gubitaka paketa između 1% i20% može da se toleriše 7: Multimedijalno umrežavanje

client reception constant bit rate playout at client variable network delay (jitter) buffered data client playout delay Kašnjenje usled jitter-a • Posmatramo end-to-end kašnjenja dva susedna paketa: razlika može biti veća od 20 msec • izbegavanje jitter-a: sequence numbers, timestamps, playout delay. constant bit rate transmission Cumulative data time 7: Multimedijalno umrežavanje

Internet telefoniranje: fiksnoplayout kašnjenje • Primalac pokušava da izvede-playout svakog chunk-atačno q msecs nakon generisanja chunk-a. • chunk ima vremensku markicu t: play out chunk je u t+q . • chunk stiže nakon t+q: podaci stižu isuviše kasno za playout, podaci su “izgubljeni” • Tradeoff za q: • veliko q: manji gubici paketa • malo q: bolja interaktivnost 7: Multimedijalno umrežavanje

Fiksnoplayout kašnjenje • Sender generates packets every 20 msec during talk spurt. • First packet received at time r • First playout schedule: begins at p • Second playout schedule: begins at p’ 7: Multimedijalno umrežavanje

Adaptivnoplayout kašnjenje, I • Goal:minimize playout delay, keeping late loss rate low • Approach:adaptive playout delay adjustment: • Estimate network delay, adjust playout delay at beginning of each talk spurt. • Silent periods compressed and elongated. • Chunks still played out every 20 msec during talk spurt. Dynamic estimate of average delay at receiver: where u is a fixed constant (e.g., u = .01). 7: Multimedijalno umrežavanje

Adaptivnoplayout kašnjenje, II Also useful to estimate the average deviation of the delay, vi : The estimates di and vi are calculated for every received packet, although they are only used at the beginning of a talk spurt. For first packet in talk spurt, playout time is: where K is a positive constant. Remaining packets in talkspurt are played out periodically 7: Multimedijalno umrežavanje

Adaptivnoplayout kašnjenje, III Q: How does receiver determine whether packet is first in a talkspurt? • If no loss, receiver looks at successive timestamps. • difference of successive stamps > 20 msec -->talk spurt begins. • With loss possible, receiver must look at both time stamps and sequence numbers. • difference of successive stamps > 20 msec and sequence numbers without gaps --> talk spurt begins. 7: Multimedijalno umrežavanje

forward error correction (FEC): šema za svaku grupu od n chunks kreirati redundant chunk koristeći exclusive OR nad n originalnih chunks poslati n+1 chunks, povećavajući širinu opsega za faktor 1/n. može se rekonstrurati original od n chunks ako postoji najviše jedan izgubljeni chunk od n+1 chunks Playout kašnjenje treba da bude fiksirano na vreme za prijem svih n+1 paketa Tradeoff: veće n, manje trošenje širine opsega veće n, veće playout kašnjenje veće n, veća verovatnoća da će dva ili više chunks biti izgubljena Oporavak od gubitaka paketa (1) 7: Multimedijalno umrežavanje

Oporavak od gubitaka paketa (2) • 2nd FEC scheme • “piggyback lower quality stream” • send lower resolutionaudio stream as theredundant information • for example, nominal stream PCM at 64 kbpsand redundant streamGSM at 13 kbps. • Whenever there is non-consecutive loss, thereceiver can conceal the loss. • Can also append (n-1)st and (n-2)nd low-bit ratechunk 7: Multimedijalno umrežavanje

Preklapanje chunks se dele na manje jedinice npr. 4 x 5 msec jedinica po chunk-u Paket sadrži male jedinice od različitih chunks ako je paket izgubljen, još uvek sadrži dovoljno informacija za svaki chunk nema redundancy overhead ali utiče na povećanje playout kašnjenja Oporavak od gubitaka paketa (3) 7: Multimedijalno umrežavanje

Zaključak: Internet multimedija • koristiti UDPda bi se izbegla TCP congestion control (kašnjenja) za vremenski-osetljiv saobraćaj • na klijent strani koristiti adaptive playout delay: za kompenzaciju kašnjenja • na server stranipodesiti stream bandwidthna iskoristljivu širinu opsega putanje od klijenta do servera • izabrati između pre-encoded stream rates • dynamic server encoding rate • oporavak od grešaka (na vrhu UDP-a) • FEC, preklapanje • retransmisija 7: Multimedijalno umrežavanje

RTP određuje strukturu paketa za pakete koji nose audio i video podatke RFC 1889. RTP paket omogućava payload type identifikaciju packet sequence numbering timestamping RTP radi na krajevima sistema. RTP paketi su enkapsulirani u UDP segmente Interoperabilnost: ako dve Internet phone aplikacije startuju RTP, onda one mogu biti sposobne da rade zajedno Real-Time Protocol (RTP) 7: Multimedijalno umrežavanje

RTP radi na vrhu UDP-a • RTP biblioteke obezbeđuju interfejs transportnog-sloja • što proširuje UDP: • broj porta, IP adrese • payload type identifikacija • packet sequence numbering • time-stamping 7: Multimedijalno umrežavanje

Posmatramo slanje 64 kbps PCM-kodirani glas preko RTP-a. Aplikacija sakuplja kodirane podatke u chunks, npr. svakih 20 msec = 160 bytes u chunk-u. Audio chunk sa RTP header-om formira RTP paket, koji je enkapsuliran u UDP segment. RTP header pokazuje tip audio kodiranja u svakom paketu sender može da menja kodiranje za vreme konferencije. RTP header takođe sadrži sequence numbers i timestamps. RTP primer 7: Multimedijalno umrežavanje

RTP i QoS • RTP nedaje bilo kakav mehanizam za obezbeđivanje isporuke podataka za određeno vreme ili druge garancije za kvalitet servisa. • RTP enkapsulacija se jedino vidi na krajevima sistema: ona se ne vidi na ruterima između. • Ruteri koji obezbeđuju best-effort servis ne čine bilo kakav specijalan napor da bi obezbedili da RTP paketi stignu na odredište za određeno vreme. 7: Multimedijalno umrežavanje

RTP Header • Payload Type (7 bits):pokazuje tip kodiranja koji se tekuće koristi. • Ako pošiljalac menja kodiranje usred konferencije, on informiše • primaoca preko ovog payload type polja. • Payload type 0: PCM mu-law, 64 kbps • Payload type 3, GSM, 13 kbps • Payload type 7, LPC, 2.4 kbps • Payload type 26, Motion JPEG • Payload type 31. H.261 • Payload type 33, MPEG2 video • Sequence Number (16 bits):se povećava za jedan za svaki poslati • RTP paket imože da se koristi za detekciju gubitaka paketa i za • restauriranjeniza paketa. 7: Multimedijalno umrežavanje

Timestamp polje (32 bits dugo). Prikazuje trenutak sempliranja prvog bajta u RTP paketu podataka. Za audio, timestamp clock se tipično povećava za jedan za svaki period odabiranja (npr. svakih 125 mikrosecs za 8 KHz sampling clock) ako aplikacija generiše chunks od 160 kodiranih odbiraka-samples, onda se timestamp povećava za 160 za svaki RTP paket kada je izvor aktivan. Timestamp clock nastavlja da se povećava konstantnom brzinom čak i kada je izvor neaktivan. SSRC polje (32 bits dugo).Synchronization source identifier identifikuje izvor RTP stream-a. Svaki stream u RTP sesiji treba da ima različit SSRC. RTP Header (2) 7: Multimedijalno umrežavanje

Poglavlje 7 Multimedi jalno umrežavanje