1 / 59

Departamento de Ingeniería de Sistemas Telemáticos Universidad Politécnica de Madrid

CONTRIBUCIÓN A LOS MODELOS Y METODOLOGÍAS PARA LA ESTIMACIÓN DE LA CALIDAD PERCIBIDA POR LOS USUARIOS (QoE) A PARTIR DE PARÁMETROS DE CALIDAD DE RED/SERVICIO (QoS) EN SERVICIOS CONVERGENTES MULTIMEDIA (TRIPLE-PLAY). Departamento de Ingeniería de Sistemas Telemáticos

breena
Download Presentation

Departamento de Ingeniería de Sistemas Telemáticos Universidad Politécnica de Madrid

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. CONTRIBUCIÓN A LOS MODELOS Y METODOLOGÍAS PARA LA ESTIMACIÓN DE LA CALIDAD PERCIBIDAPOR LOS USUARIOS (QoE)A PARTIR DE PARÁMETROSDE CALIDAD DE RED/SERVICIO (QoS)EN SERVICIOS CONVERGENTES MULTIMEDIA(TRIPLE-PLAY) Departamento de Ingeniería de Sistemas Telemáticos Universidad Politécnica de Madrid AUTOR: PEDRO DE LA CRUZ RAMOS (UPM) DIRECTORES: FRANCISCO GONZÁLEZ VIDAL (UPM) RAQUEL PÉREZ LEAL (UC3M)

  2. CONTENIDO • Introducción y Objetivos • Modelo General de Calidad • Servicio de Difusión de TV sobre IP (IPTV) • Modelo de Calidad de Vídeo • Servicio de Llamadas de Voz sobre IP (VoIP) • Servicio de Acceso a Internet • Calidad del Servicio Global (3P) • Conclusiones y Líneas Futuras

  3. ¡CONTRIBUCIÓN! INTRODUCCIÓN Contexto: • Servicios Triple-Play (3P): Datos+Voz+Vídeo • Convergentes: Desplegados sobre la misma Red de Transporte IP • Gestionada por un único operador como Sistema Autónomo Objetivo: • Estimación de la Calidad de Experiencia (QoE) • En tiempo casi-real • A partir de parámetros de Calidad de Servicio (QoS) y rendimiento de la red Problema: • No existen modelos de estimación adecuados para Servicios 3P completos Propuesta: • Modelo de estimación para Servicios 3P convergentes completos Utilidad: • Para operadores, usuarios, reguladores y evaluadores

  4. CONCEPTO DE CALIDAD Calidad (en general): ITU-T E.802: La totalidad de las características de una entidad que determinan su capacidad para satisfacer necesidades explícitas o implícitas. Calidad de Servicio (QoS): ITU-T E.802: Efecto colectivo del rendimiento del servicio, que determina el grado de satisfacción de los usuarios. Calidad de Experiencia (QoE): ITU-T G.100/P.10: Aceptabilidad general de una aplicación o servicio, percibida subjetivamente por los usuarios finales. ITU-T E.800: Dos componentes: Cuantitativo: Calidad de funcionamiento de la red Cualitativo: Expectativas de los usuarios

  5. MODELO GENERAL DE CALIDAD

  6. ESTRUCTURA MATRICIAL Servicio 1 Servicio N • Servicios • Percepciones • Agentes • Capacidades • Puntos de Cruce • Indicadores de Rendimiento • Elementales (IRE) • Locales (IRL) • Globales (IRG) Perception 1 Perception 3 Perception 2 Perception 1 Perception 2 Perception 3 CAPACIDAD1 X X Agente N CAPACIDADi X CAPACIDADn X X CAPACIDAD1 X X Agente 1 CAPACIDADi X CAPACIDADn X X X [Liberal 2005]

  7. ELEMENTOS DEL MODELO • Usuarios: Residenciales, SOHO, Empresariales • Servicios: Global, Finales, Básicos, de Soporte ADSL DNS DHCP • Percepciones → Factores Globales de Valoración (FGV) • Agentes → Parámetros de Funcionamiento Interno (PFI)

  8. PROCESO DE EVALUACIÓN • Procesos de Ponderación/Agregación: • Local (PPL): IRE → IRL • Matriz de Ponderación Local (MPL) • Global (PAG): IRL → IRG • Métricas • Proceso de Evaluación Global: AHP • Matrices de Importancia • Índices de Consistencia • Pesos de Ponderación

  9. ¡CONTRIBUCIÓN! APLICACIÓN A TRIPLE-PLAY (I)

  10. APLICACIÓN A TRIPLE-PLAY (II) Agentes

  11. APLICACIÓN A TRIPLE-PLAY (III)

  12. SERVICIO DEDIFUSIÓN DE TELEVISIÓNSOBRE IP(IPTV)

  13. CALIDAD DE EXPERIENCIA EN IPTV ¡CONTRIBUCIÓN! • Depende de múltiples factores: • Calidad Audiovisual: • Calidad de Vídeo • Calidad de Audio • Sincronización Audio-Vídeo (Lip Sync) • Tiempo de Cambio de Canal(zapping) • Disponibilidad y Fiabilidaddel servicio • Condiciones de visionado (tamaño de pantalla, distancia, …) • Condiciones ambientales (iluminación, ruido, …) • Accesibilidad y facilidad de uso (ergonomía) • Servicio de Atención al Cliente • Nos centramos en 1,2 y (posteriormente) 3. QIPTV QAV QTav QTcc QVIDEO QAUDIO

  14. CALIDAD DE VÍDEO • Múltiples medidas: MPQM, PDM, VQM • Medidas RC, RR, SR • Medida elegida: VQM (ITS/NTIA): • RC / RR • Estándar (ITU-T J.144) • Muy buena correlación con MOS (VQEG FR-TV2) • SW Público • Depende de: • Tipo de Códec (MPEG-2/4, H.264) • Tasa de Codificación de Vídeo (VCR) • Fracción de Paquetes Perdidos (PLR) • Formato (SD/HD, 525@60Hz, 625@50Hz) • Tipo de Vídeo (entrelazado, progresivo, ‘pull-down’, …) • Tipo de Secuencia (Natural, Artificial, Atípica) • Contenido de Información (Espacial y Temporal)

  15. MODELOS DE ESTIMACIÓN • ¿Por qué no nos sirven? • Tipo de aplicación • No estiman VQM • No tienen en cuenta el contenido • Forma de variación Modelo Propio

  16. MODELO DE CALIDAD DE VÍDEO Efectos de la Codificación y las Pérdidas Modelo: ¡CONTRIBUCIÓN! VQMC = VQMREF(VCR/VCRREF)-Kc VQMP = (1-VQMC)(PLR/PLR1)Kp VQMT = VQMC + VQMP VQMT si VQMT≤ 1 1,5VQMT/(VQMT+0,5) si VQMT > 1 VQM = • PLR1, KP dependen de VCR: • F(VCR) = A + B·VCR·(1+C·e-(VCR/D)K) • Para cada PLR, existe un VCR óptimo que minimiza VQM (maximiza QoE)

  17. CONTENIDO DE INFORMACIÓN Los coeficientes del modelo dependen del contenido de información ITU-T P.910 Información Espacial: SI = MAXT { STDS{Sobel(Fn)} } Información Temporal: TI = MAXT { STDS{∆(Fn,Fn-1)} } Inconveniente: Demasiado sensibles a valores extraordinarios Redefinición: SI/TI Promedio: ASI = AVGT { STDS{Sobel(Fn)} } ATI = AVGT { STDS{|∆(Fn,Fn-1)|} } ¿ Cómo calcular los coeficientes del modelo a partir de ASI/ATI ?

  18. TABLAS DE COMPLEJIDAD • Interpolación en Tablas de Complejidad precalculadas • Entre 3 valores próximos Fuera de servicio En servicio • Tablas diferentes para cada Tipo de Secuencia

  19. INFLUENCIA DE ASI/ATI Secuencias con valores similares de ASI/ATI pueden tener coeficientes de valores muy distintos Factores que influyen: Formato de vídeo (525/625 líneas) Frecuencia de imágenes (50/60Hz) Tipo de vídeo (entrelazado, progresivo, 'pull-down') Tipo de secuencia: natural o artificial Tamaño y estructura del GOP, etc. Clasificación de las secuencias: Forma de variación: Compleja (picos, crestas y valles) Justifica el cálculo por interpolación

  20. BANCO DE MEDIDAS [Alvarez Villacé 2011] Arquitectura Funcional Prevención/Corrección de Pérdidas de Tramas Medición de ASI/ATI: STIX Parámetros de Codificación y QoS Casos: Medidas: 6.200 en total

  21. ANÁLISIS ESTADÍSTICO Parámetros: Coeficiente de Correlación de Pearson (R) Error Medio (E) Raiz del Error Cuadrático Medio (RMSE) Resultados:

  22. CALIDAD DE AUDIO • Métodos de medida: • NMR, PAQM, PERCEVAL, POM, DIX, OASE, ... • PEAQ [ITU-R BS.1387-1] • Métodos RC • Modelos de estimación: • Redes Neuronales [Mohamed et al 2004] • Modelo T-V [Garcia et al 2009,2011]: Basado en Modelo-E • Q = Q0 – Ic – It • Ic = a1∙ea2∙ACR + a3 • It = (b0-Ic)*(FLR/(b1+FLR)) • MOS = Modelo-E(Q) • ai,bi dependen del códec y las caracterísiticas de las secuencias

  23. CALIDAD AUDIOVISUAL Modelo de Calidad para Servicios Multimedia [ITU-T J.148] Calidad de Audio Calidad de Vídeo Interacción A-V Sincronización A-V Algunos estudios: Aq Fuente de Audio Calidad Auditiva Aq(Vq) Función de Integración de la Calidad Multimedia Retardo Diferencial Calidad Multimedia Fuente de Vídeo Vq(Aq) Calidad Visual Vq Tarea

  24. CALIDAD AUDIOVISUALPARA FLUJOS SINCRONIZADOS • Modelo General: • QAV = K0 + KAQA + KVQV + KAVQAQV • Aproximaciones: • Modelo Lineal: QAV = K0 + KAQA + KVQV • Modelo Multiplicativo: QAV = K0 + KAVQAQV • Algunos modelos: • Tipo, coeficientes: • dependen del tipo • de aplicación

  25. MODELO ELEGIDO • Modelo T-V [Garcia et al 2009,2011] • Más reciente • Específico para IPTV • Influencia del contenido • HD: QAV = K0 + KV∙QV + KAV∙QA∙QV (general) • SD: QAV = K0 + KAV∙QA∙QV (multiplicativo) • MOS = Modelo-E(QAV) • QA se utiliza directamente • QV = Modelo-E-1(MOSV) • Coeficientes: Dependen del tipo de contenido

  26. SINCRONIZACIÓN AUDIO-VÍDEO • Dos alternativas: • Variación logarítmica entre umbrales [ITU-R BT.1359-1] • 1 T ≤ -90ms • 26.97-13.29 log(-T) -90ms < T < -45ms • MOS = 5 -45ms ≤ T ≤ +125ms • 54.26-23.49 log T +125ms < T < +185ms • 1 T ≥ +185ms • Factor de Degradación [ITU-T G.1070] (adaptado) • QTav = max (m10+MS,1) • min (m12+m11∙TAV,0) si TAV > 0 • MS = 0 si TAV = 0 • min (m14-m13∙TAV,0) si TAV < 0

  27. TIEMPO DE CAMBIO DE CANAL Factores que influyen: • Señalización IGMP (Unión/Abandono Grupo) TJ/TL • Adquisición de Claves (Acceso Condicional,DRM) TK • Decodificación de Vídeo TV • Adquisición de Información de Programa (PSI,PAT,PMT) TD • Adquisición de Primera Trama Clave TF • Amortiguación (VBR→CBR,Anti-Jitter) TB • Reordenación de Tramas TR • Retardo en los enlaces de acceso y en la red TN • Recuperación y Corrección de Errores (FEC/RET) TE • Procesamiento (STB,Monitor) TP

  28. MODELO DE ESTIMACIÓN PARA TCC [Kooij et al 2006] [Brunsström 2008] { 5 si TCC < 0,1seg MOS = { 2,65-1,02*ln(TCC) si 0,1seg ≤ TCC≤ 5seg { 1 si TCC > 5seg TCC = TL + TJ + TN + TK + TD + TF + TR + TE + TP + TB + TV TCC≈ TK + TD + TF + TE + TB TCC≈ TF + TB

  29. CALIDAD GLOBAL DEL SERVICIO DE IPTV QIPTV QTav QTcc Dos alternativas: • Modelo Lineal: QIPTV = KIPTV + KAV∙QAV + KTAV∙QTAV + KTCC∙QTCC • Modelo No Lineal: QIPTV = KIPTV + KAV∙QAV + KTAV∙QTAV + KTCC∙QTCC + KAVTAV∙QAV∙QTAV + KAVTCC∙QAV∙QTCC + KTAVTCC∙QTAV∙QTCC Coeficientes: AHP QAV

  30. SERVICIO DELLAMADAS DE VOZSOBRE IP(VoIP)

  31. CALIDAD DE EXPERIENCIA EN VoIP ¡CONTRIBUCIÓN! • Depende de múltiples factores: • Calidad de Voz • Tiempos de Respuesta: • Tiempo de Espera para Marcación • Tiempo de Establecimiento de Llamada • Disponibilidad y Fiabilidaddel servicio • Condiciones ambientales (ruido, …) • Accesibilidad y facilidad de uso (ergonomía) • Servicio de Atención al Cliente • Nos centramos en 1,2 y (posteriormente) 3. QVoIP QTM QTS QV

  32. CALIDAD DE VOZ • Medida: MOS-LQO [ITU-T P.800] • Métodos de Medida: • PSQM [ITU-T P.861] • PESQ [ITU-T P.862] • Depende de: • Tipo de Códec • Tasa de Codificación de Voz (ACR) • Fracción de Paquetes Perdidos (PLR) • Retardo, Jitter, … • Eco, Ruido, Diafonía, …

  33. MODELOS DE ESTIMACIÓN • Modelo-E [ITU-T G.107] R = R0 – Is – Id – Ie + A 1 R < 0 MOS = 1+0,035∙R+R∙(R-60)∙(100-R)∙7∙10-6 0 ≤ R ≤ 100 4,5 R > 100 • Modelo-E para VoIP [Werner 2003] [Sun et al 2004] [Fernández et al 2006] R = R0 – Id – Ie 0,024∙d d < 177,3 0,134∙d – 19,503 d ≥ 177,3 Id = • Ie = a∙ln(1+b∙ρ)+c • El efecto del ‘jitter’ se incluye en las pérdidas • a,b,c dependen del códec

  34. TIEMPO DE ESPERA PARA MARCACIÓN • Desde que se descuelga • Hasta que se recibe el tono de Invitación a Marcar • Modelo Propuesto: • Basado en el usado para TCC en IPTV [Kooij et al 2006] [Brunsström 2008] • Valores Límite: ITU-T E.721 5 TE < 0,18 seg MOS = 2,15 - 1,66∙ln(TE) 0,18 seg ≤ TE≤ 2 seg 1 TE > 2 seg

  35. TIEMPO DE ESTABLECIMIENTO • Desde que se termina de marcar • Hasta que se recibe tono de llamada, ocupado o respuesta • Modelo Propuesto: • Basado en el usado para TCC en IPTV [Kooij et al 2006] [Brunsström 2008] • Valores Límite: ITU-T E.721 5 TS < TMIN MOS = K1 – K2∙ln(TE) TMIN≤ TS≤ TMAX 1 TS > TMAX • K1,K2,TMIN ,TMAX dependen del tipo de llamada

  36. MODELO DE ESTIMACIÓN PARA TEST • Basado en resultados de [IETF 1999] [Eyers et al 2000] sobre tiempos de establecimiento de llamada en VoIP TEST = Σi(Ni∙TRPi+TPi) + Σj(TCj) + TRT i nº de agentes/servidores j nº de conmutadores Ni nº de interacciones con el agente i TRPi Retardo de Propagación hasta el agente i TPi Tiempo de Proceso en el agente i TCj Retardo de Encolamiento en el conmutador j TRT Tiempo de Espera debido a las Retrasmisiones

  37. CALIDAD GLOBAL DEL SERVICIO DE VoIP QVoIP • Dos alternativas: • Modelo Lineal: • QVoIP = KVoIP + KV∙QV + KTM∙QTS + KTS∙QTS • Modelo No Lineal: • QVoIP = KVoIP + KV∙QV + KTM∙QTM + KTS∙QTS • + KVTM∙QV∙QTM + KVTS∙QV∙QTS + KTMTS∙QTM∙QTS • Coeficientes: AHP QTM QTS QV

  38. SERVICIO DEACCESO A INTERNET

  39. CALIDAD DE EXPERIENCIA EN INTERNET Depende de múltiples factores: Calidad de los servicios componentes: Navegación (Web Browsing) Correo Electrónico (E-Mail) Transferencia de Archivos (FTP) Compartición de Archivos (P2P) Otros: Juegos interactivos, Redes Sociales, etc. Disponibilidad y Fiabilidad del/los servicio(s) Condiciones subjetivas: tarea, propósito, etc. Accesibilidad y facilidad de uso de los servicios (ergonomía) Servicio de Atención al Cliente Nos centramos en 1 y (posteriormente) 2 ¡CONTRIBUCIÓN! QINTERNET QFTP QP2P QWEB QEmail

  40. SERVICIO DE ACCESO A INTERNET Servicio Final Servicios Básicos Percepciones/FGVs comunes Tiempo de Arranque Velocidad de Transferencia Sostenida Factores de Eficiencia [Charzinski 2001] Modelo de Estimación [Van der Mei 2004] MOS = max ( 1 , 5+log2 Φ ) Ancho de Banda Sostenible (99%) [ADTRAN 2009] Ancho de Banda Sostenido RL = 1/RTT∙√3/(2∙b∙PLR) QINTERNET QFTP QP2P QWEB QEmail Φ TD RL

  41. SERVICIO DE NAVEGACIÓN (WWW) Φ4 = min ( 1 , (dt+BL/rt)/TT ) TT = TD + TL TD = TDNS + 2∙RTT TL = TMAIN + Σi(Si)/RL ≈ (N+1) ∙S/ RL dt Tiempo de Respuesta Objetivo BL Tamaño de página rt Ancho de Banda Sostenible

  42. SERVICIO DE CORREO ELECTRÓNICO (Email) Φ4 = min ( 1 , (dt+NMAIL∙SMAIL/rt)/TT ) TT = TRESP + TTRF TSNMP = TDNS+TSYN+TGREET+TCMD+TDATA+TMAIL+TMOK TPOP3/IMAP = TDNS+TSYN+TGREET+TCMD+TRETR+TMAIL TT = TCMD + TMAIL + TSERV TT ≈ NCMD*∙TCMD* + NMAIL*∙SMAIL*/RL + TSERV*

  43. SERVICIO DE TRANSFERENCIA DE ARCHIVOS(FTP) Φ1 = KG∙G + KTTP∙TTP G ≈ G0 - k∙PLR TTP ≈ TTP0∙min(1,e-k∙(PLR-PLR0)) G,TTP: [Beuran et al 2003,2004]

  44. SERVICIO DE COMPARTICIÓN DE ARCHIVOS(P2P) Dos regímenes: Φ4 = min ( 1 , (dt+L/rt)/(TD+TL) rt = min(rs,RC) = min(n∙RS,RC) Reg.Transitorio: TL = 1/(m∙β)∙ln(m∙q/d) [Yang et al 2004] Reg.Permanente: TL = L/RC RC = L∙l/n [Carlsson,Dan 2009] RC = μS∙(n+y/x) [Yang et al 2004]

  45. CALIDAD GLOBAL DEL SERVICIODE ACCESO A INTERNET Dos alternativas: Combinación Lineal de Valoraciones de Calidad QAI1 = KAI + KWEB·QWEB + KMAIL·QMAIL + KFTP·QFTP + KP2P·QP2P Combinación Lineal de Factores de Eficiencia ΦAI1 = κAI + κWEB· ΦWEB + κMAIL· ΦMAIL + κFTP· ΦFTP + κP2P· ΦP2P Coeficientes: AHP

  46. CALIDAD DEL SERVICIO GLOBAL(3P)

  47. CALIDAD GLOBAL EN SERVICIOS 3P Proceso de Valoración Global: Servicios Elementales/Finales → 'Calidad Básica' Efecto de la Fiabilidad y Disponibilidad Ponderación de los Servicios Básicos Ponderación de los Servicios Finales Proceso de Ponderación Local Proceso de Agregación Global ¡CONTRIBUCIÓN! QS QD QF QBS FGV1 FGVn Q3P QINTERNET QIPTV QToIP ∙∙∙ QWWW QP2P

  48. DISPONIBILIDAD Y FIABILIDAD • FGV = Fracción de 'conexiones' fallidas/interrumpidas • Modelo de Valoración: • 1 p < pmax • Qi = (log p - log pmin)/(log pmax - log pmin) pmax ≤ p ≤ pmin • 0 p > pmin • MOSi = 1 + 4·Qi • Modelo de Ponderación: • Lineal: • MOSS = KB·MOSB + KD·MOSD + KF·MOSF • Multiplicativo: • QS = QB · QD · QF • Qi = (MOSi-1)/4

  49. PONDERACIÓN DE LOS SERVICIOS FINALES • Importancia relativa (Usuarios Residenciales) → A partir de estadísticas de uso [INE 2011] Peso = %Hogares / ΣS(%HogaresS)

  50. PROCESO DE PONDERACIÓN LOCAL • Matriz de Ponderación Local: • Depende de los Flujos de Información considerados • Flujo único: no precisa ponderación • Múltiples flujos: 'Peso' de cada Capacidad depende de: • Participación en cada flujo • Importancia de cada flujo • Proceso de cálculo: • Capacidades Relevantes • Porcentajes de flujos • Pesos

More Related