Challenges in Internet Simulation for Performance Evaluation

1. Avaliação de Desempenho Simulando a Internet Carlos Alberto Kamienski (cak@ufabc.edu.br) UFABC

2. Simular a Internet: dificuldades • Simular a Internet representa um desafio • Devido às suas características únicas é difícil obter uma caracterização precisa • Internet global: pública + privada • Algumas conclusões obtidas há alguns anos não são mais válidas • Mudanças nos perfis dos usuários • Novos protocolos e aplicações • A Internet é um grande alvo móvel

3. Dimensões da Internet • A Internet é muito grande (qualquer aspecto) • Métricas para o tamanho da Internet: • Número de usuários, redes, computadores, interconexões, tráfego, acessos a sites, mensagens de correio eletrônico, etc. • Problemas: • Pouco representa muito • Escalabilidade

4. Dimensões da Internet http://www.netsizer.com

5. Heterogeneidade • Sucesso da Internet: protocolo IP • Aceita praticamente qualquer rede subjacente • Utilização de muitas tecnologias diferentes • Ethernet, WLAN (Wi-Fi), WiMax • Linha discada, ADSL, RDSI, Modem a cabo • Modem celular, Blue Tooth, GPRS, 3G, 3.5G, 3.75G, 4G • ATM, Frame Relay, SDH, WDM • Dificuldade em compreender o funcionamento • Não existe uma topologia “típica” da Internet • Diversidade de enlaces: alguns Kbps até 10 Gbps (e além) • Protocolos e padrões de tráfego

6. Mudanças drásticas • Mudanças ocorrem de maneira rápida e imprevisível • Exemplo: • Crescimento súbito do tráfego de alguma aplicação • Depois de algum tempo, volta aos padrões antigos • Exemplos: compartilhamento P2P: filmes, músicas, programas • Possíveis fontes de mudanças imprevisíveis: • Estruturas de tarifação • Tecnologias de redes sem fio e dispositivos móveis • Cache de Web

7. Requisitos para pesquisa • Requisitos que pesquisadores necessitam nos simuladores da Internet • Abstração • Emulação • Geração de cenários • Visualização • Possibilidade de expansão • Disponibilidade de protocolos e mecanismos

8. Abstração • Abstração: nível de detalhamento do modelo • Simulações de alto nível • Simulações detalhadas • Vários níveis abstração (ou granularidade) em um mesmo simulador são úteis • Dúvida: nível de representação de componentes • Abstrair ou não abstrair: • Precisão nos resultados • Tempo de desenvolvimento do simulador e de simulação • Exemplos • Redes locais, protocolos de aplicação, roteamento dinâmico

9. Emulação • Interação de elementos da rede real com um ambiente de simulação • Utilização em experimentação e simulação • Tipos: • Aplicação no simulador “conversa” com aplicação real • Simulador utilizado como uma “nuvem de rede”, uma WAN • Vários roteadores e enlaces com características distintas • Pode introduzir atrasos, descartes, congestionamentos, etc. • Mecanismos de escalonamento e encaminhamento • Pode ser usado para simular uma WAN em um testbed • Emuladores: Nist Net, ns

10. Geração de cenários • É difícil obter cenários representativos da Internet através de configuração manual • Geração automática de: • Topologias • Padrões de tráfego • Eventos dinâmicos (falhas em enlaces) • Avaliação de robustez de protocolos é mais confiável com geração automática • Por outro lado, cenários simples possibilitam entender melhor o comportamento da rede

11. Topologias • Topologias de redes locais não representam a Internet • Topologias típicas: • Provedores não revelam topologia • Interconexão de provedores é inferida a partir de tabelas BGP

12. Topologias - Interconexão

13. Topologias - geradores • Geradores ad-hoc: • GT-ITM e Tiers • Topologias em três níveis • Geradores baseados em medições • BRITE e Inet • Crescimento incremental e número de interconexões

14. Topologia – Exemplo Tiers

15. Modelos de tráfego • Geração de tráfego sintético (modelos) • Simular corretamente o tráfego real • Características dos pacotes gerados: • Tamanho, periodicidade, rajadas, etc. • Tráfego de dados: protocolo TCP • HTTP, FTP, SMTP, TELNET, POP, IMAP • 90% do tráfego da Internet • Tráfego multimídia: UDP • Voz: CBR, On-Off • Vídeo: CBR e VBR (MPEG 1-2-4, H.261, H263) • Tráfego agregado • Auto-similar

16. Tráfego On-Off

17. Tráfego VBR

18. Tráfego FTP (TCP)

19. Dinâmica da rede • Dinâmica da rede significa que os nós podem ficar fora do ar e retornar • Isso é muito comum na Internet, gerando instabilidades de roteamento • Utilização: • Simulações com topologias complexas • Protocolos de roteamento • Testes de robustez à falha de enlaces

20. Visualização • Importante para compreender o cenário simulado • Inclui visualização da topologia e animação do tráfego de pacotes, inclusive descartes • Recurso muito útil no ensino de redes de computadores • Em pesquisa, geralmente somente os resultados interessam • Simulador ns: possui animador nam

21. Visualização

22. Expansão e recursos • Possibilidade de expansão • O simulador deve permitir expansão com grande flexibilidade • Essencial para pesquisa • Disponibilidade de protocolos e mecanismos • Nem sempre o melhor simulador é o mais adequado para todos os casos • Exemplo: • O ns-2 não possui todas as funcionalidades necessárias

23. Configurações para a Internet • Topologias • Iniciar com topologias simples para obter melhor compreensão (embora não representativas) • Rede com gargalo: topologia em halteres • Topologias complexas: usar gerador • Aplicações e protocolos • TCP: 90% do tráfego (da Internet) • HTTP: 65% do tráfego • FTP: mais fácil de controlar em simulações • UDP: simular aplicações multimídia • Voz, vídeo, RealPlayer, jogos

24. Configurações para a Internet • Modelos de tráfego • Simuladores geralmente implementam modelos para FTP, HTTP e TELNET • Número de chegadas de chamadas de voz • Poisson, com intervalo entre chegadas Exponencial • Duração das chamadas de voz: • Exponencial com média de 2 (ou 3) minutos • Tráfego de voz: • CBR: Taxa de acordo com o codificador (ex.: 80 Kbps para PCM, incluindo os cabeçalhos IP/UDP/RTP) • On-Off: distribuição Exponencial ou Pareto dos períodos On (1,004 s) e Off (1,587 s) • Tráfego de vídeo: modelos (complexos) para VBR

25. Fluxos e agregações • Quantidades de fontes e destinos de dados • Fluxos individuais ou agregações • Quantidade de sistemas finais • Um para cada fonte • Várias fontes em um sistema final ou roteador • Depende da abstração utilizada • Ponto de origem ou destino • Rede local ou linha discada • Nem sempre precisam ser representados • Agregações: • Não são fontes individuais com taxas muito grandes • Têm modelagem diferente: Auto-similar

26. Fluxos e agregações

27. Tamanho de pacotes • Compromisso: • Pacote maior: eficiência • Pacote menor: interatividade • Pacote IPv4: máximo de 64 KB • Pacotes jumbo: até 8 KB • Tamanho máximo real: 1500 bytes • FTP, HTTP e SMTP (1000 ou 1500 bytes) • Pacotes de voz: 200 bytes ou menos • Vídeo sob demanda: pacotes maiores • Tamanho comuns: 536, 576, 40, 44, 1500

28. Tempo de simulação • Regra empírica: • Iniciar com pouco tempo e ir dobrando até que não haja alteração significativa nos resultados • Segurança: intervalo de confiança • Simulações típicas são executadas por alguns minutos (60 a 3600 segundos) • Tempo de relógio é menor em simulações simples e maior para complexas • Segundos, minutos, horas, dias • Depende da topologia, quantidade de fontes, tempo de simulação e quantidade de replicações

29. Simuladores para a Internet • OPNET • Simulador comercial completo e caro $$$$$$$$$$$$$$$$$$$ • Network Simulator (ns) • Usado no meio acadêmico • É de graça   •  OMNeT++ • Arcabouço para construir simuladores de rede • OverSim: simulador P2P baseado no OMNet++

30. Simulação – QoS na Internet • Exemplo de pesquisa sobre a Internet através de simulação com o ns • Objetivo: • Comparar o desempenho de aplicações multimídia na Internet usando o serviço de melhor esforço e as tecnologias IntServ e DiffServ • Contexto • Qualidade de Serviço (QoS) na Internet • Problema • A Internet não oferece garantias de QoS

31. Definições para QoS em Redes • O desempenho de uma rede relativo às necessidades das aplicações • O conjunto de tecnologias que possibilita à rede oferecer garantias de desempenho • Requisitos de QoS • São as exigências mínimas de uma aplicação sobre métricas da rede • Vazão > 128kbps • Atraso < 150ms • Variação do atraso < 20ms

32. Serviço de melhor esforço • Todos os usuários e aplicações recebem o mesmo tratamento nos roteadores • Congestionamento: fila FIFO • Capacidade esgotada: descarte • Vantagens: • Simplicidade, robustez, escalabilidade • Uns dos motivos do sucesso da Internet • Problema: • Não permite aplicações que precisam de garantias

33. Métricas de QoS • Atraso • Tempo do pacote “dentro da rede” • Entre transmissor e receptor (fim a fim) • Variação do atraso (jitter) • Medido entre pacotes consecutivos • Vazão (largura de banda ) • Taxa de transmissão de dados (Mbps) • Confiabilidade • Perda de pacotes

34. Propostas para QoS na Internet • IETF (Internet Engineering Task Force) • Responsável por padrões na Internet • IntServ (serviços integrados) • Reservas de recursos para cada fluxo • Procolo RSVP (Resource Reservation Protocol) • Problema: falta de escalabilidade • DiffServ (serviços diferenciados) • Baseado em Classes de Serviços • Agregação de fluxos • Provisionamento para cada classe (PHB)

35. Topologia de simulação

36. Plano de simulação • Simplificação da RNP2, incluindo os PoPs: • PE, SC, RJ, SP, MG e DF • Avaliar tráfego entre Recife e Florianópolis • Métricas: vazão e atraso • Roteadores • Cada PoP representado por um roteador • PE ligado somente a RJ e SC ligado somente a SP • Enlaces • Situação da RNP2 em abril de 2002 • Atraso: de acordo com distâncias físicas

37. Plano de simulação • Modelo de tráfego • Voz: principal • CBR a 64 Kbps e pacotes de 100 bytes • Motivo: facilidade de acompanhar a vazão • 20 fontes entre SC-PE • 10 fontes entre: SC-DF, SC-MG, DF-PE, MG-PE, RJ-SP • Dados: retaguarda • FTP com pacotes de 1500 bytes • Quantidade de fontes foi variada (fator) • Técnicas de QoS • Melhor esforço (BE) • IntServ (serviço de carga controlada) • DiffServ (PHB EF)

38. Plano de simulação • Tempo de simulação • Experimentos com duração de 10 segundos • Tempos maiores não mostraram diferenças significativas • Período generoso para observas as métricas de interesse • Fontes CBR e FTP iniciam entre 0 e 1 segundo de simulação • Escolha aleatória com distribuição uniforme • Replicações • 100 replicações para cada experimento • Fatores e níveis • Carga da rede: número de fontes FTP 0, 5 e 50 • Tecnologias de QoS: BE, IS e DS

39. Execução e coleta de resultados • Simulador ns, versão 2.1b8a • Funcionalidades da distribuição padrão • DiffServ: PHB EF com WRR do módulo CBQ • Troca do gerador de números aleatórios • Park-Miller: período de 231 – 2 • Marsenne-Twister: período de 219937 – 1 • Coleta de resultados • Vazão: componente LossMonitor • Amostras a cada 0,5 segundos e média do experimento • Atraso: componente PktStats • Atraso para cada pacote e média do experimento

40. Execução e coleta de resultados • Plataforma de simulação • CPU AMD Athlon de 1.3 GHz e 512 MB • Sistema operacional Linux • 9 conjuntos de de 100 replicações de 10 segundos • Tempo de relógio: alguns minutos

41. Apresentação e análise • Resultados de 1 fonte CBR entre SC e PE • Motivo: representatividade e baixa complexidade • Estudo mais detalhado pode medir todas as fontes CBR e extrair estatísticas • Resultados se referem à média das médias de cada uma das 100 replicações • Intervalo de confiança ao nível de 99,9%

42. Vazão - comparação

43. Vazão: melhor esforço (série)

44. Atraso: comparação

45. Atraso: melhor esforço (série)

46. Avaliação de Desempenho Simulando a Internet Carlos Alberto Kamienski (cak@ufabc.edu.br) UFABC