Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual

1. Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual Hugo Henrique Cassettari Edson Toshimi Midorikawa EPUSP - Escola Politécnica da Universidade de São Paulo PCS - Departamento de Engenharia de Computação e Sistemas Digitais

2. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Objetivo • Descrever o Elephantools: • Um pacote composto por ferramentas de software voltadas à caracterização de cargas de trabalho em experimentos sobre gerência de memória virtual.

3. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Motivação • Elephantus • Ambiente para avaliação de sistemas de memória • Conjunto de simuladores • Dificuldade de caracterizar cargas de trabalho • Localidades espacial e temporal • Padrões de acesso à memória • Freqüência de reutilização das páginas

4. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Apresentação • Análise de localidade • Recursos gráficos tradicionais • Precisão, relevância e limitação dos dados • Pacote Elephantools • TelaTrace • Mapa3D • Trace Explorer • Aplicação das ferramentas • Estudo de caso

5. Working set: páginas acessadas em um intervalo de tempo Espaço de endereçamento virtual Exemplo de localidade espacial de acessos Exemplo de localidade temporal de acessos Tempo virtual (acessos à memória) III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Análise de Localidade • Localidade de referências: espacial / temporal • Working set

6. Espaço de endereçamento virtual Tempo virtual (acessos à memória) III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Gráfico (Mapa) de Acessos

7. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Gráfico (Mapa) de Acessos • Limitações • Tamanho original: perda da visão global • Tamanho reduzido: compressão visual com perda de dados

8. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Superfícies de Localidade (Brigham Young University)

9. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Superfícies de Localidade • Benefícios • Destaca características de acesso à memória sobressalentes • Informação concisa (processada) • Limitações • Possível compressão visual com perda de dados • Ausência da informação cronológica

10. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Pacote Elephantools • TelaTrace • Gráficos de acesso tradicionais (em duas dimensões) • Mapa3D • Gráficos de acesso tridimensionais • Trace Explorer • Gráficos de execução simulada no contexto do modelo LRU • Dados gerais e estatísticos sobre os traces analisados

11. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Ferramenta TelaTrace • Gráficos de acesso bidimensionais • Diversas possibilidades de ampliação • Visão global sempre presente • Resolução definida pelo usuário • Recursos adicionais para traces com formato especial • Diferenciação entre processadores (programas paralelos) • Diferenciação entre tipos de acesso à memória: leitura / gravação

12. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Ferramenta TelaTrace • Janela principal: visão global

13. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Ferramenta TelaTrace • Janela de aproximação: visão parcial detalhada

14. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Ferramenta Mapa3D • Gráficos de acesso tridimensionais • Um gráfico de acessos visualmente comprimido se transforma em uma superfície de acessos à memória • A terceira dimensão informa quantos pontos foram aglutinados em cada posição x,y • Resolução definida pelo usuário • Não desenha os gráficos: gera coordenadas em arquivos-texto

15. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Ferramenta Mapa3D • Gráfico de acessos 3D (desenhado com o Microsoft Excel)

16. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Ferramenta Mapa3D • Versões 2D e 3D referentes ao mesmo mapa de acessos

17. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Ferramenta Trace Explorer • Gráficos bidimensionais e tridimensionais – Modelo LRU • Recência dos acessos à memória (posição na fila LRU) • Histograma da recência dos acessos • Variação da recência dos acessos • Distância temporal entre acessos a uma mesma página • Entre outros • Dados gerais e estatísticos sobre os traces • Número total de acessos e de páginas referenciadas • Posição média dos acessos na fila LRU e desvio padrão • Variação média da posição dos acessos na fila e desvio padrão • Lista de todas as páginas referenciadas com estatísticas individuais

18. Fila LRU (memória) III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Ferramenta Trace Explorer • Modelo LRU (Least Recently Used)

19. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Ferramenta Trace Explorer • Mapa de recência dos acessos (desenhado com o Gnuplot)

20. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Ferramenta Trace Explorer • Mapa de distância entre acessos a uma mesma página

21. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Estudo de Caso • Dados gerais e estatísticos – Pacote de traces VMTrace • A maioria dos traces consome pouca memória em sua execução • Os acessos se concentram em páginas que ocupam as primeiras posições da fila LRU • Existe uma certa regularidade no intervalo entre acessos a uma mesma página

22. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Estudo de Caso – Programa Grobner • Mapa de acessos bidimensional • Working set médio tende a aumentar com o tempo • Presença de localidade temporal e espacial

23. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Estudo de Caso – Programa Grobner • Mapa de acessos tridimensional • Concentração dos acessos em uma faixa diagonal do gráfico • Páginas tendem a ser muito exploradas em somente um período • Padrão seqüencial de acessos do ponto de vista macroscópico

24. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Estudo de Caso – Programa Grobner • Mapa bidimensional da recência dos acessos à memória • Os acessos acontecem em páginas que ocupam posições variadas na fila LRU, principalmente após a metade do processamento • Muito poucos acessos recaem em posições da fila superiores a 40

25. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Estudo de Caso – Programa Grobner • Mapa tridimensional da recência dos acessos à memória • Concentração dos acessos nas posições iniciais da fila LRU • Páginas com forte localidade temporal são referenciadas em meio a páginas pouco acessadas no período

26. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Estudo de Caso – Programa Grobner • Variação da recência dos acessos à memória • Grande simetria em relação à posição de variação zero • As páginas tendem a ocupar sempre uma mesma posição na fila LRU quando são acessadas • Quando a posição varia, normalmente retorna à situação original no acesso seguinte

27. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Estudo de Caso – Programa Grobner • Mapa bidimensional da recência dos acessos à memória • (participação da página mais referenciada pelo programa) • A página 5E geralmente ocupa uma posição inferior a 10 na fila LRU quando é acessada • O algoritmo LRU é relativamente eficiente quanto às substituições que realiza

28. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Estudo de Caso – Programa Grobner • Previsão de faltas de página • Em quase 60% dos acessos, a página referenciada ocupa a 2ª posição da fila LRU: localidade temporal constante • Uma memória de tamanho 8 é suficiente para garantir uma taxa de faltas de página inferior a 2% com o algoritmo LRU

29. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Estudo de Caso – Programa Grobner • Formas de apresentação visual dos dados tabulares • Histograma • Curva acumulada

30. III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Conclusão • Pacote Elephantools • Caracterização de cargas de trabalho quanto ao uso da memória • Documentação gráfica de experimentos realizados • Explanação simples e intuitiva acerca das conclusões • Trabalhos futuros • Aprimoramento das ferramentas existentes • Nova ferramenta: melhor visualização das superfícies de localidade • Agradecimentos • Elizabeth S. Sorenson (Brigham Young University) • Scott F. Kaplan (Amherst College)

31. www.lasb.pcs.poli.usp.br III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP • Contato • Hugo Henrique Cassettari: hugo.cassettari@poli.usp.br • Edson Toshimi Midorikawa:edson.midorikawa@poli.usp.br • ESCOLA POLITÉCNICA DA USP • Departamento de Engenharia de Computação e Sistemas Digitais • Laboratório de Arquitetura e Software Básico • Av. Prof. Luciano Gualberto, travessa 3, 158, Cidade Universitária • CEP: 05508-900, São Paulo-SP