1 / 56

Avaliação de Desempenho de Sistemas Computacionais Análise de Resultados Marcos José Santana

Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação. Avaliação de Desempenho de Sistemas Computacionais Análise de Resultados Marcos José Santana Regina Helena Carlucci Santana. Conteúdo. Planejamento de Experimentos

tod
Download Presentation

Avaliação de Desempenho de Sistemas Computacionais Análise de Resultados Marcos José Santana

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Universidade de São PauloInstituto de Ciências Matemáticas e de ComputaçãoDepartamento de Sistemas de Computação Avaliação de Desempenho de Sistemas Computacionais Análise de Resultados Marcos José Santana Regina Helena Carlucci Santana

  2. Conteúdo • Planejamento de Experimentos • Técnicas para Avaliação de Desempenho • Análise de Resultados • Introdução • Medidas de Desempenho • Análise Estatística dos Resultados • Comparação de Resultados • Procedimento para análise de resultados

  3. Conteúdo • Planejamento de Experimentos • Técnicas para Avaliação de Desempenho • Análise de Resultados • Introdução • Medidas de Desempenho • Análise Estatística dos Resultados • Comparação de Resultados • Procedimento para análise de resultados

  4. Introdução Estatística Descritiva H  X  2 Coleta de Dados Organização dos Dados Caracterização dos Dados Massa de Dados Dados agrupados Parâmetros Típicos

  5. Introdução Conjunto de Resultados Possíveis (infinito) Conjunto de Medições Realizadas Amostragem População Amostra Cálculo de médias, máximos, mínimos,intervalo de confiança, erro... Análise Descritiva Conclusões sobre o Sistema Real Conclusões sobre a população Dados Organizados Inferência

  6. Conteúdo • Planejamento de Experimentos • Técnicas para Avaliação de Desempenho • Análise de Resultados • Introdução • Medidas de Desempenho • Análise Estatística dos Resultados • Comparação de Resultados • Procedimento para análise de resultados 3.

  7. Medidas de Desempenho • Medidas de Posição • Média • Moda • Mediana • Medidas de Dispersão • Desvio Padrão • Variância • Percentis • Box-Plot

  8. * o o Medidas de Dispersão • Outliers – valores extremos da população. • Moderados (1ª espécie)(o) • [Q3+1.5(Q3-Q1) ; Q3+3(Q3-Q1)] e • [Q1-1.5(Q3-Q1) ; Q1-3(Q3-Q1)] • Severos (2ª espécie)(*) • [Q3+3(Q3-Q1) ; máximo] e • [mínimo ; Q1-3(Q3-Q1)] Q3 ou Q0.75 Mediana I D Q1 ou Q0.25 o o D – Distância entre Quartis I – Intervalo das Amostras sem Outliers *

  9. Medidas de Dispersão • Valores extremos Outliers • Dados díspares, muito grandes ou muito pequenos, em relação aos demais, • Influenciam muito as médias • Podem distorcer conclusões • É fundamental sua detecção e tratamento. • Possíveis causas de valores espúrios: • Erro na fase de mensuração (tomada da medida) • Erro na transcrição ou anotação do registro • Mudanças (reais) não-controláveis nas condições experimentais. • Característica da variável (ex.:instabilidade)

  10. Medidas de Dispersão • Tratamento de Outliers • Muita controvérsia... • Não existe um critério ou metodologia para rejeição de dados • Problema maior quando tem-se pequena quantidade de dados ou uma distribuição normal não pode ser garantida.

  11. Conteúdo • Planejamento de Experimentos • Técnicas para Avaliação de Desempenho • Análise de Resultados • Introdução • Medidas de Desempenho • Análise Estatística dos Resultados • Comparação de Resultados • Procedimento para análise de resultados

  12. Análise de Resultados Em qualquer experimentação, três problemas a serem considerados: • Condições iniciais da experimentação • Quando parar uma experimentação • Resultado de uma execução oferece um resultado dentre muitos outros possíveis

  13. Análise de Resultados Primeiro problema: Qual as condições iniciais que deve-se ter para iniciar uma avaliação? Três condições possíveis: • Início no estado vazio; • Início no estado de maior probabilidade de ocorrência; • Início na média do estado de equilíbrio

  14. Análise de Resultados Segundo problema: Quando parar a Avaliação? Algumas possibilidades: • Limitar tempo de experimentação • Limitar o número de elementos que entram no sistema avaliado • Limitar o número de entidades processadas por um servidor • Parada automática

  15. Análise de Resultados Terceiro problema: Durante a obtenção de dados sobre sistemas computacionais, tem-se que... Os Resultados de uma medição oferecem um resultado dentre muitos outros possíveis

  16. Análise de Resultados Terceiro problema: • Deve ser utilizado em qualquer experimento que gere um conjunto de resultados possíveis • Após a obtenção dos resultados estes devem ser analisados independente da técnica utilizada • Qual resultado deve ser considerado? • Como comparar dois conjuntos de resultados?

  17. Análise de Resultados Como analisar os diferentes resultados de uma avaliação? • Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança • Deve-se considerar diversos resultados provenientes de diferentes execuções • Para simulação: utilizar conjuntos de números aleatórios sem correlação – diferentes sementes • Para aferição: considerar diversas medidas

  18. Análise de Resultados - Exemplo Utilização da CPU • Semente 1  0.33123 • Semente 2  0.32571 • Semente 3  0.32510 • Semente 4  0.31999 • Semente 5  0.33813 DISCO1 CPU DISCO2 • Como analisar estes resultados? • Perigo utilizar resultados de uma única simulação

  19. Análise de Resultados • Utilização de Intervalos de confiança • A partir de um conjunto de resultados possíveis queremos estimar o comportamento de um sistema • Podemos utilizar: • Valores fixos • Intervalos • Valores fixos não permitem estimar o erro cometido • Intervalos de confiança permitem avaliar a confiança no resultado

  20. Intervalo de Confiança 1- /2 /2 Y Y+H Y-H Análise de Resultados O que é o Intervalo de confiança? Intervalo que com uma determinada probabilidade (confiança) contem o valor do parâmetro estudado Confiança = 100*(1- )%  = probabilidade de erro Y = média da amostra H = Largura do Intervalo de Confiança

  21. Intervalo de Confiança 1- /2 /2 Y-H Y Y+H Análise de Resultados O que significa Intervalo de confiança? Se Confiança = 95%Tenho 95% de chance de que parâmetro estará dentro do intervalo Nada garante que o resultado de uma única execução (Yi) cairá no intervalo O resultado de uma única execução poderá estar na área definida por /2

  22. Análise de Resultados • Como determinar o Intervalo de confiança? • Ordenar os valores obtidos • Eliminar os /2 maiores valores • Eliminar os /2 menores valores • Obtém-se o intervalo procurado

  23. Análise de Resultados Como determinar o Intervalo de confiança? Para amostras menores que 30 e com desvio padrão da população desconhecido Utiliza-se o Teorema do Limite Central e a Tabela t-student Para amostras maiores que 30 ou com desvio padrão da população conhecido Utiliza-se o Teorema do Limite Central e a Tabela Z

  24. Análise de Resultados Como determinar o Intervalo de confiança? Para amostras menores que 30 e com desvio padrão da população desconhecido Utiliza-se o Teorema do Limite Central e a Tabela t-student Conheço o desvio padrão da amostra - DP

  25. Análise de Resultados

  26. Análise de Resultados Como determinar o Intervalo de confiança? Média Amostral  Yi = Média das observações de uma execução Estimativa Global  Y = Média das médias amostrais Variância Amostral  Desvio Padrão (DP)  t1-/2,N-1  distribuição Student com N-1 graus de liberdade e nível de confiança igual a 1- 

  27. Intervalo de Confiança 1- /2 /2 Y-H Y Y+H Análise de Resultados Como determinar o Intervalo de confiança? Largura do Intervalo de Confiança de 100(1- )% H = t * DP/ H = t1-/2,N-1*  Intervalo de confiança   Y ± H Relação entre halfwidth e média H/Y

  28. Análise de Resultados • Como determinar o Intervalo de confiança? • No excel... • Função INT.CONFIANÇA considera que o desvio padrão da população é conhecido. • Quando apenas o desvio padrão da amostra é conhecido, deve-se calcular o intervalo de confiança utilizando a função: • =INVT(;n-1)*(DESVPAD(amostra)/RAIZ(n))

  29. Tchegada = 125 Tserviço = 100 Análise de Resultados - Exemplo • Xi: tempo na fila para cliente i • X: tempo médio na fila para 5.000 clientes • : média real para tempo na fila -> não conhecido

  30. 331,993 447,532 366,052 420,858 403,524 355,959 464,856 492,144 393,393 389,200 Análise de Resultados - Exemplo • Simulação executada 10 vezes para diferentes conjuntos de números aleatórios, obtendo-se: Y = 406,551 Esse valor está suficientemente próximo de ?

  31. 331,993 447,532 366,052 420,858 403,524 355,959 464,856 492,144 393,393 389,200 Análise de Resultados - Exemplo • Simulação executada 10 vezes 1- = 0,95   = 0,05 Média = Y = 406,551 Variância = S2 = DP = t.05/2;9 = 2,26 H = t.05/2;9 *DP/ =36,012 IC: 370,54 – 442,56

  32. Análise de Resultados - Exemplo H = 36,012 IC: 370,54 – 442,56 Se a simulação for repetida várias vezes e em cada vez for determinado o intervalo de confiança, 95% destes intervalos irão conter a média verdadeira Tem-se 95% de certeza que a média verdadeira está entre 370,54 – 442,56 Valores individuais podem estar fora do intervalo de confiança

  33. Análise de Resultados - Exemplo • Média = Y = 406,554 • H = 36,012 • IC: 370,54 – 442,56 • Amplitude do intervalo de confiança = 72  17,8% do valor médio • Não é um valor muito grande? • Como diminuir? • Aumentando o número de replicações

  34. Análise de Resultados Controle do Erro Utilizando-se a técnica de replicações: Não pode-se determinar a precisão desejada Pode-se determinar, aproximadamente, quantas replicações adicionais deve-se considerar para controlar o erro

  35. Análise de Resultados - Exemplo • Para o exemplo anterior • Suponha que se queira 2*H <= 15% da Média  H <=30,49 • Seja r = as próximas replicações São necessárias mais 4 replicações para atingir o erro máximo desejado

  36. Análise de Resultados Batch Means – outra abordagem para atingir a precisão desejada Executar uma parte da experimentação (batch) Determinar intervalo de confiança Se atingiu precisão Então parar Senão Executar mais um batch e retornar ao cálculo do intervalo de confiança Vantagem: apenas 1 warm-up Desvantagem: maior complexidade

  37. Conteúdo • Planejamento de Experimentos • Técnicas para Avaliação de Desempenho • Análise de Resultados • Introdução • Medidas de Desempenho • Análise Estatística dos Resultados • Comparação de Resultados • Procedimento para análise de resultados

  38. Análise de Resultados Comparação entre dois experimentos • Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos • Definem se os resultados são estatisticamente diferentes

  39. Variabilidade Média Variabilidade Alta Variabilidade Baixa Comparação entre dois experimentos Teste visual

  40. A A A B B B Comparação entre dois experimentos Teste visual Caso 1 Caso 2 Caso 3 Caso 1 – ICs não sobrepostos  A > B Caso 2 – Média de um está inserida no IC do outro  A = B Caso 3 – ICs sobrepostos mas média está fora  necessário outro teste

  41. Comparação entre dois experimentos Área de Estatística oferece grande número de testes para comparação entre experimentos: • Teste t-student – para comparar a média de duas amostras • Teste para amostras pareadas • Teste para amostras não pareadas • Análise de Variância - para comparar média de três ou mais amostras • Chi-Quadrado e Poisson - para valores não contínuos

  42. Comparação entre dois experimentos Teste T-student Cáculo o valor de t para a amostra: Cáculo número de graus de liberdade  n = nT + nC - 2 Entrar na tabela t-student com n e confiança desejada  ttab Se t > t tab  médias são diferentes Se t < t tab  não existe diferença significativa entre as médias

  43. A B Média 12 11 H1 (0,05) 0,8 0,9 H2 (0,2) 0,4 0,5 Análise de Resultados Após dez replicações de um programa de simulação, avaliando-se o tempo médio na fila de um recurso, obtiveram-se as médias das amostras e intervalo de confiança para 95% e para 90% representados na tabela a seguir: O que se pode concluir?

  44. A B Média 12 11 H1 (0,05) 0,8 0,9 H2 (0,2) 0,4 0,5 B B Análise de Resultados A A H2 (0,2) A – 11,6 – 12,4 B – 10,5 – 11,5 H1 (0,05) A - 11,2 – 12,2 B – 10,1 – 11,9

  45. A B Média 12 11 H1 (0,05) 0,8 0,9 H2 (0,1) 0,4 0,5 A A B B Análise de Resultados VarA = 1,13 VarB = 1,27 t =2,040 n = nA + nB – 2 = 18 H1 (0,05)  tt = 2,101 > 2,040 H1 (0,2)  tt = 1,330 < 2,040 Não existe diferença significativa Médias diferentes

  46. Teste de hipótese X Intervalo de Confiança • Teste de hipótese • Resposta: aceita ou rejeita a hipótese • Conclusivo: não deixa dúvida • Não oferece maiores informações • Difícil de interpretar • O que significa tt = 2,101 > 2,040?

  47. Teste de hipótese X Intervalo de Confiança • Intervalo de confiança • Informações adicionais • Intervalo pequenos  parâmetro bem estimado • Valores com o mesmo significado que as medidas originais  mais fácil de entender e analisar • Significado de Média=12 e H(95%)=0,6

  48. Conteúdo • Planejamento de Experimentos • Técnicas para Avaliação de Desempenho • Análise de Resultados • Introdução • Medidas de Desempenho • Análise Estatística dos Resultados • Comparação de Resultados • Procedimento para análise de resultados

  49. Procedimento para análise de resultados • Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo • Escolher os fatores e níveis adequadamente • Realizar o experimento quantas vezes forem necessárias • Pensar na melhor forma de apresentar os dados • Fazer o tratamento estatístico adequado para os resultados • Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado

  50. Procedimento para análise de resultados • Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo • Não considerar variáveis essenciais pode levar a erros na análise • Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise • Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases

More Related