Métodos Quantitativos para Ciência da Computação Experimental – Aula #2

1. Métodos Quantitativos para Ciência da Computação Experimental – Aula #2 Virgílio A. F. Almeida DCC-UFMG 2005

2. Strong InferenceJ. Pratt, SCIENCE, October 1964 • O progresso na ciência avança com a exclusão de hipóteses alternativas. • Os experimentos devem ser projetados para “refutar/excluir” hipóteses. • Uma hipótese que não é sujeita a ser verificada falsa não leva a nenhum lugar significativo. • Qualquer conclusão que não é uma exclusão é insegura.

3. Strong InferenceJ. Pratt, SCIENCE, October 1964 • Quão rápido pode evoluir a pesquisa numa área? • “Biology, with its vast informational detail and complexity is a “high-information” field, where years and decades can easily be wasted on the usual type of “low-information” observations or experiments if one does not think carefully in advance about the most important and conclusive experiments would be.”

4. Passos • Identificar o problema ou fenômeno observado. • Delinear hipótese alternativas. • Delinear experimentos com resultados alternativos, que podem refutar e excluir hipóteses. • Executar experimentos para obter resultados “limpos”. • Repetir com sub-hipóteses ou hipóteses subsequentes.

5. Passos Desafio intelectual – fazer isso eficientemente • Identificar o problema ou fenômeno observado. • Delinear hipótese alternativas. • Delinear experimentos com resultados alternativos, que podem refutar/excluir hipótese. • Executar experimentos para obter resultados “limpos”. • Repetir com sub-hipóteses.

6. Alt1a Alt1b Árvore Lógica Problema • Nossa conclusão X deve ser válida se a hipótese alternativa 1, hipótese alternativa 2, … alternativa n • Nós descrevemos experimentos pela eliminação de alternativas. • Nós prosseguimos pelos caminhos não eliminados. … Alt n Alt 1

7. Múltiplas Hipóteses • Pode-se ficar “emocionalmente” ligado a uma única hipótese. • A tentativa de demonstrá-la correta, pode fazer os fatos “encaixarem” na teoria. • Múltiplashipóteses de trabalho tornam a pesquisa uma competição entre idéias e não entre projetos pessoais • Fique atento ao aspecto da polarização de idéias e hipóteses.

8. “Atividades de Suporte” na Ciência • Pesquisas (ex.: bibliográficas) e taxonomias • Desenvolvimento de uma infraestrutura experimental • Medições, planilhas e tabelas(ex: estudos de popularidade de objetos num servidor) • Modelos teóricos e abstratos, que são úteis se contribuem para a cadeia de descobertas e não para um fim em si mesmos.

9. Strong InferenceJ. Pratt, SCIENCE, October 1964 • “We measure, we define, we compute, we analyze, bu we do not exclude. And this is not the way to use our minds most effectively or to make the fastest progress in solving scientific questions.” • “The mathematical box is a beautiful way of wrapping up a problem, but it will not hold the phenomena unless they have been caught in a logical box to begin with.”

10. As Questões • Quais experimentos podem refutar suas hipóteses? • Quais hipóteses seus experimentos refutam? • Quão simples e elegante pode ser o experimento a se projetar? • Aplique essas questões ao modo de pensar e fazer pesquisa.

11. Crítica • ·“Strong Inference” assumes all science has distinct and finite answers and solutions to problems. It ignores the preliminary steps of gathering information about the problems. Inquiry and inference will fail if it is based on inadequate or incorrect background information about the question at hand. • ·There are some theories that you cannot completely eliminate because some contributing factors are interrelated. (especially in behavior sciences) Open-ended questions are common in young sciences or at the cutting edge of established sciences.

12. Aplicando a“Strong Inference’’ a Pesquisa em Ciência da Computação Esta não é nossa cultura: • “Minha é melhor que a sua” e experimentos que mostram isso afirmativamente (não fazendo esforço para mostrar o contrário) • Sem hipóteses – afirmações que não podem ser mostradas sua falsidade. “Este sistema faz aquilo para o qual foi projetado”. E aí? • Resultados negativos são difíceis de publicar. • O ponto é a efetividade científica, comparado a outras áreas do conhecimento (ex: física, bilogia, etc)

13. Um exemplo • Wolman et al, ``On the scale and performance of cooperative web proxy caching’’, SOSP 99 • Questão: Devem múltiplos proxies cooperarem para aumentar a população de clientes, aumentar a taxa de hits e reduzir a latência?

14. Árvore Lógica A Cooperação entre web caching funciona? Diminui a latência do Objeto nocaso ideal Aumenta ohit ratio, no Caso ideal … Aumentahit ratio,no caso real

15. Experimentos • Traces/logs da UW e Microsoft • Simulação: • Tamanho infinito de cache (não há misses por capacidade) • Proxy único (vê todas informações, sem overhead) • 2 casos • Caching Ideal – todos objetos, independente se são passíveis de cache ( “cacheability”) • Respeitando a ``cacheability’’ • “Upper bound”na performance

16. Além do joelho, não há aumento significativo proxyúnico suficiente aqui

17. Pequeno impactona latencianas grandes populações

18. Discussão • O que voce pensa que os pesquisadores em computação fazem errado? • Por que esse enfoque não se apresenta como natural para nós, da CC? • Como podemos melhorar? • A pesquisa em sistemas se tornará diferente se ``strong inference’’ for aplicada?

19. Próxima AulaExercícioem “Strong Inference” • Esoclha um “paper” de sua área que é importante e que voce já estudou. • Revisite esse paper e analise sua parte experimental em termos de hipóteses e experimentos que excluem, como a árvore lógica. • O trabalho pode ser feito em grupos de até 4 e serão apresentados em 10 minutos na aula.