m todos quantitativos para ci ncia da computa o experimental aula 2 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Métodos Quantitativos para Ciência da Computação Experimental – Aula #2 PowerPoint Presentation
Download Presentation
Métodos Quantitativos para Ciência da Computação Experimental – Aula #2

Loading in 2 Seconds...

play fullscreen
1 / 19

Métodos Quantitativos para Ciência da Computação Experimental – Aula #2 - PowerPoint PPT Presentation


  • 101 Views
  • Uploaded on

Métodos Quantitativos para Ciência da Computação Experimental – Aula #2. Virgílio A. F. Almeida DCC-UFMG 2005. Strong Inference J. Pratt , SCIENCE, October 1964. O p rogress o na ciência avança com a exclusão de hipóteses alternativas.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Métodos Quantitativos para Ciência da Computação Experimental – Aula #2' - arty


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
m todos quantitativos para ci ncia da computa o experimental aula 2

Métodos Quantitativos para Ciência da Computação Experimental – Aula #2

Virgílio A. F. Almeida

DCC-UFMG

2005

strong inference j pratt science october 1964
Strong InferenceJ. Pratt, SCIENCE, October 1964
  • O progresso na ciência avança com a exclusão de hipóteses alternativas.
  • Os experimentos devem ser projetados para “refutar/excluir” hipóteses.
    • Uma hipótese que não é sujeita a ser verificada falsa não leva a nenhum lugar significativo.
    • Qualquer conclusão que não é uma exclusão é insegura.
strong inference j pratt science october 19641
Strong InferenceJ. Pratt, SCIENCE, October 1964
  • Quão rápido pode evoluir a pesquisa numa área?
  • “Biology, with its vast informational detail and complexity is a “high-information” field, where years and decades can easily be wasted on the usual type of “low-information” observations or experiments if one does not think carefully in advance about the most important and conclusive experiments would be.”
passos
Passos
  • Identificar o problema ou fenômeno observado.
  • Delinear hipótese alternativas.
  • Delinear experimentos com resultados alternativos, que podem refutar e excluir hipóteses.
  • Executar experimentos para obter resultados “limpos”.
  • Repetir com sub-hipóteses ou hipóteses subsequentes.
passos1
Passos

Desafio intelectual – fazer isso eficientemente

  • Identificar o problema ou fenômeno observado.
  • Delinear hipótese alternativas.
  • Delinear experimentos com resultados alternativos, que podem refutar/excluir hipótese.
  • Executar experimentos para obter resultados “limpos”.
  • Repetir com sub-hipóteses.
rvore l gica

Alt1a

Alt1b

Árvore Lógica

Problema

  • Nossa conclusão X deve ser válida se a hipótese alternativa 1, hipótese alternativa 2, … alternativa n
  • Nós descrevemos experimentos pela eliminação de alternativas.
  • Nós prosseguimos pelos caminhos não eliminados.

Alt n

Alt 1

m lti plas hip teses
Múltiplas Hipóteses
  • Pode-se ficar “emocionalmente” ligado a uma única hipótese.
    • A tentativa de demonstrá-la correta, pode fazer os fatos “encaixarem” na teoria.
  • Múltiplashipóteses de trabalho tornam a pesquisa uma competição entre idéias e não entre projetos pessoais
    • Fique atento ao aspecto da polarização de idéias e hipóteses.
atividades de suporte na ci ncia
“Atividades de Suporte” na Ciência
  • Pesquisas (ex.: bibliográficas) e taxonomias
  • Desenvolvimento de uma infraestrutura experimental
  • Medições, planilhas e tabelas(ex: estudos de popularidade de objetos num servidor)
  • Modelos teóricos e abstratos, que são úteis se contribuem para a cadeia de descobertas e não para um fim em si mesmos.
strong inference j pratt science october 19642
Strong InferenceJ. Pratt, SCIENCE, October 1964
  • “We measure, we define, we compute, we analyze, bu we do not exclude. And this is not the way to use our minds most effectively or to make the fastest progress in solving scientific questions.”
  • “The mathematical box is a beautiful way of wrapping up a problem, but it will not hold the phenomena unless they have been caught in a logical box to begin with.”
as quest es
As Questões
  • Quais experimentos podem refutar suas hipóteses?
  • Quais hipóteses seus experimentos refutam?
  • Quão simples e elegante pode ser o experimento a se projetar?
    • Aplique essas questões ao modo de pensar e fazer pesquisa.
cr tica
Crítica
  • ·“Strong Inference” assumes all science has distinct and finite answers and solutions to problems. It ignores the preliminary steps of gathering information about the problems. Inquiry and inference will fail if it is based on inadequate or incorrect background information about the question at hand.
  • ·There are some theories that you cannot completely eliminate because some contributing factors are interrelated. (especially in behavior sciences) Open-ended questions are common in young sciences or at the cutting edge of established sciences.
ap licando a strong inference a pesquisa em ci ncia da computa o
Aplicando a“Strong Inference’’ a Pesquisa em Ciência da Computação

Esta não é nossa cultura:

  • “Minha é melhor que a sua” e experimentos que mostram isso afirmativamente (não fazendo esforço para mostrar o contrário)
  • Sem hipóteses – afirmações que não podem ser mostradas sua falsidade. “Este sistema faz aquilo para o qual foi projetado”. E aí?
  • Resultados negativos são difíceis de publicar.
  • O ponto é a efetividade científica, comparado a outras áreas do conhecimento (ex: física, bilogia, etc)
um exemplo
Um exemplo
  • Wolman et al, ``On the scale and performance of cooperative web proxy caching’’, SOSP 99
  • Questão: Devem múltiplos proxies cooperarem para aumentar a população de clientes, aumentar a taxa de hits e reduzir a latência?
rvore l gica1
Árvore Lógica

A Cooperação entre web caching funciona?

Diminui a

latência do

Objeto nocaso ideal

Aumenta ohit ratio, no

Caso ideal

Aumentahit ratio,no caso real

experiment o s
Experimentos
  • Traces/logs da UW e Microsoft
  • Simulação:
    • Tamanho infinito de cache (não há misses por capacidade)
    • Proxy único (vê todas informações, sem overhead)
    • 2 casos
      • Caching Ideal – todos objetos, independente se são passíveis de cache ( “cacheability”)
      • Respeitando a ``cacheability’’
  • “Upper bound”na performance
discuss o
Discussão
  • O que voce pensa que os pesquisadores em computação fazem errado?
  • Por que esse enfoque não se apresenta como natural para nós, da CC?
  • Como podemos melhorar?
  • A pesquisa em sistemas se tornará diferente se ``strong inference’’ for aplicada?
pr xima aula exer c cio em strong inference
Próxima AulaExercícioem “Strong Inference”
  • Esoclha um “paper” de sua área que é importante e que voce já estudou.
  • Revisite esse paper e analise sua parte experimental em termos de hipóteses e experimentos que excluem, como a árvore lógica.
  • O trabalho pode ser feito em grupos de até 4 e serão apresentados em 10 minutos na aula.