É possível comparar pesquisadores com interesses científicos diferentes?

1. É possível comparar pesquisadores com interesses científicos diferentes? Osame Kinouchi Pablo Diniz Batista Mônica Campiteli Alexandre Souto Martinez DFM-FFCLRP-USP Fórum: Pesquisa Interdisciplinar e avaliação: tendência no debate contemporâneo UNICAMP – 8 de maio de 2008

2. É possível...? • Resposta curta: • “Não” • Outras respostas: • “De forma justa, não” • “Um pouco mais justa, sim” • “Talvez, em princípio, difícil na prática” • Busca de índices de comparação não tendenciosos • Mesmo para comparação entre áreas de pesquisa? 1 2 3

3. É possível comparar...? • Comparar = usar índices (qualitativos ou quantitativos) • Índices não-bibliométricos • Índices bibliométricos

4. É possível comparar pesquisadores dediferentes áreas? Se as distribuições de probabilidade para o índice x tem forma funcional diferente para cada área, não é possível fazer comparações.

5. Times Cited Paper 1 2 3 4 8 7 3 2 Índice h de Hirsch h = 3 Um pesquisador com índice h têm h artigos com pelo menos h citações PNAS 102: 16569 (2005) Este artigo teve 119 citações até abril de 2008 !

6. Web of Science (ISI) e Scopus • Alguns índices fornecidos • Número total de publicações: N • Número total de citações: C (com ou sem auto-citações) • Número médio de citações: C/N • Citações da i-ésima publicação por ano: Ci • Índice h de Hirsch

7. Publish or Perish • Publish or Perish é um software que usa o Google Scholar para obter citações acadêmicas. • N • C • Índice h de Hirsch e parâmetros relacionados • Índice g de Egghe • Índice h contemporâneo • Taxa de citação ponderada por idade • Duas variações do índice h individual • Análise do número de autores por paper http://www.harzing.com/resources.htm#/pop.htm

8. Físicos h Biológos/Biomédicos h E. Witten 110 S. H. Snyder 192 A. J. Heeger 107 7 D.Baltimore 160 M. L. Cohen 104 R. C. Gallo 154 P. W. Anderson * 98 P. Chambon 153 A. C. Gossard 92 B. Vogelstein 152 S. Weinberg * 88 S. Moncada 144 M. E. Fisher * 88 C. A. Dinarello 138 M. Cardona 87 T. Kishimoto 134 P. G. de Gennes * 79 R. M. Evans 128 J. N. Bacall 76 A. Ulrich 120 Índice h depende da área de pesquisa

9. Estatísticas no Brasil • Dados coletados do Thompson ISI Web of Science • 188.909 referências até junho de 2005 com endereço BRAZIL ou BRASIL de artigos de 1975 a 2004 • 150.323 artigos • 24.163 resumos de conferências • 5.541 notas (brief reports ou rapid communications) • 3.3577 cartas (letters) • 2.333 reviews

10. Índice h no Brasil Figura 1. Número de pesquisadores com índice h no Brasil.

11. Índice h na Alemanha Figura 3. Número de pesquisadores com índice h na Alemanha.

12. Número de autores depende de área de pesquisa Figura 2. Número de publicações com k autores por artigo in quatro áreas de pesquisa no Brasil: Física (círculos), Química (quadrados), Biologia/Biomedica (quadrados abertos) e Matemática (triângulos). Inset: Número N(NC) de publicações citadas NC vezes em quatro áreas de pesquisa no Brasil de 1975 a 2004 (dados coletatos em junho de 2005).

13. Observações sobre índice h • Índice robusto, difícil de inflar, pouco sensível ao número total de publicações e citações. • Mede impacto acumulado, não produção atual. • Dependente da área de pesquisa. • Não leva em conta co-autoria. • Para vantagens e desvantagens, ver: Bornmann L. and Daniel H-D, What do we know about the h index J. Am. Soc. Inf. Sci. Tech. 58:1381-1385 (2007)

14. Descontando co-autoria Índice h individual Is it possible to compare researchers with different scientific interests? Batista PD el at. Scientometrics Vol 68 (2006) 179

15. Exponencial Extendida Figura 4. Os índices h e hIem função do ranque para áreas brasileiras de pesquisa. As curvas hI , diferentemente das curvas de h, aparentam ter a mesma forma funcional . Comparando h com hI no Brasil

16. Exponencial Extendida Figura 5. Os índices h e hI em função do ranque para áreas alemãs de pesquisa. As curvas hI, diferentemente das curvas de h, aparentam ter a mesma forma funcional . Comparando h com hI na Alemanha

17. Exponencial Extendida Figura: Os índices h e hI escalados pela média em função do ranque escalado para o Brasil. Uma única curva universal foi obtida para o índice hI . Índices relativos (Brasil)

18. Índices relativos (Alemanha) Figura: Os índices h e hI escalados pela média em função do ranque escalado para a Alemanha. Uma única curva universal foi obtida para o índice hI .

19. Resultado novo *

20. Conclusões I • A avaliação de pesquisadores dentro de uma mesma área já é um problema difícil. • A avaliação em áreas interdisciplinares coloca problemas adicionais. • Índices ideais deveriam ser normalizados de modo a (suas distribuições de probabilidade) serem insensíveis à área de pesquisa.

21. Conclusões II • O índice h tem desvantagens, entre elas a curva N(h) e o correspondente gráfico de ranque depende da área de pesquisa. • O índice hI relativo é menos dependente do campo de pesquisa. • Entretanto, parece ser possível normalizar esses índices em uma curva universal independente de área, pelo menos para 99,9% dos pesquisadores. • Essa nova geração de índices ainda precisa ser melhor validada. • Lembrar porém que a avaliação deve ser sempre multidimensional.

22. Questão • Poderia o índice h (e seus derivados), mesmo com suas limitações, ajudar em uma avaliação mais justa das áreas interdisciplinares? • Exemplo: colega em área interdisciplinar com N = 9 e h = 6.

23. Mesa Redonda Interdisciplinariedade: Um caminho para uma avaliação mais abrangente?

24. Índices de avaliação: uma abordagem interdisciplinar Osame Kinouchi DFM-FFCLRP-USP Fórum: Pesquisa Interdisciplinar e avaliação: tendência no debate contemporâneo UNICAMP – 8 de maio de 2008

25. Avaliação e ranqueamento: um problema genérico • O problema de avaliar a importância e relevância de items ocorre em inúmeras áreas além da área de cientometria • Exemplos: • Máquinas de busca na WWW: ranqueamento de páginas (Google, Yahoo Search etc). • Medidas de centralidade em redes sociais, biológicas, tecnológicas. • Teoria de redes complexas.

26. Redes complexas I Rede genética

27. Redes complexas II Rede de transdução de sinais biológicos

28. Redes Complexas III Blogosfera política americana: Conservadores (vermelho), liberais (azul)

29. Medidas de centralidade • Na área de redes complexas, várias medidas de centralidade (importância) já foram definidas e estudadas: • Degree centrality • Betweenness centrality • Closeness centrality • Eigenvector centrality • Etc... • É provável que idéias provindas dessa área sejam adaptadas para problemas cientométricos.

30. Redes de citações

31. Exemplo Finding scientific gems with Google’s PageRank algorithm P. Chen, H. Xie, S. Maslovand S. Redner Journal of Informetrics Volume 1, Issue 1, January 2007, Pages 8-15 Abstract We apply the Google PageRank algorithm to assess the relative importance of all publications in the Physical Review family of journals from 1893 to 2003. While the Google number and the number of citations for each publication are positively correlated, outliers from this linear relation identify some exceptional papers or “gems” that are universally familiar to physicists.

32. Conclusão • A avaliação de áreas de pesquisa interdisciplinares constitui um problema difícil e desafiante. • O problema de avaliação e ranqueamento possui contatos com uma área de pesquisa mais geral: medidas de centralidade na teoria de redes complexas. • Algumas dessas idéias já tem sido aplicadas em cientometria. • Talvez, no futuro, idéias dessa área venham contribuir para a questão da avaliação interdisciplinar (e vice-versa!)