Indicadores em escala nacional: discussão conceitual e possibilidades para a PC&T brasileira

1. Indicadores em escala nacional:discussão conceitual e possibilidades para a PC&T brasileira Rogério Mugnaini

2. Indicador: definições Indicadores proveem informação indireta do fenômeno ou evento a que eles estão aplicados. Um indicador é uma medida de um item usado para prover informação de outro, item imensurável (STEAD apud HOLBROOK, 1992, p. 264).

3. Indicador: definições Chaparro (1996) explica que indicadores complementam estatísticas (medidas estáticas), ao passo que focam a dinâmica do processo de desenvolvimento da C&T a partir da análise conjunta de variáveis e verificando sua influência no processo.

4. Indicador: definições Mais precisamente, um indicador em C&T é, em analogia a um indicador social ou econômico, uma medida em geral quantitativa usada para substituir, quantificar ou operacionalizar dimensões relacionadas à avaliação do processo e grau de desenvolvimento científico e tecnológico (JANNUZZI, 2001 e 2002).

5. Indicadores e as políticas nacionais Indicadores de C&T propostos no PADCT III (Mugnaini et al., 2004)

6. Cadeia de avaliação dos esforços e resultados de PC&T (Mugnaini et al., 2004)

7. Princípios do indicador Excellence in Research for Australia (AUSTRALIAN RESEARCH COUNCIL, 2008)

8. Princípios dos indicadores • Quantitativo • Medidas objetivas com metodologia definida que produzirá resultados sempre confiáveis, independente de quando ou por quem os princípios são aplicados; • Reconhecido internacionalmente • Considerando que nem todos os indicadores permitirão comparabilidade internacional direta, os mesmos devem ser medidas de qualidade de pesquisa reconhecidas internacionalmente; (AUSTRALIAN RESEARCH COUNCIL, 2008)

9. Princípios dos indicadores • Comparável a indicadores usados por outras áreas • Devem ser capazes de identificar níveis comparáveis de qualidade de pesquisa entre as áreas; • Capaz de ser usado para identificar excelência • Devem ser capazes de avaliar a qualidade da pesquisa, e quando necessário, focado em identificar excelência; (AUSTRALIAN RESEARCH COUNCIL, 2008)

10. Princípios dos indicadores • Relevante para pesquisa • Devem ser relevantes à componente de pesquisa de qualquer disciplina; • Reprodutível e verificável • Devem ser baseados em metodologias transparentes e disponíveis publicamente, ao ponto de instituições poderem reproduzi-los por si mesmas; (AUSTRALIAN RESEARCH COUNCIL, 2008)

11. Princípios dos indicadores • Temporal • Devem ser específicos a um período de tempo particular conforme o período de referência; • Impacto contextual • Devem sugerir respostas/conclusões numa direção desejável e não resultar em consequências perversas indesejáveis; • Devem limitar seu escopo para impedir que grupos de interesses ou indivíduos manipulem o sistema a seu favor. (AUSTRALIAN RESEARCH COUNCIL, 2008)

12. O que se deve esperar dos indicadores Van Raan (1993) elenca alguns grupos de problemas metodológicos: Validade e confiança relacionadas à: • Aplicabilidade- A espera de que os indicadores sanem as necessidades dos usuários e que eles meçam o que foram designados para medir, se referindo a validade. Na questão da segurança, espera-se que eles produzam os mesmos resultados quando recalculados. Diferenças podem advir de bases de dados utilizadas para construção dos indicadores. • Precisão e significância estatística de valores numéricos calculados e, em particular, de tendências de indicadores; e relatividade- Não há um padrão para comparação dos indicadores. Não se sabe o significado de magnitudes altas ou baixas (o autor diz que uma solução prática é a comparação com a média mundial, por exemplo).

13. Fonte de dados dos indicadores cientométricos • Tipos de fontes de informação: • Bases de dados de periódicos; • Bases de dados de currículos; • Sistemas de bases de dados institucionais; • Bases de dados das agências de fomento.

14. Bases de dados de periódicos

15. Bases de dados de currículos (SILVA & SMIT, 2009) (LANE, 2010 , p.489)

16. Sistemas de bases de dados institucionais

17. Bases de dados das agências de fomento

18. Possibilidades para a consolidação das fontes • Identificação de bancos de autoridade de cada fonte de informação; • Integração de informações dos diferentes sistemas, de modo a minimizar vieses; • Definição de aspectos do Sistema de C&T a se mensura; • Proposição, teste e validação de indicadores.

19. Referências bibliográficas • AUSTRALIAN RESEARCH COUNCIL. ERA Indicator Principles. Canberra: Commonwealth of Australia, 2008. http://www.arc.gov.au/pdf/ERA_Indicator_Principles.pdf Accessed 10 March 2009 • CHAPARRO, F. Introduction: some reflections on science and technology indicators. Research Evaluation, v. 6, n. 3, p. 175-178, 1996. • HOLBROOK, J. A. D. Whymeasurescience? Science and public policy, vol. 19, n. 5, p. 262-266, out. 1992. • JANNUZZI,P.M.Indicadores Sociais no Brasil: conceitos, fontes de dados e aplicações. Campinas: Ed. Alínea, 2002. 141 p. • JANNUZZI,P.M. Considerações sobre o uso, mau uso e abuso de indicadores sociais na avaliação de políticas públicas municipais. Revista de Administração Pública, Rio de Janeiro, v.36, n.1, p.51-72, 2002. • Lane, J. Let´smakesciencemetrics more scientific. Nature, v. 464,p. 488-489, 2010. • MUGNAINI, R.; JANNUZZI, P.; QUONIAM, L. Indicadores bibliométricos da produção científica brasileira: uma análise a partir da base Pascal. Ciência da Informação, Brasilia, v. 33, n. 2, p. 123-131, 2004 • SILVA, F. M.; SMIT, J. W. Organização da informação em sistemas eletrônicos abertos de Informação Científica & Tecnológica: análise da Plataforma Lattes. Perspectivas em ciência da informação. 14: 77-98, 2009. • VAN RAAN, A. F. J. Advanced bibliometric methods to assess research performance and scientific development: basic principles and recent practical applications. Research Evaluation, vol. 3, n. 3, p. 151-166, dez. 1993.

20. Obrigado! Rogério Mugnaini mugnaini@usp.br