Indicios de calidad de las publicaciones científicas: citas, factor de impacto y otros indicios

1. Indicios de calidad de las publicaciones científicas: citas, factor de impacto y otros indicios Campo 6. Ingenierías y Arquitectura Noviembre de 2012

2. La publicación científica • La evaluación de la actividad investigadora de profesores e investigadores universitarios se basa fundamentalmente en la calidad y prestigio de sus publicaciones. • La publicación científica es el medio de difusión reconocido y avalado por la comunidad científica internacional: • Establece la prioridad en los descubrimientos. • Calidad científica de lo publicado mediante la evaluación por pares, peer review • Da a conocer a los autores. • Las citas a los trabajos publicados suponen una forma de reconocimiento • Asegura la preservación de lo escrito

3. CNEAI • COMISION NACIONAL EVALUADORA DE LA ACTIVIDAD INVESTIGADORA • Realiza la evaluación de la actividad investigadora de los • profesores universitarios y del personal de las escalas • científicas del CSIC, con el objeto de que les sea • reconocido un complemento de productividad (sexenio). • Finalidad: incentivar la actividad investigadora • Importancia del reconocimiento: permite dirigir tesis, formar parte • de tribunales, obtener proyectos de investigación… • La evaluación se convoca todos los años, en diciembre • Los investigadores deben presentar trabajos científicos • realizados en un periodo no inferior a 6 meses • Cuenta con Comités Asesores formados por expertos que • realizan el estudio técnico de los expedientes • Los miembros de los Comités se eligen entre científicos • que han obtenido tres o más sexenios • Se distinguen once campos científicos y numerosas áreas. • Diferentes para Universidades y CSIC

4. Campos científicos CNEAI Campo 0. Transferencia del Conocimiento e Innovación.

5. Campo 0. Transferencia del conocimiento e innovación • Creado por la Resolución de 23 de Noviembre de 2010 • Para solicitar la evaluación en este campo, es necesario haber obtenido previamente la evaluación positiva de un sexenio en alguno de los otros 10 campos. • Indicar en la solicitud en qué otro campo desearía ser evaluado si el comité asesor del campo 0 considera que no debe ser evaluado en éste. • Deberá destacar en su curriculum vitae las cinco aportaciones ordinarias que presenta, junto con los indicios de calidad. • Aportaciones preferentes: • Participación directa en creación de empresas basadas en transferencia de conocimiento derivada de la actividad investigadora • Patentes en explotación con contrato de compraventa o licencia • Contratos con agentes socioeconómicos, que hayan generado productos comerciales, prototipos funcionales innovadores • Publicaciones derivadas • Contribuciones a estándares de carácter industrial o comercial

6. CNEAI. Criterios de evaluación para todos los campos • Resolución de 18 de noviembre de 2009 de CNEAI • Aportaciones que supongan progreso real del conocimiento. No se valorarán los trabajos meramente descriptivos. • El solicitante debe haber participado activamente como director o ejecutor. El número de autores no será evaluable, pero deberá estar justificado. • Para obtener una evaluación positiva son necesarias cinco aportaciones en el curriculum vitae abreviado. Excepción: menos aportaciones si tienen una extraordinaria calidad y repercusión científica o técnica • A continuación, CNEAI establece criterios específicos para cada uno de los campos, teniendo en cuenta la distinta tipología documental.

7. Para Ingeniería y Arquitectura: • Sólo se valoran las aportaciones que significan progreso real del conocimiento o desarrollo tecnológico • El número de autores no será evaluable, pero si deberá estar justificado por el tema, su complejidad y extensión • Diferencias según las subcategorías respecto al tipo de aportaciones y valoración. Los criterios para subcampos 6.1 y 6.2 muy similares • Cinco aportaciones ordinarias: los libros, capítulos de libros, prólogos, introducciones y anotaciones a textos de reconocido valor científico en su área de conocimiento, los artículos de valía científica y las patentes o modelos de utilidad, con impacto económico demostrable

8. CNEAI. Valoración de las aportaciones Ingeniería y Arquitectura • Artículos • Se valora preferentemente los publicados en revistas de reconocida valía aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el SubjectCategoryListingdel JournalCitationReports(JCR) del ScienceCitationIndexy para 6.3, Social ScienceCitationIndex • Revistas indizadas en bases de datos internacionales • Revistas que cumplan criterios de calidad según el Apéndice 1 • Las revistas electrónicas, se valoran las recogidas en ISI o que cumplan los criterios de calidad del Apéndice 1 • Patentes • Preferentemente en explotación, que se demuestre mediante contrato de compraventa o licencia • A tener en cuenta la extensión de la patente: • Nacional • Europea • Mediante Tratado de Cooperación de Patentes • Se valora si se ha concedido por la OEPM mediante Sistema de examen previo

9. Congresos. Criterios específicos para el campo 6 • Subcampo 6-1 Tecnologías Mecánicas y de la Producción • Actas de congresos que posean un sistema de revisión externa por pares, cuando estas actas sean vehículo de difusión del conocimiento comparable a las revistas que ocupan posiciones relevantes en el JCR • Subcampo 6-2. Ingenierías de la Comunicación, Computación y Electrónica • Actas de congresos que posean un sistema de revisión externa por pares, que sean vehículo de difusión del conocimiento comparable a las revistas que ocupan posiciones relevantes en el JCR, como por ejemplo los listados en el índice Computing Research and Education(CORE) (http://www.core.edu.au/) u otro de similar entidad • CS Conference Rankings (http://cs.conference-ranking.net/). • CiteSeerX (http://citeseerx.ist.psu.edu/index) • Subcampo 6-3. Arquitectura, Ingeniería Civil, Construcción y Urbanismo • Trabajos publicados en las actas de congresos que posean un sistema de revisión externa por pares, cuando estas actas sean vehículo de difusión de conocimiento comparable a las revistas internacionales de prestigio reconocido. * (no aparece en Criterios 2011)

10. CNEAI. Valoración de las aportaciones Ingeniería y Arquitectura • Desarrollos tecnológicos • Con aspectos innovadores y reconocidos por la comunidad científica • Para el subcampo 6.3 (Arquitectura, Ing Civil, Construcción y urbanismo) los desarrollos arquitectónicos • Libros y capítulos de libros • De carácter investigador • Número y calidad de las citas • Prestigio internacional de la editorial • Importancia de editores, colección, etc. • Reseñas en revistas científicas especializadas • En Subcampo 6.3, los libros son particularmente relevantes en áreas arquitectónicas • Proceso riguroso de selección y evaluación de originales por parte de la editorial • No: libros de texto...ni apuntes editados… • CNEAI tiene en cuenta quién ha editado el libro…penaliza si es la misma institución en la que trabaja el investigador

11. CNEAI. Valoración de las aportaciones Ingeniería y Arquitectura • Criterios específicos del Subcampo 6.3 • Arquitectura, Ingeniería Civil, Construcción y Urbanismo • Proyectos singulares arquitectónicos, urbanísticos o de ingeniería, que serán valorados por su carácter innovador, constatado por los premios y distinciones recibidos, por su impacto en la literatura especializada nacional e internacional o por haber sido mostrados en exposiciones relevantes con catálogo. • La participación en exposiciones de prestigio ylas de carácter monográfico dedicadas a un solo autor. También se considerará la participación como comisario de las mismas, siempre que se publique catálogo con repercusión en los medios especializados nacionales e internacionales.

12. Mínimo, para obtener una evaluación positiva: 6.1 Tecnologías Mecánicas y de la Producción: a) dos sean patentes; b) o bien dos sean artículos de su especialidad publicados en revistas con posiciones relevantes en los SCI; c) o bien, una patente y un artículo SCI 6.2 Ingenierías de la Comunicación, Computación y Electrónica: a) dos sean patentes; b) o bien, dos sean artículos publicados en revistas con posiciones relevantes en los SCI o en congresos con posiciones muy relevantes en CiteSEER, CORE o CS Conference Rankings; c) o bien, idem pero tres en posiciones suficientemente relevantes; d) o bien, una patente y un artículo SCI 6.3 Arquitectura, Ingeniería Civil, Construcción y Urbanismo: a) dos sean patentes; b) o bien, dos sean artículos publicados en revistas SCI, SSCI; c) o bien, dos sean proyectos innovadores urbanísticos o de ingeniería o de construcción. En trayectorias arquitectónicas no tecnológicas otros criterios: libros

13. Solicitud de evaluación en CNEAI • Documentos a presentar www.mec.es/ciencia/cneai • Impreso de solicitud firmado • Currículum vitae abreviado con las aportaciones que considere más relevantes, hasta un máximo de cinco con las citas de todas las aportaciones donde consten los datos que sean necesarios para su localización e identificación. • Cada aportación llevará: • un breve resumen, con los objetivos y resultados más sobresalientes de la investigación • los “indicios de calidad” de la investigación • En el caso de varios autores, cada autor deberá hacer mención expresa en el resumen del alcance de su contribución personal al trabajo colectivo. • En las patentes, deberá incorporarse el informe sobre el estado de la técnica. • Currículum vitae completo según modelo indicado • Hoja de servicios

14. 1.Indicios de calidad de las revistas • Factor de impacto, Posición de la revista en su área, Cuartil. • Journal Citation Reports (JCR),Thomson Scientific, antes ISI • Dominio mundial • Integrada en la plataforma Web of Knowledge • Suscrita por el Ministerio de Ciencia e Innovación • En línea desde 1997. Años anteriores en papel. • Accesoremoto propio, también a través del UVUS • Scimago Journal and Country Rank (SJR) • Se basa en los contenidosde Scopus • Ofrece un ranking por revistas, países y categorías • Dominio mundial, más revistas que JCR • En línea desde 1999. Acceso libre • In-Recs, In-Recj y RESH • para las Ciencias Sociales y Humanidades • Dominio España • Nuevo producto: CIRC, para Ciencias Sociales y Humanidades

15. El Factor de Impacto. Concepto En Journal Citation Reports, JCR • Es la media de veces que, en un año determinado, son citados los artículos publicados por esta revista en los dos años anteriores. Ejemplo, factor de impacto de una revista en 2010: Citas que han recibido el año 2010 los artículos publicados en 2008 y 2009 -------------------------------------------------------------------------------------- Nº de artículos publicados entre 2008 y 2009 • JCR también da el Factor de impacto de cinco años • En Scimago Journal Rank, SJR, se calcula sobre tres años. También muestra el impacto de dos años • Atención: El factor de impacto de las revistas cambia cada año. Hay que buscar el que corresponde al año de publicación del artículo. Si no se ha publicado aún elegir el del año anterior.

16. Los cuartiles Si el listado de revistas de una determinada categoría temática se ordena de mayor a menor impacto y se divide en cuatro partes iguales, cada una de ellas es un cuartil. Las revistas con el factor de impacto más alto se sitúan en el primer cuartil. En Ingeniería y Arquitectura, se considera Alto factor de impacto el Primer cuartil • ¿Dónde localizo a qué cuartil pertenece una revista? • JournalCitationReport: • elegir la edición: Scienceedition o Social Scienceedition • seleccionar Searchfor a specificJournal • escribir los datos de la revista y pulsar Submit • pulsar en el nombre de la revista • buscar el icono • ScimagoJournal and Country Rank • realizar la búsqueda en JournalSearch • Pulsar en el título de la revista • Seleccionar Subjectarea • Seleccionar Subjectcategory

17. Journal Citation Reports. Búsqueda de Factor de impacto, ranking y cuartil • Entre en Journal Citation Reports, JCR • Seleccione la edición (Science o Social Sciences) y el año • Marque Search for a specific journal y pulse Submit • Escriba el título o ISSN de la revista • Le aparecerá un listado con el/los títulos. Pulse sobre el título que busca • Pulse en Factor de impacto Cuartil Posición en la categoría

18. Otros indicios de calidad Journal Citation Reports EINGENFACTOR: • El laboratorio Bergstrom del Departamento de Biología de la Universidad de Washington ha creado este índice incorporado en el JCR. • Mide la influencia total de una revista sobre la literatura científica o el valor total proporcionado por todos los artículos de una revista determinada • Los cálculos consideran 5 años de actividad de citas usando el JCR • Excluye las autocitas • Tiene en cuenta las diferencias entre las materias a la hora de citar, haciendo más fácil las comparaciones entre revistas de materias diferentes o interdisciplinares. Se basa en dos datos fundamentales: • El (AI) o ArticleInfluence que mide el prestigio de la revista en citas por artículo y es comparable al Factor de Impacto. • El (EF) o valor global proporcionado por todos los artículos publicados en una revista determinada en un año. • En 2010 la revista con Eigenfactor Score más alto fue Nature

19. Otros indicios de calidad Journal Citation Reports El índice de inmediatez • Mide la rapidez con la que se cita un artículo de una revista • Indica con qué frecuencia los artículos publicados en una revista son citados en el mismo año. • Se calcula: Número de citas de artículos publicados en un año Número de artículos publicados ese mismo año • Útil para conocer las revistas que publican investigaciones de vanguardia.

20. Otros indicios de calidad Journal Citation Reports • Búsqueda del índice de inmediatez en Journal Citation Reports • Seleccione la edición (Science o Social Sciences) y el año • Marque Search for a specific journaly pulseSubmit • Escriba el título o ISSN de la revista Si pulsamos sobre el nombre de la revista obtendremos otros datos de interés: • Journal cited half-life: vida media de las citaciones recibidas • Journal citing half-life: vida media de las citaciones incluidas • Cited Journal data: listado de revistas que citan a la que buscamos • Autocitas • Revistas relacionadas: se basa en la información de las citas

21. Scimago Journal and Country Rank Búsqueda de Factor de impacto, ranking y cuartil • Entre en Scimago Journal & Country Rank • Pulse en Journal Search • Escriba el título o ISSN de la revista • Pulse sobre el título • Pulse sobre Subject Category • Obtendrá el factor de impacto (SJR), ranking y cuartil

22. 2. Indicios de calidad: Número de citas Importantes para todas las áreas y tipologías documentales • Recursos de búsqueda: • Web of Science, de Thomson, antes ISI • Integrado en la plataforma Web of Knowledge • Suscrita por el Ministerio de Ciencia e Innovación • Acceso remoto propio, también a través del UVUS • Ámbito internacional, preferencia de revistas lengua inglesa • Scopus • Multidisciplinar • Ámbito internacional, mayor cobertura de revistas europeas • Google Scholar/Google Académico • Multidisciplinar • Todas las tipologías documentales • Internacional y nacional • In-Recs, In-Recj • Ciencias sociales y jurídicas • Artículos de revistas españolas

23. Indicios de calidad: Número de citas • Web of Science, dos formas de búsqueda que pueden dar resultados distintos • Realizamos la búsqueda en el formulario de entrada de la base de datos. Obtenemos la referencia del artículo y si ha recibido citas aparecerá el número precedido de Times cited • Sólo obtenemos resultados si se ha publicado en una revista indexada en Web of Science • Pulsamos en la pestaña CitedreferenceSearchy realizamos la búsqueda por autor, escribiendo las posibles variaciones. A continuación selecciono el título abreviado de la revista y puedo añadir volumen • Encuentra citas a artículos, libros, etc… si ha sido citado desde revistas indizadas en Web of Science

24. Web of Science (Web of Knowledge) Para saber número de citas de un artículo pulsar en la pestaña Cited Reference Search Es conveniente buscar los autores en el índice o escribir las distintas formas en las que aparece escrito y unirlas con el operador OR Añadir el título abreviado de la revista, copiarlo de journal abbreviation list

25. Indicios de calidad: Número de citas • Contextualizar las citas: • Buscando las citas que ha recibido ese año la revista y viendo qué lugar ocupa nuestro artículo. • Consultando EssentialScienceIndicators, pulsando en Baselines /Percentiles • Se puede comprobar el año y el área de investigación y ver que peso tiene nuestro artículo

26. Otros indicadores. Vida media de las citas • Número de años de la publicación en que se acumula el 50% de las citas recibidas por una revista. • Es el número de años durante los cuales una revista ha publicado un número de artículos igual a la mitad de todas las citas recibidas en el año en curso. Por ejemplo, si la revista Crystal Investigación y Tecnología tiene una vida media de 7,0 en el año 2001, significa que el número de artículos publicados en esta revista durante los siete años anteriores (o sea, desde 1995 hasta el 2001, ambos inclusive) es igual a la mitad de todas las citas recibidas por sus artículos en el año 2001. Ayuda a evaluar la antigüedad de los artículos que han sido citados.  En definitiva: ¿durante cuánto tiempo se cita un artículo?

27. Otros indicadores. El Índice h • Índice h: método para medir la cantidad y la calidad de la producción científica • Propuesto por el catedrático de física de la Universidad de California Jorge Hirsch. • Es el número asignado a un investigador que tiene h artículos que han sido citado al menos h veces. • Un investigador con h = 10, significa que tiene 10 artículos cada uno de los cuales tienen 10 ó más citas.

28. Otros indicadores. El Índice h Ventajas:  Relaciona citas (¿calidad investigadora?) y cantidad de trabajos de investigación. •  Premia la tradición investigadora •  Permite comparar la actividad de los investigadores de un mismo campo,  Desventajas: •  Multiautoría por trabajo. Se propone el índice hL que se calcula dividiendo h por el número medio de autores en los trabajos. •  No tiene en cuenta la calidad de las revistas donde se publica •  No permite comparar investigadores de distintas áreas. •  Perjudica a los jóvenes investigadores que tienen menos trabajos.

29. Otros indicadores. El Índice h • ¿Dónde localizo el Índice h?  Web of Science: buscar los artículos de un autor y en la pantalla de resultados pulsar en Create Citation Report Scopus:buscar por autor y pulsar en View Citation Overview Scimago Journal and Country Rank: desde Journal Ranking puede seleccionar los criterios para ver resultados: uno de ellos es el Índice h de las revistas.  

30. 3. Indicios de calidad. Presencia en bases de datos • Antes de entrar en una base de datos las revistas pasan por una evaluación sobre su calidad formal y científica • ¿Cómo sé qué base de datos contiene una revista? • ULRICHSWEB • Base de datos en línea suscrita por la Biblioteca • Información detallada sobre más de 300.000 revistas • Ámbito mundial y multidisciplinar • Latindex • Ámbito iberoamericano y multidisciplinar • DICE / CSIC y ANECA • Ámbito español y área social y humanidades • Master List: las bases de datos ofrecen listado de las revistas indexadas • Ejemplo: Master JournalList, de Thomson: http://science.thomsonreuters.com/mjl/ • La propia revista ofrece a veces esta información

31. Criterios calidad revistas científicasCNEAI y ANECA (I)

32. 4. Criterios calidad revistas científicasCNEAI y ANECA (II)

33. Criterios Latindex y presencia en catálogo Latindex • Latindexes un sistema de información sobre las revistas de investigación científica, técnico-profesionales y de divulgación científica y cultural que se editan en los países de América Latina, el Caribe, España y Portugal • Ofrece tres bases de datos: • Directorio con datos de todas las revistas registradas • Catálogo, que incluye únicamente las revistas, impresas o electrónicas, que cumplen los criterios de calidad editorial diseñados por Latindex • Enlace a revistas electrónicas • CNEAI mencionaLatindexcomo criterio de calidad para las Áreas de Economía y empresariales, Historia y Expresión artística, Filosofía, Educación, etc. • Muy útil para ciencias sociales y para buscar indicios de calidad de revistas latinoamericanas

34. Criterios y metodología de evaluación Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista

35. Criterios y metodología de evaluación II

36. Libros y capítulos de libros • Número de citas generadas: • Web of Science: integrada en la plataforma Web of Knowledge • Scopus: base de datos multidisciplinar • Google BooksyGoogle Scholar/Google Académico • Reseñas en las revistas científicas especializadas, máster, libros • Bases de datos de la especialidad • Bases de datos multidisciplinares • Google • Dialnet • Inclusión en catálogos internacionales y nacionales • En España: Rebiun • Internacionales: Barton, Worldcat, COPAC, etc. • Prestigio de la editorial • No existe ninguna herramienta • Riguroso proceso de selección de originales • Documentos internos de la propia editorial

37. Sobre los autores • Importancia de normalizar la “firma”: • Para facilitar la recogida de datos • Para aumentar la visibilidad • Existen recomendaciones sobre cómo firmar • Recomendaciones de Fecyt • Algunas bases de datos permiten unificar en línea nombres • Web of Science • Scopus • Existen herramientas de ayuda: • Iralis: es un sistema de estandarización de las firmas de los autores científicos. Su objetivo es crear un registro de autoridades. • ResearcherID: para agrupar todo lo que ha publicado aunque esté firmado de distinta forma • La Biblioteca te ayuda

38. Acceso a los recursos

39. Acceso a los recursos Acceso remoto a través de UVUS y propio, previa acreditación

40. Ayudas para localizar citas e impacto Guías de apoyo a la investigación Acreditación y sexenios

41. Ayudas para localizar citas e impacto En nuestra Web: http://bib.us.es/ingenieros/

42. Ayudas para localizar citas e impacto En nuestra Web: http://bib.us.es/ingenieros/ Índice de citas / Factor de impacto

43. Bibliografía 1. Grupo de Investigación EC3 de Evaluación de la Ciencia y de la Comunicación Científica, http://ec3.ugr.es/ 2.Jiménez-Contreras, Evaristo; Robinson-García, Nicolas; Cabezas-Clavijo, Álvaro. Productividad e impacto de los investigadores españoles: umbrales de referencia por áreas Científicas. Revista española de documentación científica, 2011, v.34, n.4, pp. 505-526 http://redc.revistas.csic.es/index.php/redc/article/view/713/791 2. Principios y orientaciones para la aplicación de los criterios de evaluación: programa de evaluación del profesorado para la contratación / ANECA, 2007 3. Folleto informativo de la Comisión Nacional Evaluadora de la Actividad Investigadora / CNEAI, 2002 4. Propuesta de manual de ayuda a los investigadores españoles para la normalización del nombre de autores e instituciones en las publicaciones Científicas / Grupos de investigación EC3 de la Universidad de Granada y Análisis Cuantitativos de Ciencia y Tecnología del CINDOC,CSIC 5. Torres-Salinas, Daniel; Ruiz-Pérez, Rafael; Delgado-López-Cózar, Emilio. “Google Scholar como herramienta para la evaluación científica”. El profesional de la información, 2009, septiembre-octubre, v. 18, n. 5, pp. 501-510.http://0-elprofesionaldelainformacion.metapress.com.fama.us.es/link.asp?id=d700h04j123154rr 6. Torres-Salinas, Daniel; García-Moreno-Torres, José; Robinson-García, Nicolás; Delgado-López-Cózar, Emilio; Herrera, Francisco. “Rankings ISI de las universidades españolas según campos y disciplinas científicas (2ª ed. 2011)”. El profesional de la información, 2011, noviembre-diciembre, v. 20, n. 6, pp. 701-709. http://dx.doi.org/10.3145/epi.2011.nov.16

44. Fin de la presentación Biblioteca de Ingeniería Camino de los Descubrimientos s/n Sevilla 41092 http://bib.us.es/ingenieros/