Análisis Crítico de las Políticas de Acreditación y Evaluación de la Actividad Investigadora Salamanca, 4-12-2009

1. Análisis Crítico de las Políticas de Acreditación y Evaluación de la Actividad Investigadora Salamanca, 4-12-2009 Bernabé Escobar-Pérez Departamento de Contabilidad y Economía Financiera bescobar@us.es

2. MOTIVACIÓN “Se hace necesaria la revisión de los procesos seguidos para llevar a la práctica dicha evaluación; del mismo modo, será preciso modificar, en los programas de evaluación, aspectos de su gestión y de la aplicación de sus criterios. Evidenciar la transparencia de los procesos de evaluación, los criterios y baremos aplicados aumentará la credibilidad y legitimidad de los resultados”.

3. CONTENIDO • Aclaración/Disculpa: ¿Alguien dudó de quien sería el crítico? • Reflexiones sobre la Evaluación de la Actividad Investigadora. • Reflexiones Específicas sobre la Acreditación. • Consecuencias. • Algunas Propuestas de Mejora.

4. SOBRE LOS SEXENIOS (I) • Originalmente se crearon como complemento para tras evaluar la actividad científica del PDI, fomentar el trabajo investigador y su mejor difusión nacional e internacional. • No funcionan como complemento retributivo (indicador de productividad), sino en todo caso, como indicador de calidad. • Algunas implicaciones: “acredita la ANECA, pero preacredita la CNEAI” y “evalúa la CNEAI, pero preevalúan las revistas”. Ojo al debate sobre la revisión por pares. • La existencia de dos sistemas de evaluación diferentes (de productividad y de calidad) solucionaría muchos inconvenientes.

5. SOBRE LOS SEXENIOS (II) • Me pareció un logro que los criterios se publicaran en el BOE, porque era de esperar que la transparencia: • Redujera la discrecionalidad de los expertos. • Facilitara la decisión de los potenciales peticionarios. • En la práctica los resultados han estado muy lejos de estas expectativas. • Es justo reconocer el papel benéfico del Informe Vergés y, por otra parte, agradecer las actuaciones personales de los contables que han formado parte del Comité Asesor nº 8.

6. SOBRE LOS SEXENIOS (III) • Los criterios que se publican en el BOE no me parecen justos, entre otros, por los siguientes motivos: • La Contabilidad es una ciencia social y, por tanto, en vez de emular a las ciencias puras, deberían aplicársele los mismos criterios reconocidos para los Comités Asesores 7, 9, 10 y 11 (Teoría de los Libaneses Pro-Sirios). • No existe un único paradigma (Locke y Lowe, 2008), lo que dificulta la publicación a nivel internacional. • La importancia del entorno en que se desenvuelve es determinante para nuestra disciplina, por ello igual que en Derecho, se puede hablar expresamente de especificidades nacionales (Messner y otros, 2008).

7. SOBRE LOS SEXENIOS (IV) • Otras Críticas: • ¿Es el impacto bibliométrico es el más adecuado para evaluar las aportaciones en Contabilidad? ¿No ha tenido “impacto económico-social” el PGC´07? • ¿Son el JCR-ISI o similares suficientemente representativos en el caso de la Contabilidad? Véase la importancia del ranking del Financial Times en Gendron (2008). • No se están valorando los trabajos publicados en revistas indexadas en “otras bases de datos nacionales o internacionales (ERIH, INRECS, LATINDEX, SCOPUS, DICE-CINDOC), la mayoría de las cuales cumplen ampliamente los criterios del Apéndice I.

8. SOBRE LA ACREDITACIÓN (I) • Acreditación vs. Habilitación: • Desaparición de la restricción del número de habilitaciones, lo que elimina la competición directa. • Desaparición del sorteo y anonimato, lo que aumenta la discrecionalidad. • En principio, parecía un sistema mejor, máxime cuando incluso ANECA publicó unos Principios Orientadores para la Aplicación de los Criterios de Evaluación (POACE). • Sin embargo, la realidad es que después de una primera fase con muy buenos resultados, luego se ha alterado el proceso porque se ha impuesto la interpretación integrista de los criterios.

9. SOBRE LA ACREDITACIÓN (II) • Es lógico que los criterios sean interpretados por los expertos, pero desde mi punto de vista, siempre respetando los POACE, cosa que no ocurre. De hecho, la propia ANECA reconoce fallos. • Para explicar el triunfo de la interpretación integrista existen dos teorías, una la de las Restricciones Presupuestarias y otra la del Encanallamiento. Peligro del “ojo por ojo”. • Lo cierto es que los expertos se escudan en el anonimato (¡y de qué manera!) y la Comisión se niega, por ejemplo, a facilitar un mayor desglose en las puntuaciones (en mi opinión se asignan arbitrariamente), lejos de los “procedimientos objetivos y procesos transparentes” proclamados.

10. SOBRE LA ACREDITACIÓN (III) • Algunos ejemplos: • “[…] se valora preferentemente las publicaciones científicas en revistas de prestigio incluidas en listados tales como SCI, SSCI, Econlit, catálogo de Latindex u otros […]”. • “[…] la puntuación máxima se adapta a los estándares de publicación de los diferentes ámbitos científicos y al contexto específico en el que se ha realizado la investigación […]”. • “[…] mínimo de 16 artículos en revistas de los índices mencionados […] para obtener la puntuación máxima”. • “En Docencia […] 10 años para obtener […] la puntuación máxima”. • “Seis años es el período óptimo y suficiente para acreditar automáticamente a un TEU Doctor como TU”.

11. CONSECUENCIAS (I) • Abandono de la carrera investigadora: frustración, desmotivación…; ¿recuerdan lo de “fomentar la investigación”? • Aparición del academic perfomer (Gendron, 2008) al que luego se critica ampliamente por falta de originalidad (Hopwood, 2008). ¿Paradoja flamenca? • Comportamientos oportunistas: Se investiga y publica donde sea menos en Contabilidad: cuestiones más vendibles, revistas más accesibles y coautorías nocivas.

12. CONSECUENCIAS (II) • Disociación creciente entre profesión y academia, con el peligro que ello implica para una disciplina eminentemente aplicada como la Contabilidad. ¿Quién terminará haciendo los dictámenes? • Conversión de la investigación contable en una commodity (Lee, 1997). • Estamos siendo relegados y podríamos entrar en vías de extinción (¿Síndrome del Lince Ibérico?): • Problemas para la renovación de la academia contable. • Y en esto llegaron los sirios de verdad, aunque los parias.

13. PROPUESTAS DE MEJORA (I) • Reconocer la transferencia al mismo nivel que la investigación. Recuérdese el Ranking FT. • Potenciar las revistas contables, tanto académicas como profesionales. • Revisar el papel de los editores y de los revisores, así como de los expertos y de los miembros de las comisiones de acreditación. Por ejemplo, convendría crear un Defensor del Autor. • Establecer dos sistemas completamente diferenciados: productividad y calidad que debería crearse ex-novo y deberán valorar “otros datos: reconocimiento internacional, calidad de los vehículos de publicación, citas, etc.

14. PROPUESTAS DE MEJORA (II) • Reformar la evaluación de los sexenios considerando el CV completo, acabando con la dicotomía y estableciendo una graduación progresiva. • Aquilatar los criterios de acreditación de forma que se reconozca la realidad contable universitaria española. Por ejemplo, sólo acreditar a aquellos cuyo CV esté en el primer tercio. • Exigir una verdadera argumentación de las calificaciones desglosadas que permita realmente orientar la carrera profesional. • Convertir las alegaciones en un auténtico trámite de audiencia que permita al solicitante poder defenderse más equitativamente.

15. PROPUESTAS DE MEJORA (III) • Esperar que los expertos y comisiones cumplan con los criterios publicados y se vaya reduciendo la discrecionalidad. • Mientras tanto, a corto plazo “jugar al juego de la acreditación” y a medio plazo adaptarse a la nueva situación. Ojo a los efectos perniciosos de la estrategia de cumplir los criterios. • Por último, caso de sentirte lesionado en tus derechos, a recurrir, pero ya se sabe, no mucho.

16. ¡Muchas gracias! Bernabé Escobar-Pérez Departamento de Contabilidad y Economía Financiera Universidad de Sevilla bescobar@us.es