marzo '14: evaluación de la investigación. master en gestión de i+d (escuela nacional de...
DESCRIPTION
Evaluación de la investigación. Escuela Nacional de Sanidad. Marzo 2014.TRANSCRIPT
Evaluación de la investigación
Dr. Antonio García Romero IE University
Master Internuversitario en Dirección y Gestión de la I+D+i en
Ciencias de la Salud
Escuela Nacional de Sanidad Universidad de Alcalá de Henares
UNED Madrid, 28 de marzo de 2014
Estructura de la presentación
1. ¿Por qué es necesario evaluar la I+D? 2. Algunos retos de las políticas de investigación
e implicaciones sobre su evaluación 3. ¿Qué es la evaluación de la I+D? 4. Métodos y herramientas para evaluar la I+D 5. Epílogo
¿Por qué es necesario
evaluar la I+D?
Asia’s Ascent — Global Trends in Biomedical R&D Expenditures Justin Chakma, Gordon H. Sun, Jeffrey D. Steinberg, Stephen M. Sammut, and Reshma Jagsi. N Engl J Med 370;1 January 2, 2014
354.626 M€ 488.781 M$
Número de publicaciones en todas las áreas y tasa de variación Total mundial
73/hora
Número de publicaciones en Ciencias de la Salud y tasa de variación Total mundial
Algunos retos de las políticas de
investigación e implicaciones sobre su
evaluación
Una reciente serie de artículos en la revista The Lancet señaló que, en 2010, alrededor de 200.000 mill. $ (un sorprendente 85% del gasto mundial en investigación médica) se desperdiciaron en estudios que tuvieron fallos en su diseño, fueron redundantes, nunca fueron publicados o se publicaron con errores.
“Why most published research findings are false”
Mayor competencia por los (escasos) recursos
The Scientist ©
“Este es el mejor modo que conozco para decidir quien consigue la plaza de investigador”
Gallup, ORI 2008
Mala conducta científica
D. Parkins Nature ©
Mala conducta científica (cont.) Déjà Vu: a Database of Highly Similar Citations
Errami & Garner, Nature (2008)
Mayor grado de especialización
© The Economist 2010
Grupos más grandes, multidisciplinares y complejos Dificultad para evaluarlos mediante peer review
Richard Smith Editorial de BMJ (2001):323-528
Creciente interés en conocer los retornos socioeconómicos de la investigación biomédica
Creciente interés por conocer los retornos socioeconómicos de la investigación biomédica
Qué es la evaluación de la investigación
(Incluye una muy breve historia)
• “La investigación es una actividad incierta dado que sobre un
espectro de posibles resultados se desconoce, a priori, la probabilidad que se tiene de alcanzar cualquiera de ellos”
(Nelson, 1959) • El carácter incierto e impredecible de la investigación la
convierte en una actividad difícil de gestionar. En particular, es necesario disponer de la mayor información posible para tomar decisiones.
• Se puede definir la evaluación de la investigación como el
conjunto de procedimientos que permiten obtener información útil para la toma de decisiones en Política de Investigación.
(García-Romero, 2003) • La evaluación no es lo mismo que la monitorización. No basta con
describir lo que ha pasado sino responder cuestiones como por qué ha pasado? o ¿qué hubiera ocurrido si las condiciones hubieran sido otras?
Analogía con otras decisiones públicas o privadas
La evaluación de la investigación es crucial
para asignar los recursos (escasos) de
modo eficiente
1665: 1-2
Se establece el Peer Review para poder publicar en Philosophical Transactions Se generan incentivos a publicar al atribuir la propiedad de los descubrimientos Mejora sensiblemente la calidad de los avances científicos
Sir Isaac Newton
1958 Bibliometría, ISI (SCI, SSCI, A&HCI) Factor de Impacto
Eugene Garfield
El Efecto Mateo en la Ciencia “Porque a quien tiene se le dará y le sobrará; pero a quien no tiene, aún lo que tiene se le quitará” (Mateo 13:12)
Robert K. Merton
1968
Vannevar Bush
1945 Proyecto Manhattan National Science Foundation
Años 70 en adelante: tres hechos importantes
32ª Conferencia de la OPEC. 1973. Viena.
Derek de Solla Price. Ley de crecimiento exponencial de la Ciencia.
Coste de los equipos para investigación se dispara
Hoy … >1.750 … 10-15 …. 40%... 80%
Derek de Solla Price
9.740 revistas 1.593.000 artículos
23.406 artículos 1.350 $ / artículo 30 M$
Las políticas de I+D y evaluación deben evolucionar para
adaptarse a los cambios experimentados en la
Ciencia
Métodos y herramientas
para evaluar la Investigación
¿Cómo NO debemos evaluar? Paradoja de Procrusto
¿Cómo?
© The Scientist
INPUTS
Stock conocimiento Recursos humanos Recursos materiales e infraestructuras Recursos financieros Graduados “Problemas” Naturaleza
PROCESO
Trabajo investigadores (organización) Difusión investigación Apoyo técnico Apoyo administrativo y gestión Formación nuevos investigadores Interacción con la tarea asistencial y docente
OUPUTS Publicaciones Patentes Investigadores formados
IMPACTOS
Científico (FI, citas) Económico (empleo, innovación, LYL) Social (calidad de vida, calidad asistencial) Político (toma de decisiones)
Marco conceptual para la evaluación de la I+D
Indicadores y Métricas
• Inputs: Recursos materiales, humanos, financieros (Manual de Frascati, Snowball metrics)
• Proceso: sistemas de información, encuestas,
indicadores sobre la organización, interacciones, difusión de conocimiento.
• Output: Publicaciones científicas, patentes. • Impacto: Resultados en Salud, ahorro de costes,
mejora de la eficiencia, calidad.
• Altmetrics
Herramientas • Indicadores bibliométricos:
Los más extendidos son número de artículos, número de citas, factor de impacto, citas/documento e índice h.
Fuentes: Web of Knowledge / Thomson Reuters Scopus / Elsevier, Google Scholar Citatios / Google (usando por ejemplo Publish or Perish) • Recomendaciones:
Usar indicadores apropiados para cada ítem: Por ejemplo, el FI es un indicador para revistas. No puede usarse para un hospital. Usar indicadores validados por especialistas (Scientometrics, ENID, Snowball metrics). Los indicadores de output tienen muchos sesgos y deben usarse teniendo en cuenta todas sus limitaciones.
Herramientas • Indicadores bibliométricos: Sistemas de información de valor añadido SciVal (Scopus) o Incites (Web of Science) Scimago country, journal and instituton rankings.
Herramientas • Indicadores de input:
Sistemas de información científica (comerciales) ICONO (Fecyt) datos agregados PAID: Acceso a través de Fecyt a datos desagregados
Altmetrics: • Nueva corriente en materia de indicadores de I+D
Considera el impacto en un sentido amplio incluyendo referencias en redes sociales tanto científicas (Mendeley o Zotero) como generalistas (Twitter, Facebook, enlaces blog, etc.). También incluye indicadores de uso como descargas y de usuario (opiniones).
• Tienen la ventaja de la inmediatez respecto de otros indicadores como las citas.
• Article level metrics de PLOS One.
Métricas para cada artículo Uso del artículo Vistas HTML Descargas PDF Descargas XML Citas recibidas PubMed Crossref Scopus Otros indicadores de impacto Valoración de lectores Rankings Comentarios recibidos Cobertura en blogs