“valoración de la transferencia de conocimiento en la ... · criterios para la evaluación de...

5 de diciembre de 2008 Julio Bravo 1/60

AGENCIA NACIONAL DE EVALUACIÓN Y PROSPECTIVA

“Valoración de la Transferencia de Conocimiento en la Evaluación y concesión de ayudas públicas a las

actividades de I+D+i”

Julio BravoConsejero Técnico Científico

Agencia Nacional de Evaluación y Prospectiva (ANEP)Ministerio de Ciencia e Innovación

C/ San Fernando del Jarama, 14, 2º [email protected] MADRID Telf.: 917459200 www.micinn.es/ciencia/anep FAX.: 917459248

mailto:[email protected]



La ANEP tiene los siguientes objetivos:

Evaluar la calidad científico-técnica de las propuestas de I+D+I que solicitan financiación, tanto de la Administración pública como de otras instituciones públicas y privadas.

Realizar estudios de prospectiva

Contribuir a que las decisiones de asignación de recursos para I+D+i se realicen sobre la base de criterios de excelencia y calidad científico-técnica

En definitiva, contribuir a la mejora de la capacidad del sistema público de Ciencia y Tecnología.



Historia de la ANEP

La ANEP fue creada en 1986 para establecer un mecanismo de evaluación científica rigurosa basada en la "evaluación por pares" (peer review) para ayudar a los organismos gestores en decisiones de financiación de ayudas y subvenciones.

La ANEP ha contribuido notablemente al enorme salto cualitativo ocurrido en la ciencia española durante los últimos años y se ha convertido en un relevante observatorio científico. Es por ello que la ANEP ha sido y sigue siendo una importante institución de apoyo al sistema español de Ciencia y Tecnología.



Retos de la ANEPAdaptación al nuevo escenario de Ciencia y Tecnología:

Revisión de métodos y estrategias. Evaluación de actividades interdisciplinares, áreas emergentes (nano, bio, info..), transferencia de conocimiento, investigación traslacional.Incorporación de indicadores de innovación e impacto socioeconómicoConvergencia de investigación básica y aplicada

Fomento de una investigación de calidad a nivel internacionalCalidad vs. cantidadEvaluación con criterios y métodos internacionales. Incorporación de evaluadores internacionalesColaboración y coordinación con Agencias autonómicas y de otros países



1. Proyectos de InvestigaciónConvocatoria anual Plan Nacional

• Proyectos de I+D+I • Desarrollo tecnológico• Estímulo a la transferencia

Convocatorias de Comunidades AutónomasProyectos de cooperación internacionalConvocatorias de Universidades e Instituciones privadas

Actividad Evaluadora de la ANEP

2. Personal de InvestigaciónBecas pre-doctorales y becas de movilidad de investigadoresContratos post- doctorales: Ramón y Cajal, Juan de la CiervaEvaluación de Producción y Trayectoria CientíficaPremios de investigación

3. Evaluación de otras actividades Institutos universitariosAcciones especiales y complementariasCentros de investigación (CNB, Hospitales)Infraestructura científica

Total evaluaciones 2007: 23.120



Otras actividades de la ANEPRelaciones Institucionales

Reuniones de coordinación con Agencias de CCAAReuniones de coordinación con la Red de Agencias Europeas

Actividades de análisis y estudiosAnálisis mujeres/hombres Datos estadísticos de evaluaciones en la ANEP Ejercicio de análisis en colaboración con la ESFDocumentos Comisión Asesora

Grupos de trabajoCriterios de evaluación del Mérito TecnológicoCriterios de evaluación en HumanidadesCriterios de evaluación en Siencias SocialesCriterios de evaluación en Ciencias JurídicasCriterios de evaluación en Medicina Clínica y Biomedicina



Identificación de Criterios de Evaluación. Grupos de TrabajoCriterios de evaluación del Mérito tecnológicoMérito tecnológico de investigadores y tecnólogos, calidad de proyectos y de actividades de investigación aplicada y desarrollo experimental, desarrollo tecnológico o de innovación. Representantes de empresas, centros tecnológicos, OTRIs, de universidades y de organismos públicos de investigación, gestores de la Administración General del Estado y de las Comunidades Autónomas . Abril 2005-junio-2006Criterios para las áreas de HumanidadesGrupo formado por 14 expertos investigadores, académicos representantes de EEUU, Iberoamérica, Europa. Universidades. Criterios para la evaluación de proyectos de investigación y c. vitae. Tipos de publicaciones, relevancia de resultados, impacto social, otros. Enero 2006-noviembre 2006.Criterios para las áreas de Ciencias SocialesGrupo formado por 12 expertos investigadores, académicos de estas disciplinas. Criterios para la evaluación de proyectos de investigación y c. vitae. Tipos de publicaciones, relevancia de resultados, impacto social, otros. Enero 2007-noviembre 2007.Criterios para las áreas de Ciencias JurídicasCriterios para las áreas de Medicina Clínica



DIRECCIÓN

REGISTRO

JEFE DE SECCIÓN

CONSEJERÍA TÉCNICA ADMINISTRACIÓN Y

GESTIÓN ECONÓMICA

SEC. DEÁREA

(FFI, HA, CS)

SEC. DE ÁREA(BMC, AGR)

SEC. DE ÁREA (NF, COM, FI,

TM)

SEC. DE ÁREA

(FFA, IME, IEL)

SEC. DE ÁREA (MTM,

ECO, TA)

SEC. DE ÁREA

(TQ, CT QMC,)

SEC. DE ÁREA

(BMED, BVA, MCLI)

COORDINADORES (27) Y ADJUNTOS (135)

SEC. DE ÁREA (PS,

EDU)

SEC. DE ÁREA (GAN)

SEC. DE ÁREA (EXT,

INTER)

SEC. DE ÁREA (IND)

Estructura MICINNSECRETARÍA DE ESTADO DE UNIVERSIDADES

ANEP

Comisión Asesora



AREAS TEMÁTICAS DE LA ANEP(BMC) Biología Molecular, Celular y Genética(BVAE) Biología Vegetal, Animal y Ecología(TA) Ciencia y Tecnología de Alimentos(TM) Ciencia y Tecnología de Materiales(INF) Ciencias de la Computación y Tecnología Informática(TEC) Tecnología Electrónica y de las Comunicaciones(IND) Transferencia de Conocimiento y Desarrollo Tecnológico(ICI) Ingeniería Civil y Arquitectura(IEL) Ingeniería Eléctrica, Electrónica y Automática (IME) Ingeniería Mecánica, Naval y Aeronáutica(BMED) Biomedicina(MCLI) Medicina Clínica (AGR) Agricultura(CT) Ciencias de la Tierra (CS) Ciencias Sociales(DER) Derecho (ECO) Economía(FFI) Filología y Filosofía (FI) Física y Ciencias del Espacio(FFA) Fisiología y Farmacología (GAN) Ganadería y Pesca(MTM) Matemáticas (HA) Historia y Arte(TQ) Tecnología Química (EDU) Ciencias de la Educación(QMC) Química (PS) Psicología (EXT) Área Externa (INTER) Área Interdisciplinar



INSTITUCIONES SOLICITANTESMinisterio de Ciencia e innovaciónOtros Ministerios: Educación, Industria, Agricultura, Fomento, Asuntos Sociales, Sanidad, Asuntos Exteriores, Medio AmbienteComunidades Autónomas: Andalucía, Canarias, Castilla León, Castilla La Mancha, Extremadura, Galicia, Islas Baleares, Madrid, Navarra, Valencia, Asturias, …Fundaciones públicas: Fundaciones Marqués de Valdecilla, Séneca, Inocente Inocente, Genoma, … Instituto General Gutiérrez Mellado, Fundaciones privadas: La Caixa, Fundación Marcelino Botín, Fundaluce, Fundación Arao, Tomás de Osma, …Universidades públicas y privadas: Alicante, Cardenal Herrera, UCM, UC3M, UPM, URJC, UAM, UAH, Huelva, Jaén, Jaime I, La Laguna, Las Palmas, Málaga, Miguel Hernández, Navarra, UPV, San Pablo-CEU, Valencia, ZaragozaOrganismos públicos de Investigación: CSIC, INIA, Hospital Valld’Hebrón.Organismos Internacionales: Canadá/Alemania. Convocatoria de Genómica, EURYI



Tipos de solicitudes

MEC Y AGE CC.AA. Universidades Fundaciones Otros TOTAL

Proyectos 8.683 1.383 1.129 807 199 12.201Becas y contratos 8.363 194 88 107 8.752

Infraestructura 65 130 195

Coop. Internacional 697 697

Movilidad 732 510 1.242Otros 2 37 21 27 87Total 18.542 2.254 1.150 895 333 23.174

Evaluaciones realizadas en 2007



HUM18%

IND11%

ING13%

BIO38%

EXP20%



EXPEDIETE

ANEPCOMUNIDAD CIENTÍFICA

EXPERTOS

SOLICITANTES

EVALUACIÓNINSTITUCIONES CONVOCANTES

EMPRESASMINISTERIOS

FUNDACIONESUNIVERSIDADES

CCAAMEC

Proceso de evaluación de proyectos



27 Equipos de Coordinación

de áreas temáticas135 miembros

INFORMESFINALES

Evaluadores

ANEP

Informes de expertos

Selección de “pares”

Proceso de evaluación de proyectos

TecnólogosEmpresarios

Gestores

CientíficosInvestigadores

Expertos



CIENTÍFICO-TÉCNICO

INFORME CDTI

TÉCNICO

INFORMEINSTITUCIÓN

ADECUACIÓN, PRIORIDAD, OPORTUNIDAD

COMISIÓNSELECCIÓN

FINANCIACIÓN

LOS INFORMES DE ANEP Y CDTI SON DETERMINANTES (OBLIGATORIOS) PERO NO VINCULANTES

INFORME ANEP

Proceso de selección/financiación de proyectos



SISTEMAS DE EVALUACIÓNA. Paneles fijos de expertos de reconocido prestigio y experiencia en evaluación: Saturación de expertos, se les exige demasiada dedicación para compatibilizar sus tareas de investigador en activo.B. Expertos externos seleccionados en una base de datos abierta a toda la comunidad de I+D+I: Riesgos de evaluaciones de poca calidad, poca objetividad, conflicto de intereses, ...MIXTA (ANEP): Evaluaciones por pares realizadas por expertos externos (B) pero supervisadas por paneles de colaboradores seleccionados por su prestigio y experiencia (A).



Informes individuales, como mínimo dos, de cada proyecto, a partir de los cuales el equipo de coordinación elaborará un informe final.

Paneles de expertos, cuando las evaluaciones han de ser comparativas, se necesita homogenizar criterios y hacer priorización.

Evaluación mixta, en dos fases: evaluación individual y posteriormente evaluación en paneles.

Método “ad hoc” cuando los proyectos o solicitudes no se adecuan a ninguno de los métodos de evaluación anteriores.

Metodología de Evaluación de ANEP



Investigadores principales de proyectos PNExpertos en transferencia de tecnología e innovaciónExpertos en otras materias (ingenieros, personal sanitario, educación, gestores, etc.)Expertos extranjerosIdentificación de Expertos InterdisciplinaresActualización continua

Base de Datos de Evaluadores (27.000)



Es un experto en el tema: investigadores, tecnólogos, empresarios, gestores, ...Estudia a fondo el proyecto y elabora informe basado en crítica constructiva (debería llegar al investigador).Debe ser imparcial y con la mínima relación personal con el equipo investigador.El informe debe ser motivado, claro y fundamentado, indicando sugerencias para mejorar el proyecto.La importancia de una buena evaluación científico-técnica es esencial para el funcionamiento del sistema.Se mantiene el anonimato del evaluador.

El evaluador



Protocolo para conseguir buena evaluación de una convocatoriaEntidad convocante y ANEP deben contactar:

Antes de realizar convocatoria para:• Fijar criterios de evaluación y peso de cada uno.• Plasmar en la convocatoria los criterios y que la calidad científico-técnica

será evaluada por la ANEP.• Estimar número aprox. de solicitudes y calendario de evaluación.• Establecer tipo de evaluación (por pares, comisión o mixta)

Al cierre del plazo de solicitud para:• Enviar carta formal de solicitud de evaluación.• Remitir texto de la convocatoria.• Remitir tabla Excel con solicitudes (ref., IP, título y área ANEP).• Iniciar apertura de convocatoria en aplicación, asignar “usuario” y “palabra

clave” para que la entidad convocante realice carga.• Realizar carga de documentación (Solicitud, Memoria, CV IP y CVs, ...).

Una vez resuelta la financiación para:• Remitir la resolución.• Remitir las alegaciones.



La ANEP debe:• Colaborar para fijar los criterios de evaluación, si es posible antes de la

publicación de la convocatoria o en la realización del formulario de evaluación.• Cargar texto regulador de convocatoria y formulario de evaluación.• Revisar documentación cargada e iniciar proceso evaluador (nota de reparto).• Remitir los informes finales de la evaluación en el plazo pactado (2 meses).• Recibir y responder las alegaciones que se produzcan sobre la evaluación de la

calidad científico-técnica.

Protocolo para conseguir buena evaluación de una convocatoria



Publicación Convocatoria

meses

Cierre Convocatoria

Revisión Adm. Carga

Fin Evaluación

Resolución

Contacto previo Entidad Convocante con ANEPEstablecer criterios, tipo de evaluación y calendario

Convocante → Envío de solicitud, convocatoria, tabla ExcelANEP → Abre convocatoria y carga conv. y form. eval.Convocante → Cargan solicitudes

Alegaciones

Nota reparto y asignación a expertos ANEP → Evaluación de expertos (anónimos)

Informe final (Equipo Coordinación)

ANEP → Envía inf. finales → Convocante

Convocante → Resuelve y envía resol → ANEP

Convocante → Envía alegaciones cientif. tecn. → ANEPANEP → Envía respuesta a alegaciones → Convocante

Desarrollo temporal de una convocatoria



Coste “directo” de evaluaciónEvaluación por pares (2 evaluaciones):

•Becas, CV, ...: 60 a 130 €/solicitud.•Proyectos: ≥ 190 €/solicitud.•Proyectos complejos: ≥ 250 €/solicitud.

Evaluaciones por comisiones:•145 € por evaluador y jornada (105 por media jornada y 225 por intensiva)

Evaluaciones especiales:•RyC: 150 € + 150 € × nº días + 35 € × nº evaluaciones.•CENIT: aprox. 350 € × nº días asistencia

Costes de la evaluación de una convocatoria

Coste “indirecto” de evaluación ≥ 80 €/solicitud



Ejemplos de Coste de evaluaciones

Ejemplo 1: evaluación proyectos Asturias Concertados 2007Directo: 23 solicitudes → 46 evaluaciones → 4.370 €Indirecto: 23 solicitudes → 1.840 €

Total: 6.210 €

Ejemplo 2: Castilla la Mancha, movilidad 2007Directo: 21 solicitudes → 42 evaluaciones → 2.000 €Indirecto: 21 solicitudes → 1.680 €

Total: 3.680

Ejemplo 3: MEC, Ramón y Cajal y Juan de la Cierva 20072583 solicitudes → 27 comisiones → 650.000 €



Criterios de Evaluación de Proyectos

1. Objetivos: contribución científico-técnica esperable de la propuesta. Relevancia y Novedad del proyecto ¿Es una buena idea?

2. Viabilidad de la propuesta. ¿Es posible lograr los objetivos con el plan de trabajo con un riesgo razonable?

3. Grupo de investigación (IP): calidad científico-técnica y capacidad del equipo de investigación. Tiene el grupo de investigación experiencia y/o capacidad? Y medios?

4. Adecuación del presupuesto a las actividades (recomendaciones)

18



Criterios de evaluación y selección. Grupos consolidados y emergentes. Democracia en la evaluación Trayectoria del grupo vs. Novedad y relevancia del proyecto. Jóvenes investigadores

Modalidad A: Jóvenes Investigadores1 Méritos científicos del IP 15 puntos(B: 25 Pts.; 15+10)Valorar el historial científico del IP en los últimos 5 años, su formación, trayectoria y solvencia científica. Considerando que es la primera vez que presenta una solicitud, no debe ser valorado negativamente que inicie una nueva línea de investigación si su potencial científico y capacidad de liderazgo son adecuados. En caso de que presente grupo de investigación, valorar si la capacidad y composición del mismo es adecuada.2. Interés científico-técnico 25 puntos(B: 15 pts)Novedad y relevancia, avance científico-técnico conocimiento del estado actual del tema3. Viabilidad de la propuesta. 10 puntosCapacidad del equipo (no valorar negativamente los intentos ambiciosos y arriesgados: un cierto riesgo puede ser meritorio

en un proyecto bien fundamentado) Metodología, plan de trabajo y distribución de tareas

Modalidad C: Grupos Consolidados

1. Méritos científicos del grupo. 35 puntos1.1 Valorar el historial científico del IP en los últimos 12 años, su formación, trayectoria y solvencia científica: 20 puntos1.2. Méritos científicos del resto del equipo: 10 puntos. CV de cada uno de los participantes, valorando positivamente la participación de investigadores en formación.1.3. Otros méritos relacionados con la actividad científica del IP y de los miembros del equipo: 5 puntos. Reconocimiento nacional e internacional, representación institucional, pertenencia a sociedades y editoriales de prestigio, asesoría de instituciones de I+D, entre otros.

2. Interés científico-técnico de las líneas de investigación propuestas 15 puntosNovedad y relevancia, avance científico-técnico conocimiento del estado actual del tema



Criterios de Evaluación de Investigadores (Ramón y Cajal) Trayectoria científica del solicitante teniendo en cuenta sus aportaciones en

cuanto al mérito y relevancia científicaCalidad de las publicaciones y su contribución personal en las mismas. Autoría

de las publicacionesAportaciones científicas no publicables pero acreditadas, patentes, prototipos,

informes, otrosPotencial del solicitante como investigador. Capacidad para liderar un grupo de investigaciónEstancias en otros centros y sus contribuciones en los proyectos en los que ha

trabajado, intereses científicos, líneas de investigación que considera relevantes y en las cuales les gustaría trabajarEs meritoria la disposición a emprender líneas de investigación nuevas o

interdisciplinares, que supongan un avance en la frontera del conocimiento, o que impliquen un esfuerzo intelectual del candidato en cuanto al aprendizaje de nuevos conocimientos y técnicas. 20



Controles de calidad de los procedimientos de evaluación

Controles estadísticosControles para evitar conflictos de interesesLos evaluadores firman un compromiso de ausencia de conflictos de intereses y confidencialidadLos investigadores pueden enviar cartas de recusaciónLos equipos de coordinación deben detectar y corregir sesgos, incompatibilidades y conflictos de intereses

Controles para evitar y corregir sesgosVigilancia de la participación de mujeres y de investigadores jóvenesVigilancia de los criterios que orientan la evaluación

Controles de calidad de la evaluación y de evaluadoresEvaluación de evaluadores en la aplicación informáticaControles de calidad de la evaluación en colaboración con la European Science FoundationVigilancia por la Comisión Asesora de la ANEP 21



26 de 28



Nuevos Criterios de Evaluación para el Mérito TecnológicoMérito tecnológicoGrupo de trabajo formado por representantes de empresas, centros tecnológicos, oficinas de transferencia de resultados de investigación, de universidades y de organismos públicos de investigación, gestores de la Administración General del Estado y de las Comunidades Autónomas.Abril 2005-junio-2006

Mérito tecnológico de investigadores y tecnólogosCalidad de proyectos de investigación aplicada y desarrollo experimentalCalidad de las actividades realizadas por entidades de investigación aplicada, de desarrollo tecnológico o de innovación.

httphttp://://www.micinn.eswww.micinn.es/ciencia//ciencia/jspjsp//plantilla.jspplantilla.jsp??



¿Qué es la Transferencia de Conocimiento?

¿Cómo debe ser el CV de un PDI de Universidad en Transferencia de Conocimiento?

Para transferir conocimiento hay que generarloTransferencia de resultados de investigaciónSolo transferencia ≈ servicios

Investigador que transfiere conocimientosMéritos tecnológicos y méritos científicosMérito científicos inferiores a los de investigadores básicos



1. Filiación personal2. Recorrido profesional: empresas, univeridades,

centros públicos y privados de I+D3. Situación profesional actual4. Titulación/es5. Líneas de especialización en I+D+i6. Estancias en instituciones de prestigio7. Otros puestos y cargos

A. Curriculm Vitae

MMéérito Tecnolrito Tecnolóógicogico de Investigadores y Tecnde Investigadores y Tecnóólogoslogos



B1. Participación en proyectos1. Convocatorias competitivas2.Contratos sin evaluación y otras de Transferencia de

TecnologíaB2. Resultados de la actividad

3.Propiedad Industrial e Intelectual y resultados Transf. Tecnol. (títulos, know-how y variedades vegetales)

4.Publicaciones de difusión de resultados5.Participación en actos de divulgación6.Actuación como experto (supervisión, asesoría, evaluación,

peritaje, …)7.Tesis dirigidas8.Colaboraciones con otros investigadores y tecnólogos

B. Actividad de I+D+i



1. Responsabilidades de gestión en I+D+i2. Idiomas3. Becas4. Pertenencia de cuota a sociedades científicas y profesionales5. Pertenencia honorífica a sociedades científicas y profesionales6. Pertenencia mediante procesos selectivos a redes temáticas7. Títulos y premios

C. Actividad formativa

D. Otros méritos

1. Cursos regados y no reglados2. Seminarios3. Proyectos de capacitación supervisados



A1. Criterios de oportunidadA2. Criterios de identificación de objetivos y novedadA3. Valor de los resultados previstos

A. Objetivos e interés potencial de proyecto

Proyectos de investigaciProyectos de investigacióón aplicada y desarrollo experimentaln aplicada y desarrollo experimental

B1. Metodología y plan de trabajoB2. Calidad y capacidad del equipo de I+D

B. Organización de los medios materiales y humanos

C1. Plan de explotación de los resultados del proyectoC2. Medios disponibles y presupuesto

C. Plan de explotación y el presupuesto



A1. Recursos materialesA2. Colaboraciones externasA3. Capacidad formativa

A. Capacidad de la entidad

EntidadesEntidades--Centros del I+D+i que desarrollan actividades de Centros del I+D+i que desarrollan actividades de investigaciinvestigacióón aplicada, desarrollo tecnoln aplicada, desarrollo tecnolóógico y/o innovacigico y/o innovacióónn

B1. Resultado de la actividadB2. Relación con el ámbito económico y socialB3. Eficacia de la financiación

B. Actividad en la entidad

C1. Líneas de actuaciónC2. Viabilidad de los proyectosC3. Gestión y explotación de resultados

C. Objetivos y líneas estratégicas



PROGRAMA CENITConsorcios Estratégicos Nacionales en Investigación Técnica (CENIT) destinado a fomentar cooperación público-privada en I+D+i. Orientados a una investigación en áreas tecnológicas de futuro y con fuerte proyección internacional: creación de nuevos productos, procesos o servicios.En la primera convocatoria se aprobaron 16 grandes proyectos de investigación industrial estratégica. Participaron 175 empresas y más de 200 grupos de investigación (800 investigadores)Financiación 430 M€ durante 4 años (CDTI: 200 M€ y 230 M€inversión privada). Mas de 130 M€ a Universidades, Organismos Públicos de Investigación (OPIs) y Centros Tecnológicos.



Julio BravoConsejero Técnico Científico

[email protected]

MUCHAS GRACIAS



IEL: Ingeniería Eléctrica, Electrónica y Automática

Diseño y Producción Industrial

Energía

Medios de transporte

Materiales

Tecnología Electrónica y de Comunicaciones

TEC: Tecnología Electrónica y de las Comunicaciones

Proyecto 1

Proyecto 2

Proyecto 3

Áreas ANEPÁrea Gestión MECInvestigadores

Ejemplo de proceso de evaluación 1 / 3



IEL: Ingeniería Eléctrica, Electrónica y Automática. Equipo:

CoordinadorAdjunto 1Adjunto 2Adjunto 3

Evaluador 1Evaluador 2

ANEP Evaluadores(Investigadores)







Diseño y Producción Industrial:

Comisión de selección

Tecnología Electrónica y de Comunicaciones: Comisión de selección

TEC: Tecnología electrónica y de las comunicaciones

IP proyecto 1

IP proyecto 2

IP proyecto 3

ANEPProgramas MECInvestigadores





Diseño y Producción Industrial:

Comisión de selección

ANEPProgramas MEC

¡Un proyecto es examinado por 4 o 5 personas!

Evaluador 1 Evaluador 2

Experto 4Experto 3

Coordinador/Adjunto

IPProyecto



Evaluación de proyectos del Plan Nacional de I+D+i (1/6)

Este informe debe redactarse teniendo en cuenta que puede ser enviado al investigador principal del proyecto. Se debe incluir toda la información que pueda ser de utilidad para el investigador, las valoraciones de los criterios evaluados, recomendaciones y sugerencias que pudieran redundar en la mejora del proyecto. Debe existir una coherencia entre los argumentos de la evaluación y su puntuación numérica.Para cada uno de los criterios se redactarán valoraciones, y no meras descripciones, que hagan referencia a cada uno de los subproyectos y al proyecto global. Deberá puntuarse numéricamente cada uno de los criterios, para cada subproyecto y para el proyecto global, trasladándose estas calificaciones a la tabla situada al final del informe.

INFORME DE EVALUACIÓN DE PROYECTOS DE I+D -PLAN NACIONAL – 2007 Modalidad B: Grupos de

trabajo usuarios tradicionales de esta convocatoria. Coordinados.



Evaluación de proyectos del Plan Nacional de I+D+i (2/6)1.- Capacidad del Investigador principal y del resto del equipode investigación para la realización de las actividades programadas y contribuciones recientes del mismo relacionadas con el área temática del proyecto. (A 16 puntos, B y C 26 puntos)1.1 Valorar el historial científico del IP , de cada uno de los subproyectos y del proyecto global, en los últimos 5 años. Debe valorarse su capacidad de liderazgo dentro del grupo, la trayectoria y solvencia científica a nivel internacional y la dirección de proyectos del Plan Nacional, proyectos con empresas y similares.(A y B-16 puntos; C-13 puntos)1.2. Valorar el historial investigador del resto de los componentesdel equipo de investigación de cada uno de los subproyecto y del proyecto global. Currículum vitae de cada uno de los participantes, valorando positivamente la participación de investigadores en formación. Adecuación de la capacidad y el tamaño de cada uno de los grupos para desarrollar cada uno de los subproyectos y el proyecto global. ( A-0 puntos; B-10 puntos; C-13 puntos)



Evaluación de proyectos del Plan Nacional de I+D+i (3/6)

2. Contribuciones científico-técnicas esperables del proyecto.Novedad y relevancia de los objetivos en relación con los objetivos de la Convocatoria y al estado del conocimiento propio del área en la que se inscribe la solicitud.2.1 Valorar los objetivos, el conocimiento del estado actual del tema y la claridad de ideas en su desarrollo, para cada uno de los subproyectos y para el proyecto global. Valórese favorablemente la novedad del tema de investigación. (A-10 puntos; B y C-8 puntos)2.2. Valorar los resultados esperables del proyecto basándose los resultados de proyectos anteriores y en la experiencia previa de cada grupo investigador. (A-14 puntos;B y C-8 puntos) En las A se valora la novedad, especialmente respecto al grupo del que provienen



Evaluación de proyectos del Plan Nacional de I+D+i (4/6)3. Viabilidad de la propuesta. Adecuación de la metodología, diseño de la investigación y plan de trabajo en relación a los objetivos del proyecto. Complementariedad de los equipos de investigación participantes y beneficios de la coordinación. La viabilidad se basa en la solvencia científica del equipo y en la propia naturaleza de los objetivos y en las líneas de trabajo a desarrollar. Debe indicarse la necesidad de la coordinación y el valor añadido que ésta proporciona. La unión innecesaria o artificial de proyectos individuales no justifican un proyecto coordinado. Es importante indicar los puntos débiles y fuertes de la memoria. Valorar la adecuación de las líneas de trabajo propuestas para conseguir los objetivos de cada subproyecto y del proyecto global, no valorándose negativamente los intentos ambiciosos y arriesgados: un cierto riesgo puede ser meritorio en un proyecto bien fundamentado. (A-10 puntos; B y C-8 puntos)



Evaluación de proyectos del Plan Nacional de I+D+i (5/6)Comentarios sobre la adecuación del presupuesto, plan de difusión, formación y otros. Si procede, inclúyanse comentarios y sugerencias respecto de los costes de material solicitado, cofinanciación, costes de viajes, asícomo la capacidad de formación de los grupos y la calidad del plan de difusión de los resultados cuando se considere oportuno.

Valoración global del proyectoRedactar un breve párrafo que resuma la valoración global del proyecto y que justifique la calificación concedida.

Observaciones confidencialesEn este apartado se indicarán comentarios confidenciales, de utilidad para la comisión de evaluación pero que no serán transmitidos al investigador del proyecto. Estos comentarios se considerarán como notas confidenciales.



Evaluación de proyectos del Plan Nacional de I+D+i (6/6)DEFICIENTE CUESTIONABLE ACEPTABLE BUENO EXCELENTE

(0-10) (11-21) (22-32) (33-43) (44-50)

Por favor, transfiera a la siguiente tabla las calificaciones que ha puesto a cada subproyecto para cada uno de los criterios evaluados

CalificaciónSubproy. 1 Subproy. 2 Subproy. 3 Subproy. 4 Subproy. 5 Subproy. 6 Subproy. 7

1.1 (IP)1.2 (Grupo)

2.1 (Novedad)2.2 (Resultados)3 (Viabilidad)

Suma

Si considera que la calidad del proyecto es Buena o Excelente, pero alguno de los subproyectos no tiene la calidad suficiente, indique cuál o cuáles de los subproyectos no deberían ser financiados.



¿Cómo elaborar mejores proyectos?Elegir correctamente la Áreas de Gestión y Científica

Comprender el proceso de evaluación

Áreas de Gestión del Ministerio

Áreas ANEP

Redactar buenas memoriasAclarar los objetivos y ser realista en los mismos

Cuidar la redacción: la impresión personal es importante

Indicar por qué es relevante. Ser convincente

El evaluador no debe aburrirse. Debe interesarse

Ser sincero



¿Dónde se elige el “Programa del MEC” y dónde se elige el “Área ANEP”?

Área Gestión del MEC

Área ANEP

Área de Gestión:Energía



Área de ciencias de la vida– Programa nacional de biomedicina– Programa nacional de tecnologías para la salud y el bienestar– Programa nacional de biotecnología– Programa nacional de biología fundamental Área de ciencias y tecnologías agroalimentarias y medioambientales– Programa nacional de recursos y tecnologías agroalimentarias– Programa nacional de ciencias y tecnologías medioambientales– Programa nacional de biodiversidad, ciencias de la tierra y cambio global Área de ciencias del espacio, matemáticas y física– Programa nacional de espacio– Programa nacional de astronomía y astrofísica– Programa nacional de física de partículas– Programa nacional de matemáticas– Programa nacional de físicaÁrea de energía – Programa nacional de energía

Áreas de Gestión del Ministerio 1/3



Área de química, materiales y diseño y producción industrial– Programa nacional de ciencias y tecnologías químicas– Programa nacional de materiales – Programa nacional de diseño y producción industrialÁrea de seguridad y defensa– Programa nacional de seguridad– Programa nacional de defensaÁrea de tecnologías de la sociedad de la información– Programa nacional de tecnología electrónica y de comunicaciones– Programa nacional de tecnologías informáticas– Programa nacional de tecnologías de servicios de la sociedad de la información– Acción estratégica de seguridad y confianza en los sistemas de información, las comunicaciones y los servicios de la de la sociedad de la informaciónÁrea de transporte y construcción– Programa nacional de medios de transporte– Programa nacional de construcción




Área de humanidades, ciencias sociales y económicas– Programa nacional de humanidades– Programa nacional de ciencias sociales, económicas y jurídicasAcciones estratégicas transversales– Acción estratégica de tecnologías turísticas– Acción estratégica de nanociencia y nanotecnología– Acción estratégica de e-cienciaÁreas horizontales– Programa de cooperación internacional en ciencia y tecnología– Programa de potenciación de recursos humanos– Programa de apoyo a la competitividad empresarial– Programa de equipamiento e infraestructura– Programa de fomento de la cultura científica y tecnológica




Redactar buenas memorias 1 / 2Aclarar los objetivos: El evaluador es una persona ocupada,

que no necesita leer argumentos obvios y que quiere comprender rápidamente qué se pretende hacer

Ser realista en los objetivos

Volumen de los objetivos

Valoración del proyecto



Redactar buenas memorias 2 / 2Ser realista en los objetivos de mejora del CV

Ser realista en el presupuesto: No usar argumentos tales como “pido el doble para que me den la mitad, que es lo que necesito”

Ser realista en la petición de personal de apoyo: No pretender que el proyecto “lo hagan” los becarios y que los investigadores sólo redacten y apoyen la memoria

CV en “n” años

CV en “n+3” años

CV en “n” años

CV en “n+3” años

Muyimprobable

Posible



Ejemplos reales de situaciones comentadasnegativamente por los evaluadores (1 / 2)

Se pide un técnico de laboratorio y no se justifica qué va a hacer en el proyecto. Todo el mundo necesita personal de apoyo, pero se estáevaluando un proyecto, no las necesidades generales del grupo investigador.

El equipo x se sabe que cuesta la mitad de lo que se dice en lamemoria. El evaluador tenderá a pensar que también está “inflado” el resto del presupuesto.

Un grupo consolidado necesita 18 meses de estudio previo en un tema del que tiene experiencia.

El proyecto es muy aplicado, pero no se ha conseguido que haya empresas interesadas.

El proyecto es muy aplicado, hay empresas muy interesadas, perono hacen nada en el proyecto (no aportan material, ni financiación, ni personal, ni seguimiento de las tareas, etc.)



FuturoANEP

Ejemplos reales de situaciones comentadas negativamente por los evaluadores (2 / 2)

Proyecto con interés social pero sin interés científico-técnico. Habráque elegir correctamente dónde encaja un proyecto así, que no seráen una convocatoria estándar de I+D+I.

Grupo investigador numeroso, integrado por personas maduras y con escaso CV, que piden 5 becarios. Seguramente se trata de un proyecto desenfocado y que se pretende que sea realizado, casi exclusivamente, por los becarios.

Grupo investigador sin publicaciones relevantes ni en congresos ni en revistas “indexadas”, que presenta un plan de difusión de resultados con numerosas publicaciones relevantes. Se juzgará como poco probable. Es mejor ser realista.

Grupo investigador con experiencia industrial, buenas realizaciones prácticas pero casi sin currículum científico-técnico. Evaluación incierta (dependerá mucho del evaluador). Deben mejorar su currículum científico-técnico.

“valoración de la transferencia de conocimiento en la ... · criterios para la evaluación de...

Documents