28ORGANIZACIÓN

Y DISEÑO DE LOSPROCESOS DE EVALUACIÓN

28ORGANIZACIÓN

Y DISEÑO DE LOSPROCESOS DE EVALUACIÓN

3

COLECCIÓN: CUADERNOS DE TRABAJO-FORMACIÓN, EMPLEO, CUALIFICACIONES-

INICIATIVA PROMOVIDA POR EL DEPARTAMENTO DE JUSTICIA,TRABAJO Y SEGURIDAD SOCIAL. GOBIERNO VASCO

NÚMEROS PUBLICADOS

1. EDUCACIÓN Y TRABAJO PRODUCTIVO

2. CAMBIO TECNOLÓGICO Y REPERCUSIONES EN EL EMPLEO

3. PREVER Y FORMAR

4. ANÁLISIS PREVISIONAL DE LOS EMPLEOS DEL COMERCIO MINORISTA EN DONOSTIA

5. EXPERIENCIAS DE FORMACIÓN CONTINUA PARA DIRIGENTES DE PYMES

6. LAS CUALIFICACIONES PROFESIONALES ANTE EL MERCADO ÚNICO

7. LAS MUJERES Y EL MERCADO DE TRABAJO EUROPEO

8. PARO DE LARGA DURACIÓN EN EUROPA: ESTRATEGIAS Y ACCIONES

9. INVESTIGACIÓN Y DESARROLLO EN FORMACIÓN CONTINUA

10. FORMACIÓN DE FORMADORES: RETOS Y AVANCES

11. GUÍA 1 FORMACIÓN PARA LA PYME: COMPETENCIAS GENÉRICAS DE LOS FORMADORES Y ORGANI-ZADORES DE PROGRAMAS DE FORMACIÓN PARA PEQUEÑAS EMPRESAS

12. NUEVO CONTEXTO SOCIOECONÓMICO Y ESTRATEGIAS DE DESARROLLO LOCAL

13. CRECIMIENTO, COMPETITIVIDAD Y EMPLEO. ESTRATEGIAS EN LA UNIÓN EUROPEA. RETOS Y PERS-PECTIVAS PARA EL PAÍS VASCO

14. MANUAL PARA LA ELABORACIÓN DE PROYECTOS DE DESARROLLO ECONÓMICO LOCAL Y EMPLEO

15. GUÍA 2 FORMACIÓN PARA LA CREACIÓN DE PYMES. COMPETENCIAS DE LOS FORMADORES PARAPROMOVER EL ESPÍRITU E INICIATIVA EMPRESARIAL Y LOS PROYECTOS DE CREACIÓN DE EMPRESA

16. ANÁLISIS Y EVOLUCIÓN DE LOS EMPLEOS DEL TERCIARIO DE OFICINA

17. ANÁLISIS Y EVOLUCIÓN DE LOS EMPLEOS DE LA INDUSTRIA METALMECÁNICA

18. FLEXIBILIDAD Y DISTRIBUCIÓN DEL TRABAJO

19. NUEVOS YACIMIENTOS DE EMPLEO

20. LA FORMACIÓN EN CENTROS DE TRABAJO

21. LA CALIDAD DE LA FORMACIÓN

22. TELETRABAJO. IMPACTO DE LAS NUEVAS TECNOLOGÍAS EN LA ORGANIZACIÓN DEL TRABAJO

23. ORIENTACIÓN Y ASESORAMIENTO PROFESIONAL

24. PERFILES Y COMPETENCIAS PROFESIONALES EN EL SECTOR DE LA CONSTRUCCIÓN

25. LOS JUEGOS DE SIMULACIÓN, UNA HERRAMIENTA PARA LA FORMACIÓN

26. INSERCIÓN A TRAVÉS DE LA FORMACIÓN. INSTRUMENTOS PARA INNOVAR LOS PROCESOS DE FORMACIÓN-INSERCIÓN

27. COMPETENCIAS PROFESIONALES. ENFOQUES Y MODELOS A DEBATE

NÚMERO 28

TITULO: ORGANIZACIÓN Y DISEÑO DE LOS PROCESOS DE EVALUACIÓN

CIDEC. Centro de Investigación y Documentación sobre problemas de la Economía, el Empleo y las Cualificaciones Profesionales

DONOSTIA-SAN SEBASTIÁN

Avenida de la Libertad 17-19 Telf: 943 42 52 57 Fax: 943 42 93 31 • E-mail. cidec@sarenet.es

D.P. 20004

Impresión: Michelena Artes Gráficas S.L.

D.L.: SS-104-91

I.S.S.N.: 1135-0989

P.V.P.: 2.000 ptas.

ORGANIZACIÓN Y DISEÑO DE LOSPROCESOS DE EVALUACIÓN

ÍNDICE

HITZAURREA/PREFACIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

PRESENTACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1. LA EVALUACIÓN. CONCEPTOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.1. Conceptualización . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

1.1.1. Psuedoevaluaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.1.2. Cuasievaluaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.1.3. Evaluaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1.2. Institucionalización de las prácticas de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . 17

1.2.1. La génesis de la evaluación en los EE.UU. . . . . . . . . . . . . . . . . . . . . . . . . . . 17

1.2.2. La extensión a otros países . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

1.3. Principios de la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

1.4. Criterios de la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

1.5. Momentos de la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2. LA EVALUACIÓN DE PROGRAMAS EN LA UNIÓN EUROPEA.

ORIENTACIONES PARA PROCEDER A SU ORGANIZACIÓN Y DISEÑO . . . . . . . . . . 27

2.1. Marco general . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.2. Cómo organizar el proceso de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.3. Las etapas básicas y su contenido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

2.3.1. Fase A: Mandato de Evaluación y Estructuración del Proceso . . . . . . . . . . . 33

2.3.2. Fase B: Elaboración de los Términos de Referencia

y Convocatoria del Concurso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

2.3.3. Fase C: Selección de Evaluadores y Elaboración del Plan de Evaluación . . . . 35

2.3.4. Fase D: Gestión del Proceso y Evaluación de su Calidad . . . . . . . . . . . . . . . . 36

2.3.5. Fase E: Difusión de Resultados y Puesta en Práctica . . . . . . . . . . . . . . . . . . 38

2.4. Articular el control, seguimiento y evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

2.4.1. La lógica de la programación y su incidencia en

el seguimiento y la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.5. Cómo diseñar el sistema de seguimiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

2.6. Las evaluaciones intermedias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

2.6.1. Contenido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

2.6.2. Metodología. Enfoques y técnicas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

3. PROGRAMA MEANS: IDENTIFICACIÓN Y MEDICIÓN

DE EFECTOS ESTRUCTURALES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

3.1. Identificación de efectos estructurales y su medición. Dificultades,

limitaciones y recomendaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

3.1.1. Dificultades y limitaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.1.2. Recomendaciones para la evaluación de efectos estructurales . . . . . . . . . . . 57

3.2. Evaluación de efectos sobre el empleo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

5

6

3.2.1. Medición de efectos sobre el empleo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

3.2.2. Identificación de lo que se quiere medir . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.2.3. Indicadores para la medición de efectos sobre el empleo . . . . . . . . . . . . . . . . 61

4. PRÁCTICAS DE EVALUACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

4.1. Evaluación intermedia de programas cofinanciados por el FSE . . . . . . . . . . . . . . . . 64

4.2. Ejemplos de buenas prácticas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

4.2.1. Una estrategia de autoevaluación: Ostrobothnian del Sur. Finlandia . . . . . . . . 69

4.2.2. Evaluación intermedia de la iniciativa comunitaria Interreg II en el Alto Rhin:

la implementación de una metodología participativa . . . . . . . . . . . . . . . . . . . 72

4.2.3. Evaluación de la innovación en la primera fase ADAPT. Grecia . . . . . . . . . . . 76

4.2.4. Evaluación intermedia de los Programas Operativos y del Marco

Comunitario de Apoyo cofinanciado por el FSE, 1994-1999. Irlanda . . . . . . . 80

4.2.5. Evaluación ex-post de Programas Objetivo 2, 1989-1993 . . . . . . . . . . . . . . . . 83

4.2.6. Evaluación temática del DOCUP Objetivo 2, 1994-1996.

Región de Yorkshire y Humberside . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

5. CONSIDERACIONES FINALES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

ANEXO: MODELOS DE EVALUACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

1. El modelo CIPP: Contexto, Input, Proceso y Producto . . . . . . . . . . . . . . . . . . . . . . . . 98

1.1. El modelo CIPP como estrategia para el perfeccionamiento de los sistemas . . . . 99

1.2. Las dimensiones del modelo CIPP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

1.3. El modelo CIPP como enfoque sistémico de la evaluación . . . . . . . . . . . . . . . 104

2. El método evaluativo centrado en el cliente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

2.1. Las aportaciones de Stake . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

2.2. La evaluación respondente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .106

2.3. Evaluación preordenada versus evaluación respondente . . . . . . . . . . . . . . . . 106

2.4. La estructura de la evaluación respondente . . . . . . . . . . . . . . . . . . . . . . . . . . 108

3. La evaluación innovativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

3.1. La evaluación innovativa: un paradigma socio-antropológico . . . . . . . . . . . . . . 112

3.2. Organización y métodos de la evaluación innovativa . . . . . . . . . . . . . . . . . . . . 112

BIBLIOGRAFÍA BÁSICA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

PREFACIO

Resulta incuestionable la utilización deprocedimientos de evaluación en las inter-venciones públicas que las guíen y orientenhacia la consecución de sus legítimos obje-tivos en actuaciones de futuro. Sin embargo,en muchas ocasiones constatamos que losresultados de las evaluaciones defraudanbien a los planificadores de las políticas,bien a los beneficiarios de las mismas, y endefinitiva a la sociedad en general.

Las administraciones hemos tenidodesde siempre una clara tentación por insti-tucionalizar la evaluación de forma que aveces lo único que hemos conseguido esvelar por el principio de legalidad, la trans-parencia económica... para dar conformidaden definitiva al procedimiento administrati-vo. En la actualidad esto se muestra clara-mente insuficiente.

Desde nuestro punto de vista la evalua-ción exige, dentro de unos principios bási-cos de objetividad y neutralidad, un acuerdoprevio entre los diversos agentes implicadossobre el contenido y alcance de la misma.Interesa tanto el grado de satisfacción de losbeneficiarios como el de los propios gesto-res de las políticas o el de sus propulsores,siempre que los procesos establecidos pro-porcionen información que apunten hacialíneas de mejora en futuras programaciones.

Nos ha parecido un buen momento paraprofundizar en el marco conceptual querequiere una evaluación eficaz y sobre loscriterios que garantizan su utilidad. Por ellohemos decidido dedicar este número de laColección Cuadernos de Trabajo a propor-cionar orientaciones para proceder a la orga-nización y diseño de procesos de evaluación.

HITZAURREA

Inolako zalantzarik gabe, premiazkoaketa funtsezkoak dira ebaluazio prozesuak,herri administrazioaren erakundeek etorki-zunean izan ditzaketen eskuhartzeak berenlegezko helburuetarantz gidatzeko eta orien-tatzeko. Alabaina, sarri askotan ikustendugunez, ebaluazioen emaitzek iruzur egitendiete bai politiken antolatzaileei bai haienonuradunei eta, azken finean, gizarte osoari.

Administrazio erakundeok beti izan duguargi eta garbi ebaluazioa instituzionalizatze-ko joera, eta batzuetan lortu dugun gauzabakarra zera izan da, legalitatearen printzi-pioa gordetzea, ekonomiaren gardena izatea,eta abar, hau da, administrazioaren prozedu-ra betetze hutsa. Baina gaur egun, esandakohori guztia ez da nahikoa.

Gure ikuspegitik begiratuz, ebaluazioak,objektibotasun eta neutraltasun printzipioe-tan oinarriturik, aldez aurreko akordio bate-ra iristera eskatzen die ebaluazioaren edukieta hedapenean parte hartzen duten agenteguztiei. Ebaluazioaren onuradunen asetasunmaila zein politika kudeatzaile edo sustat-zaileena da interesatzen zaiguna, baldin etaezarritako prozesuek etorkizuneko progra-mazioak hobetzeko ildoen nondik-norakoariburuzko informazioa ematen badute.

Une hau egokia iruditu zaigu, ebaluazioeraginkorrari dagokion esparru kontzeptua-lean sakontzeko eta ebaluazioaren erabilga-rritasuna bermatzen duten irizpideak aztert-zeko. Hortaz, lan koadernoetako ale hauebaluazio prozesuak antolatzeko eta disei-natzeko behar diren orientabideei eskaintzeaerabaki dugu.

7

8

La Comisión Europea, en los últimosaños, ha realizado importantes aportacionesmetodológicas para la evaluación del impac-to de sus fondos estructurales y se muestramuy interesada en la difusión de las buenasprácticas realizadas.

Nosotros pretendemos, a través de estapublicación, difundirlas además de ofreceruna panorámica general de los diferentesmodelos de evaluación existentes de formaque contribuyamos en la medida de lo posi-ble a instaurar una cultura de la calidad en lasactuaciones referidas a políticas de empleo yformación.

Vitoria-Gasteiz, Julio de 1999

Jesús MONREAL ZIA

Director de Empleo y Formación delDepartamento de Justicia,Trabajo y

Seguridad Social del Gobierno Vasco

Europako Batzordeak ekarpen metodolo-giko garrantzitsuak egin ditu azken urteotan,egitura fondoen eraginak ebaluatzeko; zent-zu horretan, aipatu batzordea biziki interesa-turik agertu da burutu diren praktika onakhedatzeko.

Lan koaderno honen bidez horiek guztiakeman nahi ditugu ezagutzera eta, bide batez,dauden ebaluazio eredu guztien ikuspegiorokor bat eskaini, ahal den neurrian behinikbehin, enplegu eta prestakuntza politikeiburuzko jardueretan kalitatearen kulturazabaltzeko.

Vitoria-Gasteiz, 1999ko Uztaila

Jesús MONREAL ZIA

Eusko Jaurlaritzako Justizi, Lan etaGizarte Segurantzako Sailaren

Enplegu eta Prestakuntza Zuzendaria

PRESENTACIÓN

La evaluación se ha constituido en un valioso instrumento de reflexión sobre laeficacia global de las intervenciones públicas. El interés por su aplicación y elvalor que pueden llegar a tener sus resultados están haciendo se dedique unacreciente atención a la definición de los contenidos y al análisis de losprocedimientos operativos que deben aplicarse en cada caso.

Las actividades de evaluación en la U.E. han tenido, durante los últimos cuatro años,un desarrollo considerable en los Estados miembros. A ello ha contribuido decisivamentela institucionalización de estas prácticas debido, principalmente, a los requisitosestablecidos en los reglamentos de los Fondos Estructurales. Esta recienteinstitucionalización ha venido acompañada de un notable desarrollo metodológicopromovido por las instancias comunitarias. De todas formas, y aunque la calidad mediade las evaluaciones –fundamentalmente intermedias– efectuadas durante el período 1994-1999 ha mejorado respecto al período precedente 1989-1993, se siguen apreciandoimportantes lagunas y deficiencias que deben mejorarse cara a obtener resultados másútiles y mejores bases valorativas en las que sustentar de forma razonada la toma dedecisiones de reprogramación y anticiparse a los problemas importantes.

La experiencia revela que sigue siendo necesario mejorar la organización, el diseño y lacalidad de los procesos evaluativos, perfeccionando las metodologías de evaluación,transfiriendo y extendiendo las buenas prácticas. Este Cuaderno de Trabajo se dedicaprecisamente a estas cuestiones y ha sido concebido con la finalidad de ofrecer un marcoconceptual y metodológico general del cual extraer los aspectos decisivos del procesoevaluativo en términos organizativos, funcionales y operativos.

Una de las primeras preocupaciones que surgen a la hora de construir los procesos deevaluación es la necesidad de superar los enfoques más tradicionales, los que sitúan a laevaluación como el contraste estricto entre objetivos y resultados. Se trata de superar esteenfoque para permitir juzgar el valor y el mérito atribuible a una determinadaintervención. Para ello resulta clave que el proceso sea sensible a la diversidad de actoresy usuarios que –con miradas, experiencias y percepciones distintas– deben concurrir eneste tipo de procesos (evaluación participativa), adoptando un enfoque prospectivo yestratégico mediante el establecimiento de distintos planos y dimensiones objeto deobservación en profundidad.

Lo señalado apunta la conveniencia de que estos procesos se sustenten en un importantegrado de consenso de todas las partes implicadas en torno a los aspectos metodológicos,dimensiones y objetivos que se asignan a la evaluación, para no incurrir en falsasexpectativas. En paralelo, se advierte la necesidad de optimizar las técnicas e instrumentos

9

10

de evaluación existentes que vendrán convenientemente seleccionadas y aplicadas de formaflexible y combinada. En pocas palabras, se trata de adoptar un enfoque del procesoevaluativo que prime la reflexión conjunta, la participación y cooperación de los diversosactores implicados en la intervención de que se trate. Desde esta perspectiva, los problemasy dificultades de índole técnica y metodológica, así como la multiplicidad de aspectos ycomplejidad que pueden llegar a revestir este tipo de procesos, se podrán conducir deforma adecuada y, en última instancia, conseguir que las prácticas de evaluaciónconduzcan a resultados útiles que se aplicarán e integrarán en la gestión diaria.

Se trata así mismo de ofrecer respuestas de carácter integral y específico a lascuestiones más relevantes. Por tanto, los procesos de trabajo a implementar se sustentaránen principios, criterios y métodos lógicos y aceptados por todas las partes. Si esto no seconsigue la evaluación, estará, desde su inicio, condenada al fracaso.

El presente Cuaderno de Trabajo comienza por delimitar el concepto de evaluación ydefinir cuáles son las prácticas que deben considerarse como verdaderas evaluaciones, lasrazones que han llevado a su institucionalización así como los principios y criterios quedeben guiar los procesos evaluativos.

A partir de aquí se entra de lleno en el terreno de las cuestiones más prácticas–Capítulos 2, 3 y 4– acotadas a los programas europeos. Abordando básicamente lassiguientes cuestiones: organización del proceso, etapas básicas y contenidos; la necesidadde articular el control, el seguimiento y la evaluación de programas; la manera de diseñarel sistema de seguimiento a todo lo cual se añade una panorámica de los enfoques ytécnicas de evaluación existentes. A continuación se describen las dificultades que suelenplantearse para identificar y medir los efectos de los programas estructurales, lasproblemáticas vinculadas a estos y las recomendaciones que conviene tener presente paraabordarlas. Como cierre, se presenta un caso de modelización del proceso evaluativo y unaserie de prácticas de evaluación consideradas como ejemplares por los expertos encargadosde valorar la calidad de las evaluaciones en la U.E.

Por último se ofrecen una serie de Consideraciones Finales que, partiendo de lasprincipales lagunas y problemáticas que presentan las evaluaciones, vienen a establecer lalógica que debe presidir el diseño metodológico, organizativo y operacional sobre el quesoportar las evaluaciones. Complementariamente, en forma de Anexo, se ofrecen tresmétodos de evaluación que aportan esquemas de razonamiento y conceptos de gran utilidad.

Donostia-San Sebastián, Julio de 1999

Juan José DE ANDRÉS GILS

Presidente de CIDEC

1. La evaluaciónConceptos

1. La evaluaciónConceptos

C on carácter previo a la formulación de los procesos de eva-luación de las intervenciones públicas, conviene efectuaralgunas aproximaciones previas de carácter general para

situar las siguientes cuestiones: qué se entiende por evaluación, cualha sido la génesis de su institucionalización, qué principios y crite-rios deben guiar el proceso de evaluación, cuáles son los distintosmomentos para su implementación.

1.1. CONCEPTUALIZACIÓNUn primera consideración hace referencia al hecho de que la

evaluación no debe concebirse como una investigación, a pesar deque toda evaluación implica recogida sistemática de información yanálisis de datos. La evaluación de programas1 debe ir más allá dela investigación aplicada aunque parta de ella y, para poder efec-tuarla, resultará necesario el acopio de información fiable y válida.

Evaluar significa, en esencia, emitir juicios sobre el valor y elmérito de un programa o aspectos del mismo. Como señala Scriven,para poder conducir el proceso de evaluación se requieren unos cri-terios de valor, unos estándares respectos a los mismos, una mediciónde la información referida a esos criterios o dimensiones de valor ycontrastes diversos para poder emitir juicios. Aunque evaluar suponeemitir juicios ello no deberá impedir que los procesos de evaluaciónse apoyen en la objetividad y la neutralidad. Dicho esto, las discre-pancias pueden surgir en los criterios de valor a utilizar.

En linea con estos primeros rasgos apuntados se procede a deli-mitar conceptualmente qué tipo de prácticas deben ser consideradascomo evaluaciones. La diversidad de formas de concebir la evalua-ción y enfoques utilizados para afrontar este tipo de procesos, danlugar a lo que los teóricos vienen a denominar como:

• Pseudoevaluaciones

• Cuasievaluaciones

• Evaluaciones

Mientras las pseudoevaluaciones conducen normalmente aconclusiones predeterminadas, las cuasievaluaciones incluyenestudios e investigaciones encaminados a dar respuestas a ciertascuestiones de interés, pero no alcanzan a determinar el valor de

Evaluar significa, enesencia, emitir juiciossobre el valor y elmérito de un programao aspectos del mismo

12

1. A lo largo de este Cuaderno se emplearán indistintamente los términos “programa”. “proyec-to” e “intervención”, referidos todos al objeto del proceso de evaluación.

13

una intervención, proyecto o programa. Por su parte, las verdade-ras evaluaciones incluyen estudios e investigaciones que se cen-tran en examinar el valor y el mérito de una intervención, proyec-to o programa. Como ha quedado precedentemente señalado, nobasta con conocer los efectos o resultados sino que además demedirlos hay que otorgarles un valor: “Evaluar es enjuiciar unmérito” C.H. Weis, 1991.

1.1.1. PseudoevaluacionesEn ocasiones, los evaluadores y sus clientes se ponen de acuerdo

para llevar a cabo un tipo de evaluación que concuerde con los resul-tados previstos; en otros casos, los evaluadores, creyendo que reali-zan una valoración objetiva, descubren que sus clientes esperabanotros resultados. Así, el cliente puede intentar intervenir para dirigirel proceso evaluativo y extraer del mismo determinado tipo de resul-tados. Los evaluadores tienen que estar alertas, más de lo que suelenestarlo, ante este tipo de conflictos latentes, para solventarlos antici-padamente y conseguir que el proceso de evaluación se desarrollecorrectamente, con objetividad y neutralidad.

Cabe señalar dos tipos de procesos que conducen a una pseudoe-valuación:

• Las Investigaciones encubiertas (o procesos de evaluaciónpolíticamente controlados): normalmente el cliente quiere quela información obtenida sea técnicamente sólida pero tambiénque se le garantice la posibilidad de controlar la difusión de losresultados obtenidos. La información puede ser revelada selec-tivamente para crear una imagen determinada del valor de unprograma, o incluso no revelada, para ocultar situaciones nodeseadas o imprevistas.

• Los Estudios dirigidos: estudios planificados, realizados y uti-lizados para satisfacer propósitos establecidos. La intención deeste tipo de estudios es ayudar al cliente a crear una imagenpositiva de una institución, programa, etc., que le ayude a man-tener o incrementar el apoyo público.

1.1.2. CuasievaluacionesLas cuasievaluaciones se inician con el planteamiento de un pro-

blema concreto y luego buscan la metodología apropiada para darsolución al mismo. El hecho de que la información obtenida sea sufi-ciente para apoyar un juicio sobre el valor de la intervención pasa, eneste tipo de prácticas, a segundo plano.

El cliente puedeintentar intervenir paradirigir el procesoevaluativo y extraer delmismo determinadotipo de resultados. Losevaluadores tienen queestar alertas, más de loque suelen estarlo,ante este tipo deconflictos latentes,para solventarlosanticipadamente yconseguir que elproceso de evaluaciónse desarrollecorrectamente, conobjetividad yneutralidad

En todo caso, las cuasievaluaciones pueden tener usos legítimos.Por tanto, la principal cautela a adoptar es la de no considerarlasequivalentes a una evaluación.

Entre los procesos más habituales asimilados a las cuasievalua-ciones se encuentran los Estudios basados en objetivos y losEstudios basados en la experimentación.

• Los Estudios basados en objetivos han impulsado el movi-miento de sistematización del trabajo evaluativo2. Su propósitomás común es determinar si los objetivos han sido alcanzadosy, de acuerdo con esto, concluir si se ha tenido éxito o no. Esprecisamente este tipo de estudios el que más frecuentementese califica como evaluación: disponen de una construcciónracional, se acumula experiencia mediante su utilización yemplean las técnicas propias de la evaluación por objetivosrecogiendo información de forma regular.

Las principales críticas apuntan a que producen una informaciónque llega con frecuencia demasiado tarde para ser utilizada en elperfeccionamiento de las intervenciones, y lo que es más impor-tante, esta información tiende a tener un alcance demasiado limi-tado como para constituir una base sólida a la hora de emitir jui-cios sobre el valor y el mérito de una intervención.

• Los Estudios basados en la experimentación pueden ser cla-sificados dentro de las cuasievaluaciones porque incluyenaspectos y metodologías en ocasiones relacionadas, aunque nosiempre, con un juicio de valor. La investigación experimentaltrae a colación la advertencia de Kaplan ante la llamada “leydel instrumento”, según la cual un método se equipara a unainvestigación. Como consecuencia, el campo de estudio sereduce a los problemas que pueden ser solucionados medianteun método determinado. El propósito más común es determi-nar o demostrar vínculos causales entre ciertas variables depen-dientes e independientes.

La principal ventaja de los estudios experimentales en el pro-ceso evaluativo es que pueden llegar a proporcionar métodossólidos para la determinación de relaciones causales relativa-mente inequívocas entre una intervención (proyecto o progra-ma) y sus resultados. Los problemas que plantea, no obstante,

Las cuasievaluacionesse inician con elplanteamiento de unproblema concreto yluego buscan lametodologíaapropiada para darsolución al mismo. Laprincipal cautela aadoptar es la de noconsiderarlasequivalentes a unaevaluación

14

2. Los métodos utilizados en los estudios basados en objetivos incluyen esencialmente la recopi-lación y el análisis de los datos sobre el trabajo en cuestión, relativas a objetivos específicos.Ralph Tyler es generalmente admitido como pionero de este tipo de estudios.

15

radican en que los métodos utilizados proporcionan con fre-cuencia una información mucho más restringida de la que esnecesaria para evaluar actuaciones de gran alcance en losámbitos social, educativo, sanitario, etc. Además, los estudiosexperimentales tienden a proporcionar una información finalexcesivamente descriptiva que no siempre resulta útil comoguía para el desarrollo de futuras intervenciones.

1.1.3. EvaluacionesLas denominadas verdaderas evaluaciones, oponiéndose a las

pseudoevaluaciones, subrayan la necesidad de evitar los estudiosdirigidos y, en contraste con las cuasievaluaciones, recomiendan larealización de investigaciones integrales objetivas y neutras cubrien-do una multiplicidad de planos y aspectos que permitan abordar lascuestiones de valor y mérito. De forma general, dentro de las verda-deras evaluaciones se pueden identificar cinco grandes grupos ocategorías de análisis:

• Estudios orientados a la toma de decisiones: básicamente suobjetivo consiste en proporcionar conocimientos y bases valo-rativas que permitan tomar y justificar decisiones a los respon-sables de los programas o intervenciones evaluados.

• Estudios centrados en el cliente: dirigidos, principalmente, aayudar a quienes prestan un servicio a valorar y perfeccionarsus contribuciones en función de la percepción que el serviciogenera entre sus diversas clientelas.

• Estudios basados en el método holístico: y, en particular, lainvestigación innovativa que, a partir de diagnosticar la insufi-ciencia de los métodos de evaluación tradicionales en el ámbi-to educativo (experimentales, psicométricos, etc.) plantean lanecesidad de un estudio intensivo de los programas en su tota-lidad, utilizando más la descripción que los números.

• Estudios políticos: su propósito básico consiste en describir yvalorar los costos y beneficios potenciales de diversas políticasaplicables.

• Estudios basados en el consumidor: su finalidad principal esjuzgar el valor relativo de bienes y servicios alternativos y,como, consecuencia ayudar a los usuarios y clientes a perfec-cionar la forma de elección y el uso de los mismos.

Los evaluadores deben tener particularmente en cuenta que quizáse encuentren con importantes dificultades si la concepción del pro-

Las denominadasverdaderasevaluaciones,oponiéndose a laspseudoevaluaciones,subrayan la necesidadde evitar los estudiosdirigidos y, encontraste con lascuasievaluaciones,recomiendan larealización deinvestigacionesintegrales objetivas yneutras cubriendo unamultiplicidad deplanos y aspectos quepermitan abordar lascuestiones de valor ymérito de unaintervención

pio proceso de evaluación que pretenden llevar a cabo difiere de lade sus clientes o audiencias.

Si los evaluadores ignoran este tipo de posibles conflictos, la eva-luación, probablemente, estará condenada al fracaso desde el princi-pio. La ética debe ser lo primero. Los evaluadores deben atendertanto a lo que ellos piensan como a la concepción y expectativassobre el contenido y alcance de la evaluación de los clientes y losdiversos actores implicados (gestores, beneficiarios directos e indi-rectos y sociedad en general). Es más, los evaluadores deben preve-nir a las partes implicadas de los posibles conflictos que pueden pro-ducirse en lo que se refiere a los propósitos y desarrollo del procesode evaluación, llegando, desde un primer momento, a un acuerdocomún sobre los principios que van a guiar el mismo y los objetivosque se pretende alcanzar.

Lo señalado vendría así mismo a garantizar la utilización de losresultados de la evaluación. Maximizar esta utilización puede reque-rir adoptar principios realistas, en función del tiempo y los recursosdisponibles, lo que lleva en ocasiones a seleccionar métodos que,aunque no sean los óptimos, reúnan las necesarias condiciones decredibilidad y fiabilidad.

Para finalizar estas consideraciones, se señalan de forma sintéticalos rasgos característicos del planteamiento metodológico querequiere una verdadera evaluación:

• Determinar hasta qué punto han sido alcanzadas las metas,ayudar a distinguir las virtudes y los defectos de un pro-grama, y proporcionar los conocimientos suficientes y unabase valorativa para orientar la toma de decisiones.

• Enmarcar el estudio de las intervenciones en su contextooperacional y socioeconómico, para lo cual se deberán estu-diar las condiciones previas a las mismas, los cambios pro-ducidos y las posibles relaciones causa-efecto.

• Situar la evaluación en un proceso dinámico y comparativocon relación a otros momentos o fases.

• Ofrecer un marco de análisis adaptado a la necesidad deevaluar la interacción entre los diversos agentes intervi-nientes, así como el nivel de coordinación que presentan,respondiendo de forma adecuada a la existencia de múlti-ples actores de diversos niveles (públicos y privados,comunitarios y estatales, regionales y locales…), atendien-do a la complejidad de sus relaciones.

Los evaluadores debenprevenir a las partesimplicadas de losposibles conflictos quepueden producirse enlo que se refiere a lospropósitos y desarrollodel proceso deevaluación, llegando,desde un primermomento, a unacuerdo común sobrelos principios que van aguiar el mismo y losobjetivos que sepretende alcanzar

16

17

• Captar los efectos e impactos producidos por las interven-ciones en los beneficiarios directos, los colectivos sociolabo-rales implicados y, en términos más amplios, en el contextosocioecónomico en el que tienen lugar.

• Enmarcar los aspectos evaluatorios parciales, vinculados aaspectos específicos (colectivos, subprogramas, etc), desdeuna perspectiva que priorice la valoración integral.

Desde este planteamiento, la evaluación pretende contribuir alperfeccionamiento de los programas mediante la identificación desus deficiencias y la presentación de las recomendaciones pertinen-tes para su modificación, generando la información cuantitativa ycualitativa necesaria para orientar la toma de decisiones y llevar acabo las oportunas reprogramaciones.

1.2. INSTITUCIONALIZACIÓN DE LAS PRÁCTICASDE EVALUACIÓN

La Administración Pública, en su modelo más tradicional, no estabaconcebida para organizarse como un sistema de prestación de servicioseficaz y eficiente, sino que su criterio fundamental de actuación consis-tía, inicialmente, en velar por el cumplimiento del principio de legali-dad. Por ello, sus mecanismos de control se focalizaban, en mayor medi-da, hacia la conformidad administrativa de sus actuaciones.

En este orden de cosas, y siguiendo a Ballart 3, se pueden consta-tar ritmos diferenciados en el desarrollo, institucionalización e inno-vación en la evaluación de políticas y programas públicos. EE.UU.puede considerarse como el país con una tradición más rica y unainstitucionalización más temprana de las prácticas de evaluación enel seno de las administraciones públicas, mientras que en el resto depaíses se aprecian ritmos diversos y un proceso de institucionaliza-ción acorde a su tradición y a su propio modelo de AdministraciónPública.

1.2.1. La génesis de la evaluación en los EE.UU.Como ha quedado señalado, EE.UU. se ha caracterizado desde los

años 60 por una constante innovación metodológica y un elevadonivel de institucionalización de la evaluación de las políticas y losprogramas públicos. El éxito de la implementación en elDepartamento de Defensa del Sistema de Presupuestación y Gestiónpor Programas “Programing, Planning and Budgeting System(PPBS)”, uno de cuyos componentes esenciales era la evaluación

La evaluación pretendecontribuir alperfeccionamiento delos programasmediante laidentificación de susdeficiencias y lapresentación de lasrecomendacionespertinentes para sumodificación,generando lainformacióncuantitativa ycualitativa necesariapara orientar la tomade decisiones y llevar acabo sureprogramación

3. X.Ballart. ¿Cómo evaluar programas y servicios públicos?. MAP.1992

“ex-ante” de la eficacia y eficiencia de programas alternativos, llevóa extender su implantación a todas las agencias del gobierno federal.

La definitiva institucionalización de la evaluación se produce conla creación de las unidades de evaluación de las oficinas federales yla promulgación de leyes que requerían a la General AccountingOffice (GAO) la realización de análisis de la eficacia de los progra-mas públicos 4. En el ámbito del desarrollo e innovación metodológi-cas, se crea en 1980 un instituto propio de evaluación dentro de laGAO denominado División de Evaluación de Programas yMetodología.

De esta forma, a lo largo de las tres últimas décadas, la evaluaciónde programas en ámbitos de actuación pública tan cruciales como laeducación o la salud ha sido una referencia clave en el marco de losdebates públicos en EE.UU., generando información valiosa tantopara los detractores de la intervención pública como para los parti-darios de la misma.

En este orden de cosas, se ha considerado la oportunidad de recogeren forma de anexo gran parte de esta experiencia, mediante la descrip-ción de una serie de modelos de evaluación diseñados por autores nor-teamericanos como Stufflebeam o Stake, preocupados por encontrardiseños metodológicos que permitieran ir más allá de la evaluación cen-trada en el mero cumplimiento de los objetivos planificados, proporcio-nando una base valorativa para la toma y justificación de decisiones yposibilitando el perfeccionamiento de las actuaciones públicas.

1.2.2. La extensión a otros paísesDesde que en los años 60 se pone en marcha el movimiento eva-

luador en EE.UU, el desarrollo e institucionalización de la evaluaciónen otros países se manifiesta más tardíamente y de forma incipiente.De hecho, la adopción de prácticas evaluativas está directamente vin-culada al desarrollo de las políticas de bienestar y cohesión social,planes sanitarios, educativos, etc. y/o ligada a la participación en pro-gramas financiados por organizaciones internacionales como laONU, el Banco Mundial, la FAO o, más recientemente en el casoespecífico europeo, por la Administración Comunitaria.

Países como Canadá, Alemania, Suecia o Gran Bretaña comenza-ron a desarrollar iniciativas para la evaluación de las actuacionespúblicas a mediados de los setenta, mientras que Francia, Noruega,Dinamarca o Holanda no lo hicieron hasta los años ochenta. Al igual

EE.UU. se hacaracterizado desde losaños 60 por unaconstante innovaciónmetodológica y unelevado nivel deinstitucionalización dela evaluación de laspolíticas y losprogramas públicos

18

4 Como la “Economic Opportunity Act” de 1967.

19

que en el caso norteamericano, el desarrollo de estas prácticas eva-luativas vino impulsado por la generalización de las políticas debienestar social y la introducción de reformas presupuestarias.

Por tanto, aunque el proceso de adopción de prácticas evaluativasatiende a las mismas razones en los diversos países, su grado de uti-lización e institucionalización, así como la cultura de evaluaciónalcanzada, es muy diferente. Estas diferencias se relacionan, por unlado, con el hecho de que sean los parlamentos quienes cuenten concompetencias en el ámbito de la evaluación o, por el contrario, éstasrecaigan únicamente sobre los niveles ejecutivos. Por otro lado, tam-bién está relacionado con los distintos niveles de centralización odescentralización existentes 5.

Es en 1988 cuando la evaluación queda institucionaliza en la U.E.La reglamentación europea introduce la obligatoriedad de evaluar losprogramas cofinanciados por sus fondos que cubren una gran varie-dad de ámbitos de actuación. Desde entonces, se han llevado a caboun gran número de evaluaciones en todos los países miembros. Comose irá desgranando a lo largo del documento, la institucionalizaciónde las prácticas está requiriendo de un cuerpo común más unificadoy un direccionamiento adecuado, siempre desde un planteamientoflexible que ayude a la mejora generalizada en la concepción de losprocesos evaluativos y, por extensión, en la obtención de resultadosútiles y en la aplicación/integración de los mismos.

1.3. PRINCIPIOS DE LA EVALUACIÓNLa complejidad que puede llegar a revestir una evaluación requie-

re establecer un marco conceptual en el que soportar el diseño meto-dológico y operacional de la misma. Dentro de este marco conceptualtienen cabida una serie de principios básicos y criterios que debenguiar a los diversos actores participantes en el proceso evaluativo.

De forma general, e independientemente del tipo y característicasprecisas de la evaluación de que se trate, ésta debería responder alcumplimiento de cuatro principios básicos: rigor y credibilidad, neu-tralidad, utilidad y transparencia.

❏ Rigor y Credibilidad

El principio del rigor de las evaluaciones se concreta en la nece-sidad de efectuar una definición metodológica objetiva y cientí-

De forma general, eindependientementedel tipo ycaracterísticas precisasde la evaluación de quese trate, ésta deberíaresponder alcumplimiento decuatro principiosbásicos: rigor ycredibilidad,neutralidad, utilidad ytransparencia

5. Países como Canadá y Suecia, desde mediados de los años setenta, y Gran Bretaña en 1983,han llegado a constituir unidades especializadas en el control y la evaluación de las políticaspúblicas siguiendo el modelo de la GAO norteamericana.

fica del proceso. La credibilidad se materializa básicamente enla necesidad de adoptar marcos organizativos y de consenso cla-ros, sobre la base de un enfoque de trabajo participativo, plura-lista e interactivo. Lo señalado vendría, así mismo, a garantizarla utilidad y uso de los resultados de la evaluación.

❏ Neutralidad

El principio de neutralidad o independencia pasa por situar a launidad, organismo o equipo evaluador de forma externa alorganismo gestor o ejecutor del programa objeto de evaluación,dotándole de autonomía para el ejercicio de sus funciones yseleccionándolo de forma imparcial.

Este principio de independencia no implica necesariamente larealización de la evaluación por personas ajenas al programaobjeto de evaluación o a la administración responsable delmismo. Es más, en ocasiones la evaluación por parte de insti-tuciones o empresas externas puede ser percibida por sus eje-cutores negativamente como un control externo que se inmis-cuye en sus funciones. Esta percepción viene dada por el carác-ter de determinados procesos evaluativos que han puesto elacento en los mecanismos de control.

Sin embargo, aún optando por una evaluación realizada dentrode la propia estructura organizacional responsable del progra-ma, lo que siempre debe observarse es la externalidad funcio-nal de la evaluación, es decir, la independencia total de la uni-dad de evaluación de las unidades responsables de la progra-mación, gestión y ejecución del programa.

❏ Utilidad

El principio de utilidad de la evaluación requiere la necesariaparticipación a lo largo del proceso evaluador de los diversosactores implicados (beneficiarios directos e indirectos, gesto-res y ejecutores, organismos e instituciones concernidas) y,para ello, puede llegar a requerirse la integración del organis-mo que promueve la evaluación en la estructura institucionalque dirige el proceso de evaluación.

Del mismo modo, resulta necesario la aptitud del equipo eva-luador que, como culminación del proceso, genere una seriede conclusiones, recomendaciones y aprendizajes; así como elestablecimiento de unos canales de retroalimentación fluidospara lograr que dichas conclusiones puedan ser integradasdentro de la gestión diaria del programa.

El principio deneutralidad oindependencia pasapor situar a la unidad,organismo o equipoevaluador de formaexterna al organismogestor o ejecutor delprograma objeto deevaluación, dotándolede autonomía para elejercicio de susfunciones yseleccionándole deforma imparcial.

El principio de utilidadde la evaluaciónrequiere la necesariaparticipación a lo largodel proceso evaluadorde los diversos actoresimplicados

20

21

❏ Transparencia

El principio de transparencia requiere de una difusión sufi-cientemente amplia de los resultados de la evaluación entretodos los actores implicados y el público en general, así como,en ciertos casos, la puesta en juicio del propio sistema de eva-luación ( o metaevalaución), y del equipo evaluador.

1.4. CRITERIOS DE LA EVALUACIÓNSe parte de la idea de que los criterios de evaluación deben pro-

porcionar un referente para la obtención de conocimientos útiles alobjeto de poder tomar decisiones sobre las intervenciones evaluadas.

Hay que subrayar que los criterios no deben ser consideradoscomo categorías excluyentes o exhaustivas sino como elementos guíapara enfocar las evaluaciones, sus correspondientes procesos y pará-metros de referencia.

A continuación se definen los criterios que son empleados deforma más habitual en los procesos de evaluación:

❏ Eficacia

Se trata de medir el grado de alcance del objetivo/s estableci-dos y de los resultados esperados de un programa acotado a unperíodo de tiempo predefinido y un público objetivo, sin teneren cuenta los costes en los que se incurre para obtenerlos.

Por tanto, la medición de la eficacia será más sencilla de rea-lizar cuanto mejor definidos se encuentren los objetivos yresultados esperados, los beneficiarios directos e indirectos,así como los indicadores básicos y las fuentes de verificacióncorrespondientes. En este sentido, la información necesariapara realizar la valoración de la eficacia provendrá de losdiversos informes de seguimiento disponibles, siendo nece-sario, cuando esta información no resulte suficiente, proce-der a comprobaciones adicionales sobre el terreno.

En consecuencia, el sistema de seguimiento resulta clave en elsuministro de datos e información necesaria para poder llevara cabo el proceso de evaluación.

Asimismo, la definición de los objetivos y de los resultados quese pretende alcanzar debe estar realizada de forma que resultenoperativos para su logro y su evaluación, siendo necesario que ensu formulación resulten precisos, verificables y realistas.

No es infrecuente que la definición de objetivos se haya reali-zado de una forma ambigua o poco clara, siendo necesario

El principio detransparencia requierede una difusiónsuficientemente ampliade los resultados de laevaluación

La eficacia trata demedir el grado dealcance del objetivo/sestablecidos y de losresultados esperadosde un programaacotado a un períodode tiempo predefinidoy un público objetivo,sin tener en cuenta loscostes en los que seincurre para obtenerlos

poner de manifiesto este hecho y proceder a su clarificaciónrecurriendo a otras informaciones disponibles y/o la realiza-ción de entrevistas a informantes clave.

Del mismo modo puede resultar que del análisis de la eficacia sededuzca que el programa ha resultado ineficaz respecto al obje-tivo u objetivos planteados, pero eficaz respecto a los resultadosprogramados para el cumplimiento de dichos objetivos. Estaaparente paradoja puede estar indicando la existencia de defi-ciencias en la formulación del proyecto y/o cambios en el con-texto debidos al surgimiento de aspectos y factores no previstos.

❏ Eficiencia

Es una medida del logro de los resultados en relación con losrecursos consumidos. Por tanto, viene a complementar el criteriode eficacia, valorando el nivel de utilización de todos los recur-sos disponibles: financieros, materiales, físicos, técnicos yhumanos.

Aplicar el criterio de eficiencia lleva a contrastar los resultadoscon los recursos empleados; así, si los resultados están prede-terminados la intervención será más eficiente cuantos menosrecursos se utilicen en la misma, mientras que si los recursosestán predeterminados, la intervención será más eficientecuando se alcancen mayores o mejores resultados.

Puede suceder que de los documentos programático-presu-puestales disponibles no se deduzca necesariamente losrecursos imprescindibles para llevar a cabo el programa y,por tanto, no se puedan calcular los costes con el debidorigor. En este caso, el proceso se complica y es necesarioreforzar los mecanismos e instrumentos de obtención deinformación previa. Del mismo modo, en algunos casosresulta pertinente la identificación de posibles costes indi-rectos generados por la intervención y, también, la conside-ración de los costes de oportunidad en contraste con otrasalternativas posibles.

Las herramientas que tradicionalmente se vinculan al análisis dela eficiencia son: el Análisis Coste-Beneficio (ACB), el AnálisisCoste-Efectividad (ACE) y el Análisis Coste-Utilidad (ACU).

En el ACB se requiere una expresión monetaria de los cos-tes y efectos de la intervención; en el ACE únicamente serequiere una expresión monetaria de los costes mientras losefectos pueden ser medidos mediante otro tipo de unidades

La eficienciaes una medida dellogro de los resultadosen relación con losrecursos consumidos.Por tanto, viene acomplementar alcriterio de eficaciavalorando el nivel deutilización de todos losrecursos disponibles:financieros, materiales,técnicos y humanos

22

23

no monetarias; en el ACU los efectos pueden ser medidosen escalas no cuantificables.

❏ Pertinencia

La pertinencia refleja el grado de adecuación/inadecuación de losresultados y los objetivos al contexto en el que se implementa elprograma objeto de evaluación. En esta valoración se debe consi-derar tanto el contexto en el que fue formulado el programa comoel contexto posterior en el que se lleva a cabo, analizando los posi-bles cambios surgidos entre esos dos momentos.

De esta forma, el criterio de pertinencia abre la reflexión a unenfoque más cualitativo que la eficacia y la eficiencia, cen-trándose, fundamentalmente, en el análisis de los objetivosbásicos del programa. En el marco de este análisis deberántenerse en cuenta también los objetivos colaterales además delos planteados explícitamente.

❏ Impacto

El análisis del impacto de un programa hace referencia a la valo-ración de los efectos producidos por el mismo en sentido amplio.Por tanto, este es un criterio que va más allá de la eficacia ya que:

• Incluye el análisis tanto de los efectos directos como de losindirectos 6.

• No se limitará a examinar los efectos previstos sino quedeberá tener en cuenta los no previstos 7.

• No se circunscribe a los efectos deseados, sino que tiene encuenta los no deseados.

• No se reduce al análisis de los efectos sobre la población iden-tificada como beneficiaria sino que tiene en cuenta a los públi-cos no incluidos en la programación de la intervención.

La pertinencia reflejael grado deadecuación/inadecua-ción de los resultados ylos objetivos alcontexto en el que seimplementa elprograma objeto deevaluación

El análisis del impactode un programa hacereferencia a lavaloración de losefectos producidos porel mismo en sentidoamplio

6. Los efectos indirectos son aquellos efectos inducidos por la intervención, en especial de carác-ter psicosocial (cambios de autopercepción, motivación, etc.), vinculados particularmente aaspectos de percepción y actitud en relación al proyecto, tanto por parte de los colectivos de usua-rios últimos o de los operadores intervinientes en el programa.7. Como efectos no previstos se pueden citar los siguientes: • Efectos multiplicadores de la oferta/demanda: incrementos en la oferta/demanda impulsada por

un programa concreto.• Efecto de sustitución: resultados generados por un programa que evaluados de forma aislada

resultan positivos pero que, analizados en su contexto van en detrimento de los objetivos esta-blecidos en otra o en otros segmentos de población.

• Efecto de peso muerto: porcentaje de subsidios, asignaciones o beneficios producidos en unbeneficiario que, sin embargo, no logran mejorar su status social.

• Efecto de desplazamiento: beneficiarios de un programa que desplazan en su status a los nobeneficiarios.

Mediante el criterio de impacto se trata de llegar a identificarlos efectos netos de la intervención objeto de evaluación, com-probando la relación de causalidad existente entre ésta y elimpacto, independientemente de los efectos provocados porotras acciones o intervenciones.

❏ Viabilidad

La viabilidad hace referencia al grado en que los efectos positivosderivados de la intervención continúan después de finalizada lamisma. Por tanto, se trata de valorar en qué medida y bajo qué con-diciones los beneficiarios o las instituciones que han actuado comocontraparte, asumen o están en condiciones de proseguir con elcumplimiento de los objetivos planteados en la intervención.

Para efectuar el análisis de la viabilidad se deben tener en cuen-ta los diversos factores que configuran el contexto en el que seimplementa el programa, bien sean económicos, sociales, cul-turales, tecnológicos, políticos o institucionales, poniendoespecial énfasis en el análisis de aquellos que en cada casoresultan determinantes.

1.5. MOMENTOS DE LA EVALUACIÓNLas particularidades del proceso evaluativo vienen dadas, además,

por el momento en que la misma se implementa; es decir, en funcióndel ámbito temporal que cubre la misma.

En los proyectos de gran relevancia y alcance social se identificancuatro momentos para la evaluación asociados a una determinadafase de desarrollo del proyecto:

• Evaluación ex-ante o previa

• Evaluación intermedia

• Evaluación final

• Evaluación ex-post o posterior

❏ La evaluación ex-ante

Se centra en el análisis de varias medidas o intervencionesalternativas para la solución de un problema determinado o lasatisfacción de determinadas carencias/necesidades colectivas.Planificar y evaluar son procesos estrechamente interrelacio-nados e interdependientes que se complementan y se condicio-nan mutuamente, de ahí la importancia de este tipo de evalua-ción. Si el diagnóstico de necesidades es desde toda lógica elpaso previo a cualquier intervención, una vez que se ha elabo-

La viabilidad hacereferencia al grado enque los efectospositivos derivados dela intervencióncontinúan después definalizada la misma

Las particularidadesdel proceso evaluativovienen dadas, además,por el momento en quela misma seimplementa; es decir,en función del ámbitotemporal que cubre lamisma

24

25

rado un plan o un programa resulta obvio proceder a una eva-luación del mismo; diseño, conceptualización, etc..; la evalua-ción se entrelaza de esta forma con la planificación y al revés.

Para ello, en este tipo de evaluación el criterio predominante esel de la pertinencia de la intervención que se está planteandollevar a cabo, estableciendo diferentes planos de observaciónanalítica que permitan identificar, por ejemplo:

• La importancia para la población beneficiaria y el contextoeconómico y social en el que se va a llevar a cabo.

• La factibilidad y viabilidad financiera, técnica e institucionaldel proyecto en la coyuntura y contexto en el que se pretendeimplementar.

• La adecuación del diseño de la intervención a los objetivosque se pretenden alcanzar.

• El grado de legitimación social que se le atribuye, etc.

❏ La evaluación intermedia

Se lleva a cabo durante la ejecución del programa aprovechan-do el final de una etapa o fase del mismo en la que ya se handebido producir resultados significativos o que pueden serrelevantes para retroalimentar la formulación y ejecución de lafase siguiente.

Conviene distinguir la evaluación intermedia del seguimientodel programa. La evaluación intermedia tiene una fecha decomienzo y una duración que está previamente programada,mientras que el sistema de seguimiento se construye al inicio yse desarrolla de forma continuada a lo largo de todo el progra-ma. Del mismo modo, el seguimiento y la evaluación intermediadifieren en los términos de referencia a partir de los que se des-arrollan y en sus usuarios finales; el seguimiento tiene, de formageneral, un carácter continuista y más vinculado al control y lagestión interna, mientras que la evaluación intermedia se destinaa valorar de manera integral el estado de desarrollo alcanzado.

Por tanto, de los resultados, conclusiones y aprendizajes extra-ídos mediante la evaluación intermedia se pretende corregir ymejorar, en la medida de lo posible, el programa evaluado,adoptando una perspectiva integral del mismo.

❏ La evaluación final

Como su mismo nombre indica, se realiza en el momento en elque finaliza el programa. Esta evaluación se centra en analizar

La evaluación ex-antese centra en el análisisde varias medidas ointervencionesalternativas para lasolución de unproblema determinadoo la satisfacción dedeterminadascarencias/necesidadescolectivas

La evaluaciónintermedia se lleva a cabo durantela ejecución delprogramaaprovechando el finalde una etapa o fase delmismo en la que ya sehan debido producirresultadossignificativos

la consecución de los resultados y de los objetivos del programa.Además de emplear los diversos criterios de evaluación, alsituarse una vez finalizado el programa, los resultados, conclu-siones y aprendizajes serán definitivos y deciden el valor y elmérito de la intervención.

❏ La evaluación ex-post

Esta evaluación se realiza un tiempo después de finalizado elprograma. Además de emplear los criterios de eficacia, efi-ciencia, pertinencia…, en esta fase se analiza de forma pro-funda el impacto que ha producido, si ha resultado viable yqué tipo de efectos ha producido sobre la población identifi-cada en un principio como beneficiaria, así como sobre elresto de la ciudadanía.

Este tipo de evaluación decide normalmente la extensión/gene-ralización de la intervención.

La evaluación final secentra en analizar laconsecución de losresultados y de losobjetivos del programa

Con la evaluación ex-post se analiza deforma profunda elimpacto que haproducido laintervención y decidenormalmente laextensión/generaliza-ción de la misma

26

2. La evaluación de programasen la Unión Europea

Orientaciones para proceder a suorganización y diseño

2. La evaluación de programas enla Unión Europea

Orientaciones para proceder a suorganización y diseño

T eniendo en cuenta que la evaluación se ha constituido en parteintegrante del diseño de las intervenciones públicas en el senode la U.E. destinada a conocer qué resultados tiene la acción

gubernamental, qué efectos e impactos reales produce, etc. y que,paralelamente, el propio concepto de evaluación y su función evolu-cionan, el presente capítulo dirige la mirada a Europa y, más concre-tamente, al modo de organizar y diseñar un proceso óptimo para laevaluación de las intervenciones estructurales comunitarias 8.

2.1. MARCO GENERALLa evaluación de las intervenciones cofinanciadas por los fondos

estructurales se enmarca en un entramado institucional complejo queconviene abordarlo, aunque sea de forma sucinta, por su influencia direc-ta en la configuración de los procesos evaluativos.

Como es sabido, estas intervenciones se inscriben en un marco deprogramación establecido para períodos de duración predeterminada.Así, actualmente nos encontramos en el final del período de progra-mación 1994-1999.

Cada uno de los fondos estructurales tiene un ámbito de actuaciónpredefinido. A grandes rasgos, el FEDER está vinculado a la cofi-nanciación de inversiones, el FSE a la inserción en el mercado de tra-bajo y la formación, el FEOGA-O al sector agrícola, ganadero yforestal, y el IFOP al sector pesquero.

Durante el período 1994-1999 los fondos estructurales se han con-figurado en torno a los siguientes Objetivos Prioritarios:

• Objetivo nº 1: Desarrollo y ajuste estructural de las regionesmenos desarrolladas.

• Objetivo nº 2: Reconversión de las regiones o zonas grave-mente afectadas por el declive industrial.

• Objetivo nº 3: Lucha contra el paro de larga duración, inser-ción profesional de los jóvenes e integración de las personasexpuestas a la exclusión del mercado laboral, promoción dela igualdad de oportunidades entre hombres y mujeres en elmercado laboral.

El presente capítulo

dirige la mirada a

Europa y, más

concretamente, al

modo de organizar y

diseñar un proceso

óptimo para la

evaluación de las

intervenciones

estructurales

comunitarias

28

8. Se recogen las orientaciones emanadas de la Comisión Europea así como diversas aportacionesmetodológicas desarrolladas en el marco del Programa MEANS (Métodos de Evaluación de lasAcciones de Naturaleza Estructural).

29

• Objetivo nº 4: Adaptación de los trabajadores a las mutacio-nes industriales y a la evolución de los sistemas de producción.

• Objetivo nº 5: Desarrollo rural mediante:

• Objetivo 5a): La adaptación de las estructuras agrariasen el marco de la reforma de la PAC; modernización yreestructuración de la pesca.

• Objetivo 5b): El desarrollo y ajuste estructural de laszonas rurales.

En el debate presupuestario que se viene desarrollando durantelos últimos meses de cara a la nueva configuración de los FondosEstructurales, y vista la necesidad de concentrar las ayudas paramejorar su eficacia, ha quedado planteada la necesidad de reducira tres el número de Objetivos Prioritarios.

• Objetivo nº 1: Ayuda a las regiones menos desarrolladas.

• Objetivo nº 2: Reconversión económica y social de zonasindustriales, urbanas, rurales o pesqueras con importantesdeficiencias estructurales.

• Objetivo nº 3: Mejora de los sistemas de educación, for-mación y empleo.

• Institucionalización de la evaluación

La reforma de los Fondos Estructurales llevada a cabo en 1988introdujo la obligatoriedad de evaluar las políticas estructura-les europeas. En 1993 esta obligatoriedad queda reforzadamediante la reglamentación modificada resultante de la revi-sión de los Fondos Estructurales 1994-1999 y las cláusulasnormalizadas de los Marcos Comunitarios de Apoyo (MCA) yde los Documentos Únicos de Programación (DOCUP).

La responsabilidad en materia de evaluación corresponde tantoa la Comisión como a cada Estado miembro. La Comisión pre-senta un informe trienal de evaluación sobre los progresos efec-tuados en materia de cohesión social y económica y la contribu-ción de los Fondos Estructurales a este objetivo fundamental.

• Concepción de la evaluación

En las principales disposiciones reglamentarias sobre losFondos Estructurales9, la evaluación se define como una apre-ciación de la eficacia a tres niveles:

La responsabilidad enmateria de evaluaciónen la U.E. correspondetanto a la Comisióncomo a cada Estadomiembro.

La Comisión presentaun informe trienal deevaluación sobre losprogresos efectuadosen materia de cohesiónsocial y económica y lacontribución de losFondos Estructurales aeste objetivofundamental

9. Art. 6 del Reglamento marco nº 2052/88 (modificado por el nº 2081/93) sobre las funcionesde los fondos con finalidad estructural y la coordinación de sus intervenciones.

a) el impacto del conjunto de las acciones estructurales sobrelos objetivos contemplados (Art. 130 A del Tratado).

b) el impacto del conjunto de las acciones propuestas en losplanes y empresas en cada marco comunitario de apoyo(MCA).

c) el impacto específico de cada intervención operativa (pro-gramas y formas de intervención).

En este sentido, el Reglamento de coordinación establece que,tanto en lo que concierne a la apreciación como a la evalua-ción, se utilicen los distintos elementos que pueda ofrecer elsistema de seguimiento para apreciar el efecto socioeconómi-co de las acciones, en su caso en estrecha colaboración con losComités de Seguimiento. De esta forma, según proceda, laapreciación y la evaluación se deberán realizar comparandolos objetivos con los resultados obtenidos atendiendo a:

• Los objetivos e indicadores macroeconómicos y sectorialesbasados en datos regionales y nacionales.

• Los datos generados por estudios analíticos y descriptivos.

• Los análisis de carácter cualitativo.

• El Programa MEANS

Desde 1994, el programa MEANS (Métodos de Evaluación delas Acciones de Naturaleza Estructural), promovido por laComisión Europea, ha contribuido decisivamente a la difusiónde la cultura evaluativa.

El programa MEANS se establece con el objetivo de propiciarun desarrollo metodológico uniforme y coherente a aplicar enlos Estados miembros y la presentación de buenas prácticastransferibles.

En principio, la diversa documentación metodológica produ-cida en el marco del citado programa se llevará a textos peda-gógicos destinados a incrementar el nivel medio de la cultu-ra evaluativa de las diversas administraciones nacionales yregionales.

Está previsto que antes del 2000 la Comisión publique una seriede informes sobre diversos aspectos metodológicos donde que-darán recopiladas las aportaciones metodológicas producidas alo largo de estos años. Los documentos que se prevé publicarabordarán aspectos metodológicos como la selección y utiliza-

La apreciación y laevaluación se deberánrealizar comparandolos objetivos con losresultados obtenidosatendiendo a:

• Los objetivos eindicadoresmacroeconómicos ysectoriales basados endatos regionales ynacionales.

• Los datos generadospor estudios analíticosy descriptivos.

• Los análisis decarácter cualitativo.

30

10. Reglamento nº 4253/88 modificado por el nº 2082/93.

31

ción de los indicadores, las técnicas principales de evaluación

o la evaluación del impacto producido por las intervenciones

de naturaleza estructural sobre el medioambiente, el empleo y

otra serie de ámbitos de actuación prioritarios en la política

comunitaria. A la espera de estas publicaciones el seguimiento

próximo efectuado por CIDEC de ésta y otras actuaciones lle-

vadas a cabo por la Comisión permiten presentar una serie de

avances importantes.

2.2. CÓMO ORGANIZAR EL PROCESO DE EVALUA-CIÓN

La organización y el diseño del proceso de evaluación resulta

clave para el buen fin de la misma y la obtención de resultados úti-

les y fiables. En los últimos años, desde las instancias comunitarias,

se han producido avances substanciales en el desarrollo metodológi-

co y en el establecimiento de orientaciones comunes.

Buena parte de las aportaciones efectuadas en el marco del

Programa MEANS11 están orientadas hacia la definición del impor-

tante papel que deben jugar los gestores de los programas y las auto-

ridades que tiene la facultad de decidir la puesta en marcha de un

proceso evaluativo para que éste pueda desarrollarse, desde su

comienzo, de forma óptima.

El punto de partida sobre el que debe construirse el proceso de

evaluación pasa porque los responsables y gestores de los programas

tengan una idea clara y realista de las expectativas que pueden depo-

sitar en dicho proceso y de cómo pueden ser utilizados los resultados

y las conclusiones que del mismo se deriven.

Del mismo modo, la organización del proceso debe partir de la diver-

sidad de actores implicados en los diferentes niveles de responsabilidad

y ejecución, siendo consistente con el carácter de partenariado de las

intervenciones comunitarias, tanto en su vertiente vertical o de finan-

ciación12 como en su vertiente horizontal13. De esta forma, se deberá

implicar en el proceso de evaluación a las diversas partes procurando su

participación en el seno del Grupo de Pilotaje del Programa.

El punto de partidasobre el que debeconstruirse el procesode evaluación pasaporque losresponsables y gestoresde los programastengan una idea clara yrealista de lasexpectativas quepueden depositar endicho proceso y decómo pueden serutilizados losresultados y lasconclusiones que delmismo se deriven

11. En esta dirección se enmarcarían el manual nº 1 “Organising Intermediate Evaluation in thecontext of Parthership” (1995) y el nº 5 “Quality Assessment of Evalaution Reports: aFramework” (1996).12. Generalmente compuesta por la Comisión, las autoridades nacionales y las autoridades regio-nales y locales.13. En la que se incluyen aquellos actores que pueden intervenir legítimamente en la definicióno implementación de los programas.

La organización delproceso debe partirde la diversidad deactores implicadosen los diferentesniveles deresponsabilidad yejecución, siendoconsistente con elcarácter departenariado de lasintervencionescomunitarias, tantoen su vertientevertical o definanciación12 comoen su vertientehorizontal

32

Responsables

Autoridadesnacionales

Autoridadeslocales

Agentessociales

Sectorprivado

Grupo dePilotaje

Figura 1PARTENARIADO VERTICAL Y HORIZONTAL

PA

RT

EN

AR

IAD

O V

ER

TIC

AL

P A R T E N A R I A D O H O R I Z O N T A L

2.3. LAS ETAPAS BÁSICAS Y SU CONTENIDODesde la perspectiva del gestor del programa, la organización de

la evaluación cabe estructurarla en cinco etapas básicas que apare-cen reflejadas en el siguiente esquema y cuyo contenido se detallamás adelante.

Figura 2ETAPAS BÁSICAS DE LA EVALUACIÓN

FASE EDifusión y puesta en práctica

de los resultados

FASE DGestión de la evaluación

y de su calidad

FASE CSelección de evaluadores

y plan de evaluación

FASE BPreparación de los términos de

referencia y convocatoria del concurso

FASE AMandato de evaluación

y estructuración del proceso

33

2.3.1. Fase A : Mandato de Evaluación y Estructuracióndel Proceso

Uno de los factores fundamentales para lograr el éxito en el pro-ceso de evaluación reside en conseguir la implicación de los diver-sos agentes concernidos. Una adecuada estructura organizativa y laelaboración de un mandato de evaluación en el que dichos agentesidentifiquen la información y las cuestiones que requieren ser eva-luadas a lo largo del proceso constituyen los elementos centrales deesta fase.

A1. Formulación de un mandato de evaluación

Donde se clarifiquen las orientaciones, prioridades y responsabi-lidades del proceso de evaluación, identificando:

• Quién es el responsable de la organización y del desarrollo delproceso.

• Cuáles van a ser las cuestiones clave que deberán abordarse yse incluirán en los términos de referencia, diferenciando clara-mente la evaluación del sistema de seguimiento y sus corres-pondientes contenidos.

Este mandato formalizado por escrito constituye un elementofundamental para dotar de mayor credibilidad a la evaluación y pro-mover el diálogo siempre que se formule de forma consensuadamediante la participación de los diversos actores. Del mismo modo,el mandato se configura como el documento que va a servir de refe-rente para la propia evaluación del trabajo de los evaluadores.

A2. Identificación de los objetivos y de las cuestiones a las que se

pretende dar respuesta mediante la evaluación

Para poder desarrollar los términos de referencia de la fasesiguiente, las cuestiones que hayan sido incluidas en el mandatodeben quedar concretadas y detalladas, atendiendo a las implicacio-nes metodológicas que las mismas conllevan.

A3. Estructuración del proceso

De cara al seguimiento específico del proceso de evaluación esconveniente establecer un grupo de trabajo formado a partir delpropio Grupo de Pilotaje que actúe como Subcomité de evaluación.En él tomarán parte no sólo los miembros del propio Grupo dePilotaje sino también expertos en metodologías de evaluación, ase-sores externos, etc.

Este subcomité permitirá:

Uno de los factoresfundamentales paralograr el éxito en elproceso de evaluaciónreside en conseguir laimplicación de losdiversos agentesconcernidosadoptando unaadecuada estructuraorganizativa y unmandato de evaluacióndonde se clarifiquenlas orientaciones,prioridades yresponsabilidades delproceso evaluativo

• Involucrar más activamente al Grupo de Pilotaje en el procesode evaluación.

• Liberar a los responsables de los programas de una excesiva res-ponsabilidad en la organización de la evaluación.

• Integrar la aportación técnica de los expertos externos.

2.3.2. Fase B: Elaboración de los Términos de Referenciay Convocatoria del Concurso

Con el fin de garantizar que las cuestiones a evaluar resultan sufi-cientemente relevantes y precisas conviene dar contenido a lossiguientes aspectos: en primer término, la identificación de las rela-ciones existentes entre los objetivos; en segundo lugar, la elaboraciónde los términos de referencia para la convocatoria del concurso.

B1. Identificación de los objetivos y de las relaciones implícitas a

diversos niveles

Resulta muy recomendable que la formulación de los objetivosincluya su estructuración en diferentes niveles jerárquicos, identifi-cando las relaciones causa-efecto existentes entre dichos objetivos.Ello va a permitir:

• Clarificar las relaciones causa-efecto implícitas y explícitas quedeben ser tenidas especialmente en cuenta en la evaluación.

• Identificar los puntos donde van a interactuar los efectos provo-cados por las diversas medidas y subprogramas.

• Establecer puentes entre los objetivos de los subprogramas y losprogramas.

• Clarificar los objetivos definidos al inicio del programa y cómohan ido variando a lo largo de su implementación.

B2. Elaboración de los términos de referencia y convocatoria del

concurso de tal forma que se presenten propuestas metodológi-

camente adecuadas

El contenido de los términos de referencia debe incluir una seriede aspectos básicos.

Introducción: breve caracterización del programa a evaluar y desus objetivos principales.

La normativa sobre la que se sustenta el proceso de evaluación allevar a cabo.

Una sucinta, pero completa, descripción del programa a evaluar:

Con el fin de garantizarque las cuestiones aevaluar resultansuficientementerelevantes y precisas,conviene darcontenido a lasrelaciones existentesentre objetivos y a lostérminos de referenciaque guiarán el procesoevaluativo

34

35

• Cuáles son los problemas económicos y sociales que motivaronsu puesta en marcha.

• Cuáles son los objetivos del programa.

• Cuáles son los efectos que se esperan obtener del mismo.

• Cuáles son sus beneficiarios.

• Cómo va a ser implementada la evaluación.

Breve descripción de la estructura organizacional que acompa-ña a la evaluación, especificando:

• Las relaciones estructurales con el Grupo de Pilotaje.

• Las funciones que debe desarrollar el equipo evaluador.

• Los procedimientos requeridos para asegurar que los resultadosde la evaluación sean discutidos y difundidos convenientemente.

El contenido de la evaluación en términos de pertinencia, efica-cia, eficiencia, coherencia, impactos, mecanismos de gestión, etc.

Una aproximación al plan de trabajo que incluya consideracio-nes relativas al enfoque a seguir en la evaluación, métodos de eva-luación, herramientas de análisis, duración del proceso, productosesperados, presupuesto, etc.

Por último, se deberán incluir los criterios que van a ser emplea-dos para la selección del equipo evaluador.

2.3.3. Fase C: Selección de Evaluadores y Elaboracióndel Plan de Evaluación

La calidad de la evaluación depende, en buena medida, de tres fac-tores: la capacidad del Grupo de Pilotaje para especificar adecuada-mente sus necesidades y expectativas en torno a la evaluación, la desig-nación de un equipo de evaluadores cualificado y el establecimiento deuna comunicación fluida entre el Grupo de Pilotaje y los evaluadores.

Esta relación comienza por la selección y la definición conjuntade un plan de trabajo detallado que va a permitir ahorrar tiempo yesfuerzos más adelante e incrementar la credibilidad y aplicabilidaddel informe final de la evaluación.

C1. Realizar una óptima selección de los evaluadores, para lo que

se requiere asegurar que:

• Las metodologías propuestas se ajustan a las cuestiones que sedesean evaluar.

El contenido de lostérminos de referenciadibujan el marco guíapara el desarrollo delcorrespondiente plande evaluación

• El Grupo de Pilotaje se involucra en la selección definitiva delos evaluadores.

• La independencia de los evaluadores, garantizando su no vincu-lación con la formulación del programa y su implementación.

C2. Concretar los términos de referencia en un plan de evaluación

coherente, pasa por:

• Formular un cronograma de la evaluación que se ajuste a losmomentos clave del ciclo del programa.

• Establecer los criterios para la selección de las medidas y sub-programas que deben ser evaluados en profundidad y el mo-mento en que deberán realizarse.

• Llegar a un acuerdo sobre el formato del informe final de eva-luación.

• Lograr que el Grupo de Pilotaje valide el plan de trabajo desa-rrollado.

2.3.4. Fase D: Gestión del Proceso y Evaluación de su Calidad

Cualquier tipo de evaluación requiere de un contacto fluido y per-manente entre los evaluadores y el Grupo de Pilotaje o el subcomitécreado al efecto. Para ello, una vez iniciado el proceso de evaluación,los responsables del programa deben:

D1. Gestionar la evaluación como un proceso de diálogo y adapta-

ción continúa, lo que implica:

• Mantener a los miembros del Grupo de Pilotaje informados delos avances experimentados por el proceso de evaluación.

• Asegurar que la evaluación se realiza conforme a los términosde referencia y al plan de evaluación establecido.

• Controlar el cumplimiento del cronograma.

• Reservar un tiempo para la incorporación de sugerencias y obser-vaciones en los informes entregados por el equipo evaluador.

• Verificar la metodología empleada a lo largo del proceso de eva-luación.

D2. Evaluar la calidad del proceso de evaluación, lo que implica:

• Verificar que los criterios de objetividad e independencia hansido respetados.

La calidad de laevaluación depende,en buena medida, detres factores: lacapacidad del Grupode Pilotaje paraespecificaradecuadamente susnecesidades yexpectativas en torno ala evaluación, ladesignación de unequipo de evaluadorescualificado y elestablecimiento de unacomunicación fluidaentre el Grupo dePilotaje y losevaluadores

36

37

• Asegurar que se han cumplido los términos de referencia y, encaso contrario, justificar los cambios realizados.

• Animar a lo evaluadores a presentar sus resultados de formaque resulten útiles para los responsables del programa.

Criterios para evaluar la calidad de la evaluación

La valoración cualitativa de los resultados de una evaluaciónquedará articulada en torno a los siguientes criterios (ProgramaMEANS):

Grado de cumplimiento de las necesidades expresadas

¿La evaluación cumple con las necesidades de información delGrupo de Pilotaje y se ajusta a los términos de referencia?

Enfoque relevante

¿Se evalúan sistemáticamente los resultados, realizaciones eimpactos producidos por el programa, incluyendo los efectosprevistos y no previstos, así como las interacciones con otrosprogramas y políticas similares?

Diseño apropiado

¿Resulta adecuado el diseño implementado en la evaluacióncara a asegurar que las conclusiones alcanzadas permiten res-ponder a las principales cuestiones planteadas?

Fiabilidad de los datos recopilados y procesados

¿Hasta qué punto los datos recogidos y seleccionados, resultanapropiados y ofrecen un nivel de fiabilidad suficiente?

Análisis apropiado

¿Resulta adecuada y sistemáticamente analizada la informa-ción cuantitativa y cualitativa, de forma que las cuestiones dela evaluación son respondidas correctamente?

Resultados fiables

¿Se puede afirmar que los resultados y las conclusiones de laevaluación se fundamentan y justifican a partir de análisis einterpretaciones basadas en hipótesis lógicas y cuidadosamen-te descritas?

Conclusiones imparciales

¿Las conclusiones obtenidas resultan justas, imparciales, noinfluidas por la opinión de los diversos actores y suficiente-mente detalladas para poder ser aplicadas?

Gestionar la evaluacióncomo un proceso dediálogo y adaptacióncontinua y evaluar lapropia calidad delproceso evaluativo deacuerdo a criteriosestablecidos sonetapas que, por sutrascendencia, sedestacan sobre el resto

La difusión de losresultados alcanzadostras el proceso deevaluación debeatender a dos criteriosbásicos: transparenciay confidencialidad.

38

Claridad expositiva del informe

¿El informe describe claramente el contexto y el propósito del

programa evaluado, incluyendo los procedimientos y resultados

de la evaluación, de manera que la información provista pueda

ser comprendida fácilmente?

2.3.5. Fase E: Difusión de Resultados y Puesta en Práctica

La difusión de los resultados alcanzados tras el proceso de eva-

luación debe atender a dos criterios básicos: transparencia y confi-

dencialidad.

E1. Difusión de los resultados de la evaluación.

• Todos los miembros del Grupo de Pilotaje deben recibir el

informe completo de la evaluación.

• Cualquier difusión del informe o de sus resultados más allá del

propio Grupo de Pilotaje, debe ser aprobado previamente por

este grupo de forma que se asegure la confidencialidad y la

confianza mutua.

• Los evaluadores deben generar diferentes tipos de documentos

adaptados a los diversos tipos de audiencia, sin alterar la inte-

gridad de su trabajo.

• Debe tomarse en consideración la posibilidad de utilizar otros

medios de difusión además de los tradicionales tales como con-

ferencias, seminarios, videos, etc., de forma que se facilite la

difusión horizontal entre los grupos objetivo.

E2. Utilización óptima de los resultados de la evaluación, para lo

que conviene asegurarse de que:

• Las conclusiones y los juicios de valor que aparecen en el infor-

me se sustentan en evidencias suficientemente identificadas en

el mismo.

• Las conclusiones incluyen referencias directas a las decisiones

que se deben tomar sobre la reprogramación y la redistribución

de los fondos.

2.4. ARTICULAR EL CONTROL, SEGUIMIENTO YEVALUACIÓN

De forma adicional a los avances metodológicos realizados en elmarco del Programa MEANS, la propia Comisión establece en

39

199614 una serie de orientaciones comunes para llevar a a cabo elseguimiento y las evaluaciones intermedias principalmente.

Se ha procedido a su examen y a sintetizar los aspectos másrelevantes de las mismas. Estas orientaciones comunes debenentenderse como el marco de referencia sobre el que construirmodelos y procesos evaluativos concretos. En este sentido, seapunta explícitamente la necesidad de combinar la flexibilidad delos métodos de seguimiento y evaluación con su coherencia inter-na. Para ello, conviene utilizar estas orientaciones de forma rigu-rosa pero flexible, en función de las realidades específicas de lasdistintas regiones o Estados miembros concernidos. La siguienteFigura visualiza cómo se plantea la articulación entre el control,seguimiento y la evaluación.

Estas orientacionescomunes debenentenderse como elmarco de referenciasobre el que construirmodelos y procesosevaluativos concretos

Figura 3ARTICULAR EL CONTROL, SEGUIMIENTO Y EVALUACIÓN

MediosInput

RealizacionesOutput

RepercusionesOutcome

C o n t r o l

Seguimiento (de gestión)

Evaluación (de los efectos)

ReferentesConformidad a los

textos administrativosNormas de buena

gestiónSatisfacción de la

ciudadanía

14. Orientaciones comunes para el seguimiento y las evaluaciones intermedias.ComisiónEuropea.

En términos de contenido de la evaluación, ésta deberá articularsede forma coherente a la estructura de los programas comunitarios,haciendo corresponder a cada ámbito o elemento del programa (obje-tivos, medios, realizaciones) unos criterios de evaluación específicos.La Figura 4 esquematiza las relaciones que se pueden establecer parajuzgar el valor de un programa.

2.4.1. La lógica de la programación y su incidencia en elseguimiento y la evaluación

La propia programación de las intervenciones cofinanciadas porlos Fondos Estructurales presenta una articulación en “cascada” quepretende facilitar su seguimiento y evaluación.

La programación se realiza a partir de un cierto número de hipó-tesis que permiten esperar que las acciones planificadas van a produ-cir determinados resultados y generar determinado tipo de impactos.Así, las intervenciones se programan:

El objetivo básico quese asigna al sistema deseguimiento de losprogramas consiste enverificar conregularidad surealización progresivay efectiva, tanto físicacomo financiera, asícomo su impactorespecto a losobjetivos prefijados

40

Figura 4JUZGAR EL VALOR DE UN PROGRAMA

S O C I E D A D

NECESIDADES

RESULTADOS

EFECTOS-IMPACTOS

ACCIÓN PÚBLICA

OBJETIVOSESPECÍFICOS

GLOBALES

MEDIOSRECURSOS

INTERVENCIONESREALIZACIONES

P e r t i n e n c i a

Ut

il

id

ad

Ef i c

ac

i a

E f i c i e n c i a

Ef

ic

ac

ia

• En un contexto determinado y atendiendo a un objetivo globalque ofrece la perspectiva básica desde la que deberán imple-mentarse las intervenciones.

• Este objetivo global supone la consecución de una serie de obje-tivos específicos que permiten precisar la naturaleza y caracte-rísticas de las intervenciones a realizar.

• La ejecución de estas intervenciones implica la realización con-creta de un cierto número de acciones que, a su vez, van a pro-ducir una serie de resultados que deben permitir alcanzar losobjetivos específicos programados.

En las Figuras 5 y 6 se esquematizan las etapas de esta lógica y suaplicación a una intervención concreta en el ámbito de los recursoshumanos:

El objetivo básico que se asigna al sistema de seguimiento de losprogramas consiste en verificar con regularidad su realización progresi-va y efectiva, tanto física como financiera, así como su impacto respec-to a los objetivos prefijados. Como refuerzo al sistema de seguimientolas evaluaciones intermedias deben aportar un juicio crítico sobre losresultados obtenidos y contribuir, con regularidad, a una gestión eficaz.

41

De esta forma, el seguimiento del programa sigue la lógica

esquematizada:

• Las acciones realizadas, consumidoras de una cantidad

determinada de recursos, producen unos resultados o efectos

directos con los que juzgar el rendimiento o calidad de las

mismas.

• Los resultados generan un impacto que debe contrastarse con

los objetivos específicos prefijados.

• Estos impactos coadyuvan a la generación de un impacto glo-

bal que es el que debe compararse con el objetivo global pro-

puesto en el programa.

A la hora de evaluar losimpactos generadospor el programaconviene tenerpresente que éstos noson ni mecánicos niautomáticos y puedenhaberse vistoafectados por factoresde incidencia externosal propio programa

Figura 5SEGUIMIENTO

REALIZACIÓN(Ejecución financiera)(Realizaciones físicas)

Resultados(Efectos directos o inmediatos)

(Calidad, rendimiento)

Impacto específico

Impacto global

Figura 6INTERVENCIÓN EN RECURSOS HUMANOS

Descripción

Cursos de formación

Número de beneficiarios que han finaliza-do y superado la acción de formación

Perfiles mejor adaptados a las necesida-des del mercado laboral

Incremento de empleabilidad

Intervención

Realización

Resultados

Objetivo específico

Objetivo global

A la hora de evaluar los impactos generados por el programa con-

viene tener presente que éstos no son ni mecánicos ni automáticos y

pueden haberse visto afectados por factores de incidencia externos al

propio programa. En este sentido, se apunta el interés de comprobar

por el sistema de seguimiento las relaciones de causalidad (indicado-

res) entre las acciones y los resultados, así como entre los resultados

y los impactos.

En las intervenciones cofinanciadas por los Fondos

Estructurales este esquema lógico de articulación en cascada se

materializa en base a los diversos niveles de programación que con-

figuran el marco de apoyo comunitario (MCA), estableciendo unos

ejes prioritarios de actuación. Cada eje puede exigir la puesta en

marcha de cierto número de programas operativos y, a su vez, cada

programa diversas medidas que deben permitir alcanzar los objeti-

vos planteados en el programa.15

De esta forma, en sentido descendente, los objetivos específicos de

un nivel deben servir como marco de referencia global para la inter-

vención en el nivel inferior y constituyen su objetivo básico, mientras

que los resultados esperados de un determinado nivel constituyen los

objetivos específicos que han de alcanzarse con la intervención en el

nivel inferior.

A la inversa, en sentido ascendente, los objetivos específicos de un

nivel constituyen los resultados que se espera conseguir en el nivel

superior y, del mismo modo, el objetivo global de un nivel es contri-

buir a la consecución del objetivo específico del nivel superior.

En la Figura 7 se incluye un ejemplo práctico que concreta esta

articulación por niveles tomando como referente el eje “competitivi-

dad de las empresas”. La competitividad empresarial es uno de los

resultados necesarios para que el MCA alcance sus objetivos, pero es

también:

• El objetivo específico del eje correspondiente

• El objetivo global de un programa operativo dirigido a reforzar

los servicios tecnológicos a las empresa.

La aplicación de este lógica de intervención no es sencilla y debe

realizarse caso a caso, teniendo en cuenta los recursos movilizados y

la propia complejidad de las intervenciones.

En sentidodescendente, losobjetivos específicosde un nivel debenservir como marco dereferencia global parala intervención en elnivel inferior yconstituyen su objetivobásico, mientras quelos resultadosesperados de undeterminado nivelconstituyen losobjetivos específicosque han de alcanzarsecon la intervención enel nivel inferior

42

15. Del mismo modo, en algunos casos se establecen subprogramas como una categoría de pro-gramación intermedia entre el Programa y las medidas del mismo.

43

2.5. CÓMO DISEÑAR EL SISTEMA DE SEGUIMIENTO.Como norma general, el comité de seguimiento de cada programa

recurre a evaluadores independientes para realizar las evaluaciones.En el caso del sistema de seguimiento de los programas, únicamentese recurre a expertos externos cuando se considera necesario com-pletar el sistema existente, mejorar las condiciones de ejecución uoptimizar la eficacia del mismo.

Seguidamente se presentan las orientaciones que establece laComisión cara al diseño del sistema de seguimiento. Conviene tenerpresente que las evaluaciones intermedias están planteando (y vienena figurar entre sus objetivos) la necesidad de reforzar los mecanismosde seguimiento para poder disponer de un instrumento eficaz cara a lagestión y la toma de decisiones. La eficacia de las evaluaciones inter-medias depende en gran medida del sistema de seguimiento. Se tratade evitar la concepción exclusiva del seguimiento como un control

La eficacia de lasevaluaciones

intermedias dependeen gran medida del

sistema deseguimiento. Se trata

de evitar la concepciónexclusiva del

seguimiento como uncontrol financiero

Figura 7EJEMPLO DE ARTICULACIÓN “EN CASCADA” DE OBJETIVOS, RESULTADOSY REALIZACIONES

Marco comunitariode apoyo

Contribuir a la moderni-zación económica delpaís consolidando unaeconomía dinámica,abierta y competitiva.

R e d u c i r l a sdisparidades y los retra-sos de desarrollo y me-jorar la cohesión econó-mica y social (Objetivonº 1)

Cualificación de Recur-sos Humanos.Competitividad de lasempresas.Calidad de vida y cohe-sión social.Reforzamiento de la ba-se económica regional.

Conjunto de Programasque constituyen el MCAy el DOCUP.

Obje

tivo

Glob

alOb

jetiv

o Es

pecí

fico

Resu

ltado

s (E

jes)

Real

izaci

ón

Programa operativoServicios

Tecnológicos de lasempresas

M e j o r a r l acompetitividad de lasempresas.

Reforzamiento de losservicios tecnológicosa las empresas.

• Red de Centros deServicio

• Ayudas para la utiliza-ción de los Servicios

• Ayuda para la utiliza-ción de expertos.

• …

Conjunto de Proyec-tos incluidos en cadamedida.

Obje

tivo

Glob

alOb

jetiv

o Es

pecí

fico

Resu

ltado

s (M

edid

as)

Real

izaci

ón

MedidaRED

Centros Tecnológicos

Reforzamiento de losservicios tecnológicosa las empresas.

Creación de Centros deServicios Tecnológicosa las empresas.

• Centro Telecomunica-ciones.

• Centro Mecánica• Centro Nuevos Mate-

riales.• Centro Documenta-

ción.• …

Etapas o fases necesa-rias para la creación delos diferentes Centros.

Obje

tivo

Glob

alOb

jetiv

o Es

pecí

fico

Resu

ltado

s (P

roye

ctos

)Re

aliza

ción

Eje prioritarioCompetitividad de

las empresas

R e d u c i r l a sdisparidades y los retra-sos de desarrollo y me-jorar la cohesión econó-mica y social

M e j o r a r l acompetitividad de lasempresas.

• Reforzamiento de I+D• Reforzamiento de los

Servicios Tecnológicos.• Infraestructuras de Te-

lecomunicaciones.• Simplificación de los

Procedimientos Admi-nistrativos.

• …

Conjunto de Medidasque constituyen cadaPO.

Obje

tivo

Glob

alOb

jetiv

o Es

pecí

fico

Resu

ltado

s (P

rogr

amas

)Re

aliza

ción

financiero y, paralelamente, reforzar ciertas funciones atribuibles almismo en aras de alcanzar una mayor operatividad y dinamicidad.

Se establecen así tres aspectos básicos que deben ser objeto deobservación permanente: el seguimiento del contexto operativo, elseguimiento de la gestión y el seguimiento de las realizaciones, resul-tados e impacto de las mismas.

Como ha quedado señalado, las intervenciones estructurales secaracterizan por su articulación en cascada: proyectos, medidas, pro-gramas, MCA… Por tanto, para garantizar el adecuado seguimiento yposterior evaluación, se deberá identificar detalladamente en cada unode los niveles los tres aspectos básicos apuntados.

Contexto operativo

El seguimiento del contexto debe poner especial énfasis en lossiguientes aspectos:

• Los cambios que se han producido en los diversos factores odimensiones que afectan al programa, bien sean de tipo econó-mico, social, político, jurídico y que pueden condicionar su eje-cución y los resultados de las acciones.

• La coherencia y complementariedad con otras políticas generaleso sectoriales que se están aplicando en la región o en el Estadorespectivo, ya sean de origen regional, nacional o comunitario.

• El cumplimiento de las disposiciones establecidas como condi-ción previa para el éxito del programa.

Gestión del Programa

Del mismo modo, se efectuará un seguimiento particularizadosobre diversos aspectos de índole operativa, tales como:

• La instrumentación y el funcionamiento de los mecanismos degestión financiera y administrativa.

• La instrumentación y alimentación del sistema de seguimiento.

• La sistematización de la recogida la información y los datosnecesarios.

• La adecuación de los criterios para la selección de proyectos.

• Las actividades de difusión.

• La participación de los diversos actores implicados.

• Los aspectos normativos y legislativos, así como las políticasque actúan como marco general del programa.

Tres aspectos básicosdeben ser objeto deobservaciónpermanente: elseguimiento delcontexto operativo, elseguimiento de lagestión y elseguimiento de lasrealizaciones,resultados e impactode las intervenciones

44

45

Realizaciones, resultados e impacto

La estructura del sistema de medición de la eficacia y eficienciacabe apoyarla en tres grandes grupos de indicadores:

• Indicadores de realización: miden el grado de ejecución finan-ciera y/o el nivel de utilización de los medios establecidos, asícomo el grado de ejecución física del programa.

• Indicadores de resultados: miden los resultados, los efectosdirectos o inmediatos, la calidad o el rendimiento logrado conla acción.

• Indicadores de impacto específico y global:

• Específico, acotado a las realizaciones y resultados alcan-zados.

• Global, cuando los objetivos específicos han coadyuvadoa producir el objetivo global programado16

El siguiente cuadro ilustra la complementariedad entre indicado-res y medición en términos de eficacia y eficiencia.

Se trata medir losefectos directos yprevistos, los efectosindirectos y aquellosno previstos pero quese han producido

16. Este nivel de impacto global será medido una vez concluida la ejecución del programa cuan-do se efectúe la evaluación ex-post del mismo.

Indicadores

De realización• Ejecución financiera• Ejecución física

De resultados

De impacto específico

De impacto global

Medida eficacia

Ejecución realizada/previstaEjecución efectuada/prevista

Resultados obtenidos/resultadosprevistos

Impacto obtenido/impacto pre-visto

Impacto obtenido/impacto pre-visto

Cuadro de base

Realización

Resultados

Objetivo especifico

Objetivo global

Medida eficiencia

Realizaciones respecto a loscostes

Resultados obtenidos respectoa los costes

Impacto obtenido respecto alos costes

Impacto obtenido respecto alos costes

COMPLEMENTARIEDAD ENTRE INDICADORES Y MEDICIÓN DE EFICACIA Y EFICIENCIA

El seguimiento debe realizarse:

• De forma cuantitativa, mediante indicadores/ratios.

• De forma cualitativa, a partir de otro tipo de informaciones dis-ponibles, estudios y análisis.

Conviene tener presente que la construcción de un sistema de indi-cadores de seguimiento plantea una serie de dificultades y limitacio-nes entre las que cabe destacar las siguientes:

• Los problemas para comprobar las relaciones de causalidadentre las realizaciones, los resultados obtenidos y el impactoproducido; por lo que resulta conveniente tener en cuenta otrosfactores exógenos que han podido afectar a los resultados eimpactos observados.

• La complejidad de medición del impacto que requiere de ins-trumentos apropiados que analicen varias intervenciones reali-zadas al mismo tiempo.

• La dificultad para agregar determinados indicadores comosucede con los físicos.

• La dificultad para disponer de las informaciones y datos nece-sarios que alimenten el sistema de seguimiento y sirvan de basepara la evaluación en los plazos de tiempo previstos.

Lo señalado plantea importantes retos y una revisión de los siste-mas de seguimiento establecidos, máxime si se quiere dar cumpli-miento a la medición de los efectos directos y previstos, de efectosindirectos y de efectos no previstos pero que se han producido.

2.6. LAS EVALUACIONES INTERMEDIASCon carácter general, las intervenciones cuya duración supera los

tres años son objeto de evaluación intermedia a fin de generar las evi-dencias que permitan, en su caso, realizar las adaptaciones necesarias.

A través de este tipo de evaluación se pretende realizar un análisiscrítico de las informaciones proporcionadas por el sistema de segui-miento y otras fuentes de información, estudiar si se están cumpliendolos objetivos planteados, analizando las causas de los desvíos y prever,de forma anticipada, los resultados e impactos que se está en vías dealcanzar.

2.6.1. Contenido

A continuación, con carácter no exhaustivo ni limitativo, se proce-de a presentar el contenido que se atribuye a las evaluaciones inter-medias.

Primera etapa, a partir de las primeras decisiones de ejecución delas intervenciones, se destina a:

• Verificar la coherencia y relaciones de causalidad entre realiza-

Las intervencionescuya duración superalos tres años sonobjeto de evaluaciónintermedia a fin degenerar las evidenciasque permitan, en sucaso, realizar lasadaptacionesnecesarias

46

47

ciones, resultados y objetivos, según los niveles de intervención

en cascada.

• Examinar la viabilidad, pertinencia y fiabilidad de los indica-

dores, así como la disponibilidad de las informaciones necesa-

rias, según los niveles de intervención establecidos.

• Analizar los diversos procedimientos de selección de proyectos,

su calidad, adecuada aplicación y su coherencia con los objeti-

vos del programa.

• Analizar los mecanismos de gestión y ejecución.

• Supervisar el sistema de seguimiento, garantizando que del mismo

se pueda obtener la información necesaria para realizar las evalua-

ciones del programa en base a los diversos criterios de evaluación

establecidos.

Segunda etapa, realización de la evaluación de medio camino:

• Reactualización de los análisis llevados a cabo en la etapa ante-

rior; analizando la puesta en práctica de las propuestas elabo-

radas en la misma.

• Análisis de la pertinencia de la estrategia seleccionada inicial-

mente atendiendo a los cambios producidos en el contexto.

• Evaluación de la eficacia alcanzada por el programa: compara-

ción de los resultados y realizaciones alcanzadas en el momen-

to de la evaluación respecto a las previstas.

• Evaluación de la eficiencia del programa: realizaciones efec-

tuadas y resultados obtenidos en comparación con los medios

empleados.

• Presentación de propuestas rectificativas con el fin de reforzar

las intervenciones futuras del programa y su viabilidad.

• Análisis de los mecanismos de ejecución y gestión.

• Análisis de las políticas comunitarias vinculadas al programa.

Tercera etapa, con el objetivo de proseguir las propuestas de

ajuste de los programas y la evaluación final y ex-post:

• Análisis de la eficacia de las intervenciones respecto a los obje-

tivos iniciales y las adaptaciones y cambios realizados.

Las evaluacionesintermedias abordaránel análisis crítico de lasinformacionesproporcionadas por elsistema deseguimientoexaminando si se estáncumpliendo losobjetivos planteados,analizando las causasde los desvíos yanticipando losresultados e impactosque se estánalcanzando

• Análisis de la eficiencia respecto a los medios empleados.

• Análisis del impacto de la intervención.

• Análisis de la viabilidad futura.

• Análisis de los mecanismos de ejecución y seguimiento, así

como de los progresos alcanzados.

2.6.2. Metodología. Enfoques y técnicas

A continuación se presentan cuales han sido los enfoques y técni-

cas de evaluación que se vienen implementando a lo largo de estos

últimos años en las prácticas de evaluación desarrolladas en la U.E.

Conviene tener en cuenta que, en su mayor parte, las evaluaciones que

se han llevado a cabo durante el período 1994-1999 han sido evalua-

ciones intermedias (de medio camino).

Debido en parte a la dificultad intrínseca de evaluar el impacto

producido por los resultados solamente dos años después de la pues-

ta en marcha de los programas, este tipo de evaluaciones no se han

realizado de la forma más adecuada: las evaluaciones intermedias han

privilegiado el análisis de los procesos de gestión y ejecución progra-

mática así como el reparto de los fondos entre las diversas priorida-

des establecidas17, dejando de lado otros aspectos relevantes.

Considerando que en la evaluación de los programas cofinancia-

dos por los Fondos Estructurales se otorga la misma importancia a la

evaluación ex-ante, intermedia y ex-post, a las evaluaciones interme-

dias, debido al momento de su realización, se les asigna una influen-

cia directa en la configuración de los programas para lo cual deben

ayudar a la identificación de sus deficiencias y presentar recomenda-

ciones que favorezcan su mejora y/o modificación18.

Las evaluaciones intermedias quedan así estrechamente relaciona-

das, por un lado, con las evaluaciones ex-ante (con el objeto de deter-

Las evaluacionesintermedias hanprivilegiado el análisisde los procesos degestión y ejecuciónprogramática así comoel reparto de losfondos entre lasdiversas prioridadesestablecidas, dejandode lado otros aspectosrelevantes

48

17. Conferencia Europea sobre las prácticas de evaluación de programas cofinanciados por losFondos Estructurales Sevilla, 1998.

18. Tal y como la propia Comisión entiende las evaluaciones intermedias, éstas deben generar lainformación y los datos necesarios para posteriores evaluaciones, recomendaciones sobre los pro-blemas de organización del programa y sobre la reprogramación a llevar a cabo (identificandoaquellos destinos para los fondos que resultan más adecuados). Para ello, estas evaluaciones debenincluir seis elementos básicos:

• análisis de la absorción de los fondos por cada medida programada;• identificación del output físico alcanzado hasta la fecha en comparación con los objetivos

planteados;• análisis de la eficiencia;• evaluación del impacto;• evaluación del impacto sobre los indicadores socioeconómicos;• análisis de la calidad del sistema de gestión.

49

minar si los objetivos fijados en la fase de planificación se estánalcanzando) y, por otro lado, con las evaluaciones finales/ex-post(con el objeto de incluir las disposiciones necesarias para la medi-ción del output bruto final). Cuando estas relaciones son débiles,bien por la falta de un nivel de precisión adecuado en la definición ycuantificación de los objetivos en las apreciaciones ex-ante, bien pordeficiencias en el propio sistema de seguimiento, tanto las evalua-ciones intermedias como las finales/ex-post se resienten y no llegana cumplir plenamente su función.

Enfoques de evaluación: Evaluación ascendente (botton up) ydescente (top down)

Aunque estos dos enfoques no resulten excluyentes (más adelan-te se incluye un caso práctico que combina ambos), con el objeto defacilitar la estructuración metodológica, la propia Comisión diferen-cia el contenido de las evaluaciones realizadas bajo estos dos tiposde enfoques.

En la evaluación ascendente (botton up), el evaluador recopi-la la información a nivel de proyecto para ser tratada e inter-pretada, posteriormente, a nivel de medida y a nivel del pro-grama. Dado que el número de proyectos que comprende unprograma suele ser elevado, se define una muestra de proyec-tos que serán objeto de evaluación específica.

Este tipo de enfoque resulta apropiado máxime cuando losdatos y la información generada por el sistema de seguimientodel programa no resulta suficiente y no se puede adoptar unenfoque descendente. Por tanto, de esta forma se genera infor-mación adicional a la disponible sobre los resultados alcanzadosy el impacto generado por los mismos. Este enfoque se susten-ta, fundamentalmente, en la realización de encuestas directas alos beneficiarios y entrevistas en profundidad a testigos privile-giados e informantes clave. Este tipo de enfoque requiere que sededique suficiente atención al trabajo de campo cuya fiabilidaddepende, en buena medida, de la representatividad de las mues-tras establecidas e informantes seleccionados.

El enfoque descendente (top down) permite la observacióndel programa en su conjunto, no requiriendo de la selección deuna muestra de proyectos ya que las informaciones son trata-das a nivel agregado (por medida). Por ello la calidad de losdatos generados por el sistema de seguimiento es primordialya que el evaluador no analiza directamente los proyectos indi-

En la evaluaciónascendente, elevaluador recopila lainformación a nivel deproyecto para sertratada e interpretada,posteriormente, a nivelde medida y a nivel delprograma

viduales sino que utiliza la información generada por dicho sis-tema de seguimiento para evaluar las medidas.

Para profundizar en los aspectos señalados, el enfoque descen-dente recurre al análisis de caso o análisis en profundidad rela-cionados con prioridades o medidas específicas que permitenrecoger información a nivel de proyecto. Este tipo de enfoquesuele requerir de menos tiempo y de menos recursos financierosque el ascendente y permite centrar la atención en la contribuciónglobal del programa al cumplimiento de los objetivos finales.

La determinación del enfoque de evaluación y las correspondien-tes herramientas de análisis es un factor clave dentro del diseño delproceso de evaluación, de tal forma que los resultados generados porcada uno de los dos enfoques resultan diferentes. En la elección influ-yen diversos factores como el presupuesto y el tiempo disponible, elcontexto institucional en el que se desarrolla la evaluación, etc.

El equipo evaluador efectuará su propio diseño metodológico y setrata de incluir en él una combinación de técnicas y herramientas deanálisis vinculadas a ambos enfoques19 con el fin de lograr un equi-librio óptimo entre la observación a nivel de programa y medida(macro) y la realizada a nivel de proyecto (micro).

A continuación se efectúa un recorrido por las diversas técnicas yherramientas de evaluación (desde las vinculadas más estrechamentecon el análisis micro, a las relacionadas con el análisis macro), a par-tir de las cuales el equipo evaluador deberá proceder a seleccionar lasmás adecuadas para el programa específico objeto de evaluación.

Técnicas

Las diversas técnicas de evaluación existentes pueden estructurar-se de acuerdo a los dos enfoques de evaluación presentados (ascen-dente y descendente), partiendo de las técnicas vinculadas más estre-chamente con el nivel micro de la evaluación hasta las correspon-dientes al análisis macro, tal y como se recoge en la Figura 8.

Como ya se ha indicado, uno de los mayores problemas que sur-gen en el momento de llevar a cabo las evaluaciones es la deficien-te calidad de la información generada por los sistemas de segui-miento. Frente a estas situaciones se recurre a técnicas diversas quepermitan generar información cuantitativa y cualitativa complemen-taria a la suministrada por el sistema de seguimiento: estudios de

El enfoquedescendente permite laobservación delprograma en suconjunto, norequiriendo de laselección de unamuestra de proyectosya que lasinformaciones sontratadas a nivelagregado

50

19. Como, por ejemplo, la realización de estudios de casos junto a la aplicación de un modelo eco-nométrico o el análisis de información estadística.

51

Uno de los mayoresproblemas que surgenen el momento dellevar a cabo lasevaluaciones es ladeficiente calidad de lainformación generadapor los sistemas deseguimiento. Frente aestas situaciones serecurre a técnicasdiversas que permitangenerar informacióncuantitativa ycualitativacomplementaria a lasuministrada por elsistema deseguimiento: estudiosde caso, análisis enprofundidad o estudiosmonográficos,entrevistas y encuestas

DESCENDENTE Nivel Macro: Estimación del impacto global

Nivel Micro: Estimación de efectos específicos

Modelos Econométricos

Tablas Inpout/Output

Análisis estadísticos

Multiplicadores, coeficientes

Estudios y análisis de casoDes

agre

gaci

ón d

el im

pact

o gl

obal

Agre

gaci

ón d

e lo

s ef

ecto

s es

pecí

ficos

ASCENDENTE

Figura 8ESTIMACIÓN DE EFECTOS E IMPACTOS

20. En el marco de estas técnicas pueden formularse preguntas que analizan, en profundidad, losefectos producidos por los programas. Por ejemplo, al evaluar los efectos sobre el empleo pueden for-mularse cuestiones para recoger la motivación o la percepción de los beneficiarios, si el empresariohubiera contratado al trabajador en ausencia de programa, etc.

caso, análisis en profundidad o estudios monográficos, entrevistas yencuestas.

Este tipo de técnicas permiten observaciones precisas y la extrac-ción de evidencias que van más allá de la evaluación de los efectosdirectos simples y que resulta especialmente útil para profundizar enel análisis de las relaciones causa-efecto, de los efectos indirectos,complejos o no previstos, así como en la validación de los resultadosobtenidos mediante otras técnicas e instrumentos20.

La entrevista es uno de los instrumentos que se han utilizado conmayor frecuencia en la evaluación de programas cofinanciados porlos Fondos Estructurales. Se realizan con el fin de recopilar informa-ción cualitativa sobre el proceso de gestión del programa (entrevis-tando a los responsables, ejecutores) o sobre la opinión que tienen losbeneficiarios en relación al mismo.

Sin llegar a la complejidad de los modelos econométricos, se vie-nen aplicando diversas técnicas estadísticas. Estas técnicas permitenla recogida de información cualitativa y cuantitativa, y resultan nece-sarias cuando el número de beneficiarios es elevado y el sistema deseguimiento no ha generado la información necesaria. Para ello se for-maliza una muestra de proyectos o acciones representativas de cada

medida y del programa sobre la que se aplicarán las encuestas. A par-

tir aquí, el equipo evaluador puede estimar con rigor el impacto y

cobertura alcanzados.

Un caso particular de análisis estadístico es la realización de una

comparación entre un grupo de beneficiarios del programa y gruposde control (cuyos miembros no han sido favorecidos por el programa

pese a presentar rasgos similares a los de los beneficiarios). Esto per-

mite observar en profundidad los efectos atribuibles al programa. Sin

embargo, su utilización implica establecer con rigor el carácter de

este grupo de control para que pueda ser comparado de forma apro-

piada con el de los beneficiarios 21.

En el caso de observaciones a gran escala (nivel estatal o

regional 22) se utilizan técnicas más complejas de modelizacióny simulación (modelos econométricos o tablas input/output).

Este tipo de técnicas son habitualmente utilizadas en la evalua-

ción de los efectos generados por los programas comunitarios

sobre el empleo.

Los modelos econométricos permiten simular la interacción entre

diversas variables socioeconómicas mediante diversas ecuaciones en

las que se distinguen las variables exógenas23 y las variables endóge-

nas24. Estas variables se relacionan mediante parámetros de pondera-

ción y se validan a través del procesamiento de series temporales.

Las tablas input/output permiten obtener una visión pormenoriza-

da de los impactos generados por una intervención a nivel de cada

uno de los sectores que conforman la economía, identificando bajo

una estructura matricial los coeficientes que representan las relacio-

nes económicas entre los diversos sectores25.

Un caso particular deanálisis estadístico esla realización de unacomparación entre ungrupo de beneficiariosdel programa y gruposde control (cuyosmiembros no han sidofavorecidos por elprograma pese apresentar rasgossimilares a los de losbeneficiarios)

52

21. Un caso práctico en la aplicación de esta técnica fue la evaluación de los efectos sobre el nivelde ingreso y el empleo de un programa de formación desarrollado en Suecia durante 1995. Endicha evaluación se estableció un grupo de análisis con 4.000 personas formadas en 1992 y otrogrupo de 6.000 personas formadas en 1994. Del mismo modo, se configuró un grupo de controlcompuesto por personas que no habían recibido ningún curso de formación. De esta forma sepudieron obtener conclusiones sobre los efectos comparados del programa entre las personas for-madas en 1992 y 1994, así como de ambos grupos en comparación al grupo de control, mediantela aplicación de herramientas estadísticas como el análisis de regresión. Estas conclusiones pusie-ron de manifiesto la existencia de un nivel de empleo similar entre los grupos de 1992 y 1994, asícomo una diferencia significativa de ambas respecto al grupo de control.22. Por ejemplo, la evaluación de los efectos generados por el FSE a nivel nacional o por los pro-gramas desarrollados en el marco de un Objetivo comunitario concreto.

23. Variables cuyo valor se determina fuera del modelo.24. Variables cuyo valor es determinado por el modelo.25. Una experiencia concreta de aplicación de esta técnica, fue la evaluación del ProgramaOperativo correspondiente al Objetivo 1 en Italia. En este caso, se utilizó la matriz conocida comoSAM (Social Accounting Matrix) que permite integrar los multiplicadores keynesianos dentro dela tabla input-output.

53

Por su parte, las técnicas de los multiplicadores y los coeficientesresultan particularmente útiles para poner en relación los nivelesmicro y los niveles macro dentro del proceso de evaluación. Dada susencillez se aplican en la evaluación de programas de gran y peque-ña dimensión. Tanto los multiplicadores como los coeficientes sonvalores provenientes de análisis realizados con anterioridad, decarácter macroeconómico los primeros, o del estudio de casos ymonográficos los segundos. Estos valores quedan estandarizados enforma de coeficientes o de multiplicadores y aplicados en la evalua-ción de nuevas intervenciones y programas.

En cualquier caso, hay que tener en cuenta las limitaciones pro-pias a cualquier modelización por lo que estas tienen de simplifica-ción de la realidad.

Por último, conviene subrayar que la metodología debe ser flexibley adaptada a las particularidades espaciales, funcionales y/o tempora-les existentes lo que lleva a priorizar el uso de metodologías eclécti-cas y combinadas que permitan plantear de modo explícito los resul-tados, tendencias, limitaciones y virtudes de las intervenciones.

La metodología debeser flexible y adaptadaa las particularidadesespaciales, funcionalesy/o temporalesexistentes

3. Programa MEANSIdentificación y medición de

efectos estructurales

3. Programa MEANSIdentificación y medición de

efectos estructurales

Las intervenciones comunitarias de carácter estructural vienenimplementadas con el fin de que produzcan una serie de efectosbeneficiosos, de mayor o menor calado en las estructuras socioe-

conómicas, que perduren en el tiempo una vez finalizadas las mismas.

A continuación se ofrecen algunas consideraciones metodológicasprovenientes de los trabajos realizados en el marco del ProgramaMEANS 26 para proceder a la identificación de los efectos estructu-rales y, más concretamente, a la evaluación de su contribución a lageneración de empleo.

3.1. IDENTIFICACIÓN DE EFECTOS ESTRUC-TURALES Y SU MEDICIÓN. DIFICULTADES,LIMITACIONES Y RECOMENDACIONES.

El término “efecto” resulta, prácticamente, sinónimo del término“impacto”. Sin embargo, la identificación de efectos pone un mayorénfasis en la relación de causalidad. De forma que, tal y como semuestra en el siguiente esquema para el caso de una intervenciónconsistente en una serie de acciones de formación, los efectos estruc-turales producidos por los programas comunitarios constituyen elúltimo eslabón de la cadena formada por los recursos, las realizacio-nes o outputs y los resultados.

Los efectosestructuralesproducidos por losprogramascomunitariosconstituyen el últimoeslabón de la cadenaformada por losrecursos, lasrealizaciones o outputsy los resultados

55

Figura 9CADENA RECURSOS-OUTPUTS-RESULTADOS

Recursos Outputs Resultados

Efectosestructurales

Cohesióneconómica

y social

Personas que han concluido

con éxitola formación

Oferta decursos deformación

Asignaciónpresupuestaria

Los recursos hacen principalmente referencia a los recursos finan-

cieros disponibles. Los outputs a lo que los operadores (autoridades o

instancias que implementan el programa) producen directamente y

ofrecen a los beneficiarios. Los resultados entendidos como los cam-

26. Las consideraciones que aparecen a continuación proceden de las aportaciones realizadas enel marco del Programa MEANS y, más concretamente, de los manuales:

• Nº 2. Identifying the Structuring Effects of Community Interventions(1995)• Nº 3. Measuring the Employment Effects of Community Structural Interventions (1995)• Nº 6. Evaluating the Contribution of the Structural Funds to Employment

56

bios que se generan, por ejemplo, en el comportamiento de los bene-

ficiarios, pueden calificarse como impactos inmediatos. Por último,

el término efecto se aplica a cualquier cambio ulterior (no inmedia-

to) o de carácter indirecto al que se califica como “impacto interme-

dio” o “impacto global”.

En la Figura 10 se presenta el esquema lógico ilustrativo de los meca-

nismos mediante los que, desde diversos ejes de intervención (recursos

humanos, estructuras productivas e infraestructura básica), se alcanza el

objetivo final de incrementar la cohesión económica y social.

Una cuestión esidentificarteóricamente la cadenade relaciones que va dela inversión al impactoy otra llegar aconcretizarla en unproceso de evaluación.La práctica muestra laexistencia una serie dedificultades ylimitacionesmetodológicas paraefectuar este tipo deanálisis

Figura 10EFECTOS ESTRUCTURALES

Factores de desarrolloa corto plazo

Factores de desarrolloa largo plazo

Incrementode los ingresos

Cohesión económicay social

Inversión enRecursos Humanos

Inversión eninfraestructuras productivas

Inversión eninfraestructuras básicas

Desarrolloendógeno

Desarrolloexógeno

Reduccióndel desempleo

Mejora delas condiciones de vida

3.1.1. Dificultades y limitaciones

Una cuestión es identificar teóricamente la cadena de relacionesque va de la inversión al impacto y otra llegar a concretizarla en unproceso de evaluación. La práctica muestra la existencia una serie dedificultades y limitaciones metodológicas para efectuar este tipo deanálisis, por ejemplo:

• ¿Cómo definir la situación de partida e identificar los efectosproducidos por el programa cuando se carece de la informacióny registros necesarios?

• ¿Cómo aislar los efectos netos producidos por el programa?

• ¿Cómo evaluar lo que hubiera sucedido de no existir el programa?

• ¿Cómo distinguir los efectos estructurales atribuibles a las polí-ticas comunitarias y los que producen otro tipo de políticas enel contexto socioeconómico?

Por tanto, conviene tener presente este tipo de limitaciones para noincurrir en falsas expectativas. En este sentido, resulta necesario efec-tuar algunas precisiones relativas a los diversos tipos de relaciones decausalidad identificables que vienen a despejar algunos de los obstá-culos con que suelen tropezar las prácticas evaluativas:

• Relaciones de causalidad lineales: resulta factible su identifica-ción y análisis siempre que se esté dispuesto a asumir el coste de lle-var a cabo una evaluación en profundidad.

• Relaciones de causalidad circulares: estas relaciones resultandifíciles de establecer con rigor, al no poder identificar claramentecual es la causa y cual la consecuencia de un efecto observado.

• Relaciones de causalidad estructuradas de forma reflexiva: ensistemas en los que existen multitud de factores interactuando resultamuy complejo detectar relaciones de causalidad. Sin embargo, en sis-temas estables, pueden aislarse (mediante análisis de correlación)variables explicativas que van a poder ser utilizadas para la predicciónfutura del comportamiento de otra serie de variables27.

• Relaciones de causalidad irreversibles: los sistemas estables permi-ten la identificación de determinadas relaciones causa-efecto pero sólohasta el momento en que dejan de ser estables. El problema es que no puedepredecirse cuando dejarán de serlo. En este orden de cosas, resulta espe-cialmente intrincado evaluar el impacto producido a nivel micro en organi-zaciones que se desenvuelven en mercados altamente competitivos y, portanto, caracterizados por su comportamiento errático e impredecible.

3.1.2. Recomendaciones para la evaluación de efectosestructurales

Cuando los evaluadores tienen serias dificultades para evaluar losefectos estructurales, cabe trasladar esta valoración bien a los benefi-ciarios, bien a los destinatarios de la evaluación, de forma que seanlos propios beneficiarios y destinatarios quienes respondan a estascuestiones, encargándose el equipo evaluador de recoger y sintetizarlas opiniones vertidas por aquellos28.

Cuando losevaluadores tienenserias dificultades paraevaluar los efectosestructurales, cabetrasladar estavaloración bien a losbeneficiarios, bien a losdestinatarios de laevaluación, de formaque sean los propiosbeneficiarios ydestinatarios quienesrespondan a estascuestiones

57

27. Un ejemplo de ello fue el comportamiento de la economía irlandesa cuando, al ser evaluado suPrograma Operativo, mostró un perfil de comportamiento a partir del cual se pudo comprobar (estu-diando los últimos veinte años) que la competitividad ( medida en términos de cuota de mercado) dela economía irlandesa estaba correlacionada positivamente con el nivel competitivo de sus costes.

28. Sin embargo, hay que tener en cuenta que en contextos caracterizados por la incapacidad paraformular ciertas predicciones e identificar relaciones causa-efecto, estas opiniones pueden incluirvaloraciones erráticas o poco fidedignas.

58

En estos casos, partiendo de que, como se afirmaba al comienzo deeste capítulo, el objetivo final de las políticas y los FondosEstructurales consiste en producir efectos positivos en las estructurassocioeconómicas y su permanencia en el tiempo, la evaluación deberácentrarse en juzgar si el programa satisface una serie de factores críti-cos de sostenibilidad predefinidos Por tanto, los evaluadores puedenllegar a obviar la tarea de identificar cuales son los efectos estructura-les que genera el programa, así como sus relaciones de causalidad, cen-trándose en valorar los efectos positivos y negativos y su permanenciaen el tiempo mediante aproximaciones y filtros sucesivos.

3.2. EVALUACIÓN DE EFECTOS SOBRE EL EMPLEO.A continuación se aborda la evaluación de los efectos genera-

dos por los Fondos Estructurales en relación con el empleo, dadoque se trata de un objetivo central de la política comunitaria. Laevaluación de los efectos generados en términos de empleo resul-ta especialmente relevante por dos motivos fundamentales: lanecesidad de proveer de información detallada a los responsablesde la gestión de programas y la necesidad de contabilizar elimpacto global de las políticas financiadas con el fin de suminis-trar información a los decisores para juzgar si resultan pertinenteso conviene modificarlas, superando el mero contraste entre obje-tivos y resultados obtenidos.

En primer término se presenta la variedad o formas diferentes demedir los efectos sobre el empleo y, en segundo lugar, se incluye unaserie de consideraciones metodológicas sobre la evaluación de dichosefectos.

3.2.1. Medición de efectos sobre el empleo

Existen diversas formas de categorizar los efectos producidossobre el empleo. Así, por ejemplo, se puede analizar la forma en quelas intervenciones de carácter estructural producen efectos sobre elempleo atendiendo a:

• El empleo generado en términos sectoriales, por ramas de acti-vidad, en determinadas zonas y/o colectivos.

• El empleo generado como consecuencia directa de las interven-ciones. Por ejemplo, el generado por las empresas creadas en elmarco de la intervención o los incrementos del volumen de empleologrados a través de las ayudas o la financiación ofrecida.

• El empleo generado como consecuencia indirecta de las inter-venciones que pueden tener o no un objetivo inmediato de creación

La evaluación de losefectos generados entérminos de empleoresulta especialmenterelevante por dosmotivosfundamentales: lanecesidad de proveerde informacióndetallada a losresponsables de lagestión de programasy la necesidad decontabilizar el impactoglobal de las políticasfinanciadas con el finde suministrarinformación a losdecisores para juzgar siresultan pertinentes

de empleo, provisión de nuevas demandas de bienes y servicios atri-buibles al programa, incremento de la eficiencia del tejido producti-vo de la economía local, etc.

• El empleo generado como respuesta al incremento de la deman-da producido por el aumento de los ingresos que ha generado la inter-vención (efecto multiplicador del ingreso).

• En determinadas circunstancias, las intervenciones pueden pro-ducir efectos macroeconómicos incluso pueden ralentizar el creci-miento, causando efectos negativos sobre el empleo que no estabanprevistos en el momento de la programación.

Las intervenciones cofinanciadas por los Fondos Estructurales nosolamente producen efectos diversos sobre el empleo sino que tam-bién la tipología del empleo generado resulta diferente. A la hora deevaluar un programa o intervención, conviene no limitarse a realizarun recuento del número de empleos creados sino tener en cuenta tam-bién su tipología distinguiendo:

• El empleo estable del empleo temporal. La práctica muestra quebuena parte del empleo generado por las intervenciones no permane-ce en el medio plazo. Por tanto, convendría utilizar unidades de medi-da apropiadas: tasas de mortalidad y supervivencia periodificadas,“años de empleo” creados, etc.

• Las modalidades de contratación ya que éstas pueden ser atiempo completo, a tiempo parcial, etc. Resulta, pues, de interéstener en cuenta una magnitud que “traduzca” el empleo a tiempoparcial en unidades equivalentes a tiempo completo. Por ejemplo,un empleo a media jornada se podría medir como 0,5 empleos atiempo completo.

• La creación de empleo o el mantenimiento de los existentes: con-siderando los empleos mantenidos o conservados por la intervención,es decir aquellos que se hubieran destruido en ausencia de la mismay/o que se transforman en empleo viable29.

3.2.2. Identificación de lo que se quiere medir

Atendiendo a los aspectos señalados y con carácter previo a la eva-luación es necesario proceder a la clarificación de los objetivos arti-culados en el programa: objetivos globales e intermedios, que ven-drán esquematizados en un “árbol de objetivos” tal y como se recoge,a modo de ejemplo, en el siguiente esquema.

Las intervencionescofinanciadas por losFondos Estructuralesno solamenteproducen efectosdiversos sobre elempleo sino quetambién la tipologíadel empleo generadoresulta diferente. Portanto. a la hora deevaluar un programa ointervención, convieneno limitarse a realizarun recuento delnúmero de empleoscreados sino tener encuenta también sutipología

59

29. Esta distinción resulta especialmente pertinente en el caso de las intervenciones que pretendenmantener los niveles de empleo existente mediante la recualificación de los/las trabajadores/as yla transformación técnica y organizacional de las empresas.

60

Se trata de aislar losefectos sobre elempleo atribuibles ala intervención o alprograma objeto deevaluación

Figura 11OBJETIVOS GLOBALES E INTERMEDIOS

Fomentodel empleo

Aumentar la cualificaciónde los jóvenes

Otros

Restaurar la empleabilidad enlos parados de larga duración

Otros

Apoyar los proyectos dedesarrollo de las PYME

Atraer inversionesextranjeras

Desarrollar elsector terciario

Inserciónlaboral

Incremento de lasoportunidades de empleo

Objetivos globales Objetivos intermedios

Un esquema como el presentado permite, en primer lugar, clarifi-car los objetivos así como las relaciones establecidas entre los mis-mos (su jerarquía); visualizar la coherencia interna del programa,tanto vertical (entre objetivos de diferente nivel) como horizontal(entre objetivos de diferentes componentes del programa); así comoapreciar la coherencia externa del programa en relación a otras polí-ticas económicas y sociales.

En este orden de cosas, se trata de aislar los efectos sobre el empleoatribuibles a la intervención o al programa objeto de evaluación.Mediante la evaluación debe llegarse a identificar los efectos netos sobreel empleo, entendidos de la forma siguiente:

Efectos Netos = Efectos Brutos - Pesos Muertos - DesplazamientosEl término “Peso Muerto” corresponde a aquellos efectos que

habrían existido igualmente en ausencia del programa y, por tanto, nopueden ser atribuidos al mismo 30.

Del mismo modo, puesto que las intervenciones de naturalezaestructural se dirigen a colectivos específicos (grupos objetivos) yáreas geográficas determinadas, deben detectarse dos tipos de efectos:

• Efecto sustitución: se produce cuando, debido a una interven-ción, se crea empleo entre individuos que, en principio, no eran ele-

30. Para su cálculo es necesario elaborar escenarios de contraste (counterfactual situation)mediante la proyección de las variables clave que definirían dicha situación si la intervención nose hubiera producido.

gibles como beneficiarios de dicha intervención y que, de todas for-mas, hubieran encontrado empleo aún en ausencia de la misma.

• Efecto desplazamiento: se produce cuando una intervenciónincrementa la actividad económica y el empleo en una zona a expen-sas de la actividad económica y el empleo de otra.

Por último, conviene tener bien presente qué es lo que se pre-tende evaluar. Aunque se evalúen los efectos sobre el empleo deuna forma meticulosa, no puede considerarse que el desempleovaya a disminuir en la misma proporción en que se ha incrementa-do la ocupación. Así, el incremento de la tasa de actividad debidoal carácter más atractivo que puede tener el mercado de trabajopara segmentos de población que permanecen inactivos o parainmigrantes potenciales, estaría impidiendo una visualización delos efectos en algunos indicadores.

3.2.3. Indicadores para la evaluación de efectos sobre elempleo

Los indicadores pueden agruparse en función de la fase deimplementación lo que lleva a considerar: indicadores de recursos,indicadores de outputs, indicadores de resultados e indicadores deimpacto. Los indicadores para la evaluación de los efectos sobre elempleo se sitúan al nivel de los resultados y de los impactos. Así,por ejemplo, los indicadores correspondientes a los principalesejes de intervención estructural cabe formularlos de la siguientemanera:

Los indicadores para laevaluación de losefectos sobre elempleo puedenagruparse en funciónde la fase deimplementación lo quelleva a considerar:indicadores derecursos, indicadoresde outputs, indicadoresde resultados eindicadores de impacto

61

Tipo deindicadores

Resultados

Impacto

Infraestructuras básicas

Empleo generado directa-mente por la construcciónde infraestructuras

Empleo creado y manteni-do debido al incrementode la actividad económicaatribuida a las nuevasinfraestructuras

Infraestructurasproductivas

Empleo generado por lasnuevas empresas instala-das en el territorio, así co-mo por los incentivos direc-tos al empleo

Empleo creado o manteni-do por el aumento de lacompetitividad de las em-presas benef ic iar ias

Recursos Humanos

Empleo creado por losnuevos emprendedoresapoyados por el programa

Empleo creado debido a lareadaptación/mejora de lascualificaciones de los be-neficiarios

En general, los programas cofinanciados por los FondosEstructurales se caracterizan por presentar un elevado número de obje-tivos y de componentes por programa (expresados en términos demedidas, submedidas y acciones), no resultando siempre posible lainclusión de indicadores vinculados a todos los componentes y a todos

62

los niveles. En estos casos, es necesario proceder a realizar una selec-ción de los indicadores clave o aspectos esenciales del programa quese ajusten a las necesidades de información de los gestores y de losresponsables del programa y que puedan elaborarse a un coste razo-nable.

Si se quiere disponer de un sistema de indicadores sobre el empleoque permita un análisis en profundidad del mismo, será necesario dise-ñar un sistema que recoja el volumen de empleo generado y las caracte-rísticas del mismo dado que, como ha quedado precedentemente seña-lado, no todos los empleos creados tienen la misma relevancia. Por ello,el sistema de indicadores debería reflejar, entre otros, los siguientesaspectos:

• El nivel de cualificación requerido por el empleo ocupado.

• El tipo de contrato establecido (temporal o fijo, a tiempo com-pleto o parcial, etc.).

• La remuneración salarial.

• El perfil económico y social de los beneficiarios.

• El itinerario profesional seguido por los beneficiarios.

También puede ser conveniente incluir indicadores que permitan elanálisis de otros factores externos al programa y que están influyendoen la creación de empleo. Por último, conviene tener presente ladimensión temporal de los indicadores debido al plazo que transcurreentre la adopción de una medida y sus efectos sobre el empleo 31.

Una vez recogida la información y construidos los indicadores,se procederá al análisis e interpretación de los mismos.

Si se quiere disponerde un sistema deindicadores sobre elempleo que permita unanálisis enprofundidad delmismo, será necesariodiseñar un sistema querecoja el volumen deempleo generado y lascaracterísticas delmismo

31. Por ejemplo, en la evaluación de los efectos sobre el empleo de acciones formativas destina-das al reciclaje profesional (resultados) con el fin de mantener la empleabilidad de los/las bene-ficiarios/as (impacto), el resultado podría medirse después de transcurridos cierto número demeses desde la conclusión del curso, mientras que el impacto en términos de empleo, deberá sermedido dos y tres años después de la finalización del período formativo.

4. Prácticas de evaluación

4. Prácticas de evaluación

C omo se ha venido señalando en anteriores capítulos, noexiste un modelo único de evaluación. En el Anexo se pre-sentan de forma sintética tres modelos teóricos que han

tenido una especial incidencia en las prácticas evaluativas: elmodelo CIPP (Contexto, Input, Proceso y Producto), uno de losmás completos y encuadrado dentro de la orientación para la tomade decisiones; el modelo de evaluación respondente, centrado enel cliente; y el modelo innovativo, vinculado a la evaluación deprogramas sociales y, más concretamente, al ámbito educativo. Ala diversidad de enfoques teóricos conviene añadir el margen devariabilidad derivada de la diversidad de situaciones concretas conlas que se enfrentan las prácticas evaluativas. Esta diversidad haceaconsejable la combinación de enfoques teóricos y el mestizajemetodológico con el fin de facilitar el acercamiento a realidadesmúltiples y la obtención de resultados lo más útiles y certerosposibles.

El presente capítulo se dedica, en primer término, a presentar uncaso práctico de configuración del proceso de evaluación apoyado enlos planos de observación principales que establece el modelo CIPP.Le siguen una serie de ejemplos que han sido considerados comobuenas prácticas en el marco del programa europeo MEANS: la des-tacada labor exploratoria y de análisis realizada por los expertosencargados del citado programa justifica la inclusión de estos ejem-plos los cuales, por otro lado, permiten dar una idea del momento enque se encuentra las buenas prácticas y el camino que abren parafuturos procesos evaluativos.

4.1. EVALUACIÓN INTERMEDIA DE PROGRAMASCOFINANCIADOS POR EL FSE

El modelo CIPP –Contexto, Input, Proceso, Producto– (verAnexo) facilita la configuración del proceso de evaluación y superalos planteamientos propios de las metodologías evaluativas denomi-nadas “preordenadas” (contraste entre objetivos y logros) para des-plazar el interés último hacia los efectos de las intervenciones y latoma de decisiones.

Este modelo estructura la evaluación en torno a cuatro dimensionesfundamentales del programa, articulando las diversas variables e indica-dores en función de las mismas.

A la diversidad deenfoques teóricosconviene añadir elmargen de variabilidadderivada de ladiversidad desituaciones concretascon las que seenfrentan las prácticasevaluativas. Estadiversidad haceaconsejable lacombinación deenfoques teóricos y elmestizajemetodológico

64

65

El análisis del contextopondrá el acento en elexamen evolutivo del

tejido socioeconómico ylaboral y no tanto en su

caracterización

La caracterización de lasituación de partida y

de las diferentes líneasde intervención

programadas

Figura 12MODELO CIPP

CONTEXTO

PRODUCTO

I M P U T PROCESO

A continuación se realiza una aproximación de los aspectos más

relevantes a evaluar en cada dimensión, así como algunas variables e

indicadores por criterio de evaluación que serían relevantes a la hora

de evaluar un programa cofinanciado por el FSE cuyo objetivo bási-

co consiste en lograr la inserción laboral de diversos colectivos des-

favorecidos: parados de larga duración, jóvenes sin cualificación,

minorías étnicas, etc.

• El Contexto: Evolución del escenario de desarrollo de las

Acciones F.S.E.

Análisis del tejido socioeconómico y laboral en el que se sitúan las

intervenciones. Siguiendo las recomendaciones metodológicas esta-

blecidas, el análisis del Contexto pondrá el acento en el examen evo-

lutivo más que en su caracterización.

• Evolución global y sectorial de la economía nacional/regio-

nal/local. Indicadores socioeconómicos.

• Mercado de trabajo y evolución de los indicadores sociolaborales.

• Estrategias, políticas y recursos nacionales/regionales/locales

en materia de promoción del empleo y formación de recursos

humanos.

• Otras políticas de acompañamiento: PYMEs, Garantía Social,

Tercer Sistema, I+D, etc.

• El Input: Situación de partida

Caracterización del conjunto de planteamientos y recursos que a

partir de un soporte regulador, legislativo y de planeamiento, integra

instalaciones y dotaciones físicas con equipos humanos y servicios

poniendo en marcha diferentes líneas de intervención para la ejecu-

ción del programa.

• Objetivos finales.

• Objetivos instrumentales.

• Cuantificación de resultados previstos.

• Estrategias adoptadas para alcanzar los objetivos.

• Recursos asignados: financieros, materiales, técnicos, etc.

• Intervenciones realizadas: estimación de resultados por objeti-vos, acciones y medidas.

• Recursos aplicados: financieros, materiales, humanos, etc.

• Ajustes, reprogramaciones y grado de ejecución financiera.

• Procesos de gestión.

• Participación y seguimiento.

• Adicionalidades registradas.

• El proceso: Enfoque sistémico de la interacción de múltiples actores

Interacción de las estructuras que soportan a los distintos gestoresy ejecutores y las funciones por ellos desarrolladas. Interacción quegenera todo un sistema relacional –clima– en el que se integran inte-reses, valores, culturas, roles que es necesario armonizar, consensuary hacer congruentes para el buen fin del proyecto.

Su desarrollo se vincula al estudio de los efectos institucionalesque pretende salvar la brecha entre el registro estadístico de resulta-dos y la realidad de la actuación. Su análisis se vinculará a interven-ciones esencialmente cualitativas y participativas.

• Grado de compromiso ante el programa.

• Nivel de conflicto.

• Replanteamientos competenciales.

• Clima.

• El producto: Logros alcanzados

Consecuencias en términos de logros alcanzados, productos ela-borados, sistemas articulados, aprendizajes y desarrollos en relacióna los objetivos fijados. Los beneficiarios del Programa son protago-nistas y usuarios; y los distintos ejecutores, consultores, etc. son pro-veedores y/o gestores del sistema.

El sistema de indicadores puede configurase en términos deCobertura, Eficacia, Eficiencia y Pertinencia. A título indicativo,cabe mencionar algunos posibles indicadores:

Análisis del procesocomo enfoquesistémico de lainteracción entremúltiples actores

Caracterización de loslogros alcanzados ensentido amplio yatendiendo a unamultiplicidad decriterios e indicadores

66

67

• Eficacia: Definida como el grado en el que se alcanzan los objeti-

vos programados para un período determinado. Este criterio ha de

aplicarse sobre todos los niveles del proyecto.

Así, en relación con el proceso de ejecución del programa en suintegridad se podrían identificar diversas variables a analizar comolas siguientes:

• Grado de cumplimiento financiero.

• Ajuste temporal de intervenciones.

• Fluidez en la gestión: verificación de la existencia de inciden-cias, desfases, interrupciones, etc.

• Relación entre recursos humanos/materiales/financieros yusuarios.

• Consolidación de estructuras: técnicas, metodológicas, buro-cráticas, organizativas.

• Consolidación de infraestructuras: espacios, instalaciones,recursos financieros.

• Análisis de congruencia entre previsión, reprogramación y eje-cución.

Por su parte, en lo que concierne a los resultados, efectos e impac-tos generados sobre los beneficiarios pueden estructurarse los indi-cadores según los objetivos del programa. Por ejemplo, atendiendo alos objetivos que, en términos generales, establece el Reglamento delF.S.E. en el ámbito de la inserción y resinserción ocupacional de des-empleados (eje prioritario 4) en su objetivo primero 32:

• Indicadores de resultado:

• Formación profesional: alumnos formados, número de cursos yhoras impartidas.

• Formación previa: alumnos formados, formadores, etc.

• Orientación, asesoramiento y acompañamiento a la inserción:acciones realizadas, horas y beneficiarios atendidos.

• Ayudas al empleo (apoyo a la creación de empleo, apoyo a lacontratación indefinida, contratos de interés social…): ayudaslibradas, plazo de entrega de las ayudas, contratos efectuados,número de beneficiarios, número de proyectos.

• Estructuras de formación, empleo y apoyo a la inserción: accio-nes de formación de los equipos humanos necesarios para su

El sistema deindicadores puedeconfigurase entérminos de Cobertura,Eficacia, Eficiencia yPertinencia

32. Que pretende “facilitar la inserción profesional de los parados amenazados por una situaciónde desempleo de larga duración...”

funcionamiento así como la consolidación de espacios, de méto-dos, de instrumentos técnicos y servicios.

• Tasa de aprovechamiento: porcentaje de beneficiarios que hanfinalizado la acción o servicio.

• Tasa de deserción: porcentaje de beneficiarios que abandonanla acción o servicio, con indicación expresa de motivos.

• ...

• Indicadores de impacto:

• Inserción profesional: permanencia sostenida en la ocupacióndurante un período no inferior a tres años.

• Indicadores de efecto:

• Inserción profesional: tasa de ocupación.

• Tiempo invertido en la búsqueda de empleo.

• Definición específica de un objetivo profesional.

• Adquisición de cualificación profesional.

• Tasa de permanencia en la ocupación de los beneficiarios.

• Tasa de permanencia de establecimientos empresariales creados.

• Tasa de crecimiento de las inversiones.

• Tasa de incremento del nivel de renta.

• Grado de dependencia de la ayuda social.

• Calidad percibida y grado de satisfacción de los beneficiarios.

• Eficiencia: Puede definirse como la relación entre el logro de los

objetivos y los recursos invertidos en su consecución.

• Coste de las acciones.

• Coste por curso, alumno y hora de formación.

• Coste por beneficiario..

• Coste por beneficiario que ha accedido a la ocupación.

• Coste por medida y población objetivo (gasto en la medida/po-blación objetivo total).

• Cobertura: Proporción entre la población total que tiene la necesi-

dad de dicho programa y la que se beneficia del mismo.

• Tasa de Prevalencia..

• Tasa de Cobertura..

• Grado de Especificidad del Programa..

• Tasa de Eficacia de la Cobertura..

En lo que concierne alos resultados, efectose impactos generadossobre los beneficiarios,los indicadores puedenestructurarse según losobjetivos específicosdel programa

68

69

• Pertinencia: La evaluación de la pertinencia requiere de un análi-

sis en profundidad de carácter básicamente cualitativo para el que

habrá de tenerse en cuenta la diversa información generada a tra-

vés del resto de criterios. La pertinencia se vinculará a la satisfac-

ción de las necesidades de los colectivos de particular interés,

tales como:

• Parados mayores de 45 años.

• Parados de muy larga duración: > 2 años desempleados.

• Mujeres jóvenes (<25 años) sin certificado de estudios pri-marios.

• Mujeres con cargas familiares que intentan reincorporarse almercado de trabajo.

• Jóvenes sin certificado de estudios primarios.

• Minorías étnicas e inmigrantes.

• Minusválidos.

• Extoxicómanos y exreclusos.

4.2. EJEMPLOS DE BUENAS PRÁCTICAS Se presenta de forma sintética una serie de prácticas que han sido

calificadas como ejemplares entre la multiplicidad de evaluaciones

examinadas por el Programa MEANS. Con este pequeño mosaico se

pretende dar a conocer el enfoque adoptado y los aprendizajes obte-

nidos. Junto al conjunto de cuestiones que se han venido señalando

a lo largo del presente Cuaderno de Trabajo, estos ejemplos preten-

den contribuir a ampliar la cultura evaluativa.

4.2.1. UNA ESTRATEGIA DE AUTOEVALUACIÓN:OSTROBOTHNIAN DEL SUR. FINLANDIA

ANTECEDENTES

La provincia de Ostrobothnian del Sur, situada al oeste deFinlandia, es una región eminentemente rural con una reducida pre-sencia de la industria. En los 27 municipios que conforman la pro-vincia residen 200.000 personas. Todo el territorio provincial estácalificado como Zona de Objetivo 5b).

En 1994 se aprobó el Plan Regional de Desarrollo por parte de lasautoridades estatales y regionales y, en 1995, fue reconocido por laUnión Europea para su cofinanciación a través de los FondosEstructurales. En su elaboración participaron una gran diversidad de

La evaluación de lapertinencia requiere deun análisis enprofundidad decarácter básicamentecualitativo para el quehabrá de tenerse encuenta la diversainformación generada através del resto decriterios. La pertinenciase vinculará a lasatisfacción de lasnecesidades de loscolectivos de particularinterés

actores desde las autoridades regionales y municipales hasta losempresarios y las diversas asociaciones regionales. Los objetivos delmismo eran los siguientes:

• Aumentar el nivel de vida.

• Crear oportunidades de empleo.

• Incrementar la actividad empresarial.

• Mejorar la formación de los recursos humanos.

• Mejorar la calidad de vida y el medio ambiente.

• Desarrollar las infraestructuras regionales.

En 1996 se decide proceder a evaluar el Plan de forma que,simultáneamente, la evaluación contribuyera a su posible modifi-cación y la renovación de sus estrategias, permitiera el lanza-miento de nuevos proyectos y motivara el incremento en el com-promiso de los diversos actores implicados para trabajar de formamás coordinada.

METODOLOGÍA

Para alcanzar los objetivos definidos más arriba, la metodología

que se consideraba como más apropiada consistía en la implementa-

ción de un proceso integral de autoevaluación al que se le asignaron

los siguientes fines principales:

• La puesta al día y la redefinición de las estrategias del Plan

Regional de Desarrollo.

• La promoción de la participación e implicación de los diversos

actores en el desarrollo de la región.

• La promoción de la generación de nuevos proyectos.

Por tanto, la autoevaluación resultó ser una metodología especial-

mente pertinente para lograr fortalecer y mejorar las relaciones de con-

fianza y colaboración entre los diversos actores implicados en el Plan,

fortaleciendo la identidad regional y fomentando la cooperación.

La metodología utilizada consistió en la realización de 3 cursos

diferentes, de 7 días de duración cada uno, a los que asistieron 25

personas representando a los municipios, instituciones educativas,

asociaciones y algunos empresarios. A lo largo de los cursos se rea-

lizaron diversas actividades:

• Exposiciones sobre el Plan Regional de Desarrollo, sus estrate-

gias, objetivos e instrumentos para facilitar el desarrollo de

nuevos proyectos.

La metodología que se

consideraba como más

apropiada consistía en

la implementación de

un proceso integral de

autoevaluación al que

se le asignaron los

siguientes objetivos

principales:

• La puesta al día y la

redefinición de las

estrategias del Plan

Regional de Desarrollo

• La promoción de la

participación e

implicación de los

diversos actores en el

desarrollo de la región• La promoción de lageneración de nuevosproyectos

70

71

• Grupos de trabajo para:

• El diagnóstico de las fortalezas y debilidades regionales.

• La evaluación de la pertinencia del propio Plan Regional

de Desarrollo para lograr resolver los problemas y debili-

dades regionales y aprovechar sus fortalezas.

• Las propuestas de nuevas estrategias y objetivos para

incluir en el nuevo Plan Regional de Desarrollo.

De forma más concreta, los temas tratados se centraron especial-

mente en el análisis de:

• La posición estratégica provincial (DAFO) y las posibles estra-

tegias de desarrollo para el futuro.

• Las ventajas comparativas de la región y su posible implemen-

tación en el marco del Plan Regional de Desarrollo.

• Las posibilidades de potenciar la internacionalización de la

región.

• Las fortalezas y debilidades del propio Plan de Desarrollo

Regional así como la detección de aquellos aspectos a priorizar

en el mismo.

• Las medidas que pueden ser implementadas para promover

entre los diversos actores una mayor involucración respecto al

Plan de Desarrollo Regional que favorezca su implementación.

• Las organizaciones, empresas y actores clave que deben parti-

cipar en los diversos proyectos para garantizar el éxito de los

mismos.

De forma individual, cada participante fue invitado a evaluar qué

elementos o instrumentos del Plan de Desarrollo Regional resultaban

más útiles para su aplicación en el seno de su organización o empre-

sa, así como qué tipo de información necesitarían para proceder a

esta aplicación.

En la última sesión los participantes se concentraron en la pla-

nificación de proyectos concretos en los que estaba implicada la

organización a la que representaban. Del mismo modo, el equipo de

consultores que actuaron como coordinadores y dinamizadores de

las reuniones quedó a disposición de los diversos participantes para

proceder a la realización de consultas durante los meses posteriores

al evento. En total, se analizaron 50 proyectos en diversas fases de

desarrollo, algunos ideados en las propias sesiones, otros en fase de

formulación y planificación y el resto ya implementados.

En la última sesión dela evaluación, losparticipantes seconcentraron en laplanificación de losproyectos concretos enlos que estabaimplicada laorganización a la querepresentaban. Delmismo modo, el equipode consultores queactuaron comocoordinadores ydinamizadores de lasreuniones quedó adisposición de losdiversos participantespara proceder a larealización deconsultas durante losmeses posteriores

APRENDIZAJES

Los resultados del proceso fueron ciertamente positivos:

• Evaluación y reformulación del Plan de Desarrollo Regional.

• Puesta en marcha de nuevos proyectos y perfeccionamiento delos ya existentes.

• Consciencia compartida del diagnóstico regional y de nuevasoportunidades potenciales de desarrollo.

• Reidentificación de nuevas fuentes estratégicas de desarrollo.

• Fortalecimiento de las relaciones entre los actores clave para eldesarrollo regional.

De esta forma el proceso de autoevaluación demostró ser un méto-do sumamente útil para el aprendizaje conjunto, el perfeccionamien-to del Plan, y la identificación de nuevos proyectos y actividades via-bles y pertinentes mediante el establecimiento de relaciones clavebasadas en la confianza, el diagnóstico compartido y el aprendizaje.

Desde el punto de vista metodológico, la experiencia analizadasirvió para identificar una serie de factores clave para el buen fin delproceso evaluativo:

• La necesidad de que la autoridad regional ejerza un liderazgoque impulse el proceso y fomente la participación e involucración delos diversos actores, poniendo a disposición del proceso de evalua-ción los recursos necesarios en términos de personal y financiación.

• Los participantes en el proceso deben estar convencidos de quesu participación, materializada en sus opiniones y propuestas, estásiendo tomada en cuenta y va a servir para cumplir los objetivos ini-cialmente previstos.

• Las reuniones deben durar el tiempo suficiente y debe crearse elclima de participación adecuado.

• Los participantes son un importante recursos para el desarrolloregional una vez terminado el proceso de evaluación, facilitando sucolaboración en el futuro, tanto en el desarrollo del Plan como en eldesarrollo regional.

4.2.2. EVALUACIÓN INTERMEDIA DE LAINICIATIVA COMUNITARIA INTERREG II EN EL

ALTO RHIN: LA IMPLEMENTACIÓN DE UNAMETODOLOGÍA PARTICIPATIVA

ANTECEDENTES

Las iniciativas comunitarias enmarcadas en Interreg II pretendenestimular la cooperación transfronteriza mediante la dinamización

El proceso deautoevaluacióndemostró ser unmétodo sumamenteútil para el aprendizajeconjunto, elperfeccionamiento delPlan, y la identificaciónde nuevos proyectos yactividades viables ypertinentes medianteel establecimiento derelaciones clavebasadas en laconfianza, eldiagnósticocompartido y elaprendizaje

72

73

económica y social de las regiones situadas en las fronteras que sepa-ran a los Estados miembros. Por ello, existe, en cada caso, un pro-grama operativo para cada lado de la frontera que agrupa un conjun-to de objetivos correspondiente a ámbitos diversos (infraestructuras,desarrollo económico, promoción social, etc.), que vienen cofinan-ciados por los diversos Fondos Estructurales en función del carácterque presente cada objetivo (FEDER, FSE,...).

De esta forma, los proyectos agrupados bajo estas iniciativascorresponden a una amplia variedad de ámbitos de actuación (confi-gurados dentro de su programación como ejes de desarrollo) querequieren de una aproximación evaluativa adaptada a cada tipologíay, finalmente, de una evaluación integral de los objetivos del progra-ma que resulta compleja.

En cuanto a la evaluación concreta desarrollada para el AltoRhin, las especificaciones requeridas en los términos de referen-cia de la evaluación se centraban en cuatro aspectos básicos obje-to de evaluación:

• La consistencia de los objetivos en los diversos niveles del pro-grama.

• El logro de los objetivos del programa.

• La eficiencia.

• La eficacia.

El proceso de evaluación se desarrolló entre noviembre de 1996 ymayo de 1997 y, durante todo el proceso, el equipo de evaluación semantuvo en permanente contacto con un grupo de trabajo creado alefecto en el que estaban representados diversos responsables del pro-grama. Conviene subrayar que el equipo de evaluadores, además dedisponer de las competencias suficientes en el ámbito de la evalua-ción, destacaba por su profundo conocimiento de la zona.

Cuando en noviembre de 1996 dio comienzo el proceso de eva-luación el equipo evaluador, de acuerdo con el grupo de trabajo,estableció tres grandes prioridades que orientaran dicho proceso:

• La selección de objetivos del programa en función de su com-plementariedad, consistencia, los grupos a los que van dirigidos y losconflictos potenciales.

• La evaluación y revisión de los procedimientos de ejecución yseguimiento y, en algunos casos, la formulación de nuevos indicadores.

• La identificación de los déficits existentes en la implementacióndel programa en todos los niveles y la formulación de las recomen-daciones pertinentes

Durante todo elproceso, el equipo deevaluación se mantuvoen permanentecontacto con un grupode trabajo creado alefecto en el queestaban representadosdiversos responsablesdel programa.Conviene subrayar queel equipo deevaluadores, ademásde disponer de lascompetenciassuficientes en elámbito de laevaluación, destacabapor su profundoconocimiento de lazona

METODOLOGÍA

Como contrapunto al sistema de programación estructurado de arribahacia abajo o top down, el equipo de evaluadores diseñó un proceso deevaluación de abajo hacia arriba o botton up, estableciendo 17 grupos detrabajo en los diversos niveles de gestión y ejecución del programa.

La metodología diseñada parte del convencimiento de que el eva-luador externo nunca dispone de un conocimiento tan profundo delprograma y de las diversas operaciones que lo componen, como pue-dan disponer las organizaciones y personas implicadas en el mismo.De esta forma, la metodología está presidida por una orientaciónhacia el diálogo y la autoevaluación que resulta especialmente perti-nente en el caso de las evaluaciones intermedias. Esta se puede resu-mir en base a cinco características básicas:

• Evaluación de abajo hacia arriba, en sentido inverso al proce-dimiento de programación.

La metodología estápresidida por unaorientación hacia eldiálogo y laautoevaluación queresulta especialmentepertinente en el casode las evaluacionesintermedias.

74

Figura 13ESTRUCTURA Y SECUENCIA DE LA EVALUACIÓN SISTÉMICA

DESARROLLO METODOLÓGICO

Diseño delcuestionario

Desarrollo dela base de datos

Entrevistasa expertos

14 grupos de trabajosobre proyectos

Análisis detodos los proyectos

Evaluación

Retroalimentación

Evaluación final de todoslos proyectos y

ejes programáticos

5 grupos de trabajosobre ejes

1 grupo de trabajoa nivel de programa

Finalización dela base de datos

Propuestassobre indicadores

INFORME FINAL

75

• Utilización de diversas fuentes de información.

• Involucración activa de una multiplicidad de actores.

• Utilización de procedimientos estandarizados.

• Orientación hacia la autoevaluación y el diálogo.

En el esquema de la Figura 13 se presenta la estructura y lasdiversas fases del proceso de evaluación. Se puede apreciar elimportante papel que tienen en el mismo las técnicas de evaluaciónparticipativa, estableciendo grupos de trabajo en los tres niveles deprogramación: proyecto, eje de desarrollo y programa33. Comoresultaría ineficiente establecer grupos de trabajo para todos losproyectos del programa, se configuró una muestra de 14 para losque se estableció un grupo de trabajo, mientras que, para todos losproyectos, se aplicó un cuestionario como base de generación de lainformación necesaria para la evaluación.

Toda la información generada a lo largo del proceso quedóincluida en una base de datos que se configura como un productode la evaluación adicional al tradicional informe (Ver Figura 13).

APRENDIZAJES

Como resultados del proceso de evaluación se presentaron unaserie de recomendaciones y propuestas de modificación referidasa la casi totalidad de ámbitos que conforman el programa, desde suconcepción, objetivos, programación, seguimiento, procedimien-tos administrativos y financieros, etc.

Se señalan las conclusiones y aprendizajes vinculados de mane-

ra más estrecha con el proceso de evaluación de programas cofi-

nanciados por la U.E. y, en concreto, relativos a Interreg II, que

apunta la necesidad de:

• Superar la concepción de la evaluación como un simple

control que evalúa la correcta implementación del progra-

ma prefijado.

• Que todas las partes implicadas conciban la evaluación como un

Como resultados delproceso de evaluaciónse presentaron unaserie derecomendaciones ypropuestas demodificación referidasa la casi totalidad deámbitos queconforman elprograma, desde suconcepción, objetivos,programación,seguimiento,procedimientosadministrativos yfinancieros, etc.

33. Los grupos de trabajo se configuraron bajo la idea básica de la necesidad de crear un diálo-go entre los diversos actores basado en la mutua confianza. La duración media no sobrepasabalas tres horas y, a nivel de proyecto, los evaluadores establecieron una agenda de diez puntos bási-cos de discusión que permitían una comparación posterior con los resultados de cada proyecto.Por su parte, a nivel de eje, los grupos se centraban en la reflexión en torno a los objetivos de cadaeje y al logro de los mismos mediante los proyectos programados para el mismo, para lo que seincluía la información generada en la evaluación de dichos proyectos. Por último, el grupo de tra-bajo del programa se centró en los objetivos del programa y su cumplimiento mediante los ejesestablecidos, los procedimientos de programación, así como los procedimientos administrativosy financieros del programa.

proceso motivador del aprendizaje que ayude al desarrollo de nue-

vas y más eficaces soluciones en todos los niveles del programa

(proyecto, eje y programa), la modificación y el desarrollo de los

objetivos, y el uso de los fondos en los diversos niveles.

• Configurar un proceso de evaluación orientado por el diálogo,

que promueva la participación y la autoevaluación de los diver-

sos actores implicados.

• Concebir el papel del equipo evaluador como dinamizador del

programa, estimulando y estructurando el diálogo entre los

diversos actores implicados, estableciendo un lenguaje común

que permita este diálogo y la comparación entre los diversos

proyectos que conforman el programa.

4.2.3. EVALUACIÓN DE LA INNOVACIÓN EN LAPRIMERA FASE ADAPT. GRECIA

ANTECEDENTES

En este caso la experiencia desarrollada corresponde a la evalua-ción de la primera fase de la iniciativa comunitaria ADAPT enGrecia. La iniciativa ADAPT pretende adaptar la mano de obra a loscambios producidos en la industria.

La puesta en marcha y ejecución de la iniciativa atiende a tresfases fundamentales:

• Fase 1: Formulación de la estrategia del Programa Operativo.

• Fase 2: Selección de los proyectos conforme a los criterios esta-blecidos.

• Fase 3: Implementación de los proyectos y acciones que losconforman.

METODOLOGÍA

Fases de la evaluación

Esta evaluación se ha desarrollado en dos fases diferenciadas porel enfoque y la metodología adoptada en cada una de ellas.

La primera fase destinada a generar una descripción completa de losdiversos aspectos que caracterizan la implementación del ProgramaOperativo, de los proyectos que lo conforman y de su grado de ejecu-ción, todo ello a partir de un seguimiento completo de dichos proyectos.

La segunda fase incluía el desarrollo de 22 estudios de casomediante los que se generó información cualitativa, se verificó los

El sistema deevaluación seestructura en dosniveles básicos deanálisis. El primer nivelcorresponde alfuncionamientointerno del ProgramaOperativo, mientrasque el segundo nivel secentra en la evaluacióndel contexto o entornoen el que seimplementa elPrograma Operativo

76

77

resultados de la primera fase y analizaron en profundidad los facto-

res que resultaban críticos para el éxito del Programa Operativo y el

cumplimiento de los objetivos de la iniciativa ADAPT.

Niveles de evaluación

En lo que respecta al sistema de evaluación, éste se estructura en dos

niveles básicos de análisis. El primer nivel corresponde al funciona-

miento interno del Programa Operativo, mientras que el segundo nivel

se centra en la evaluación del contexto o entorno en el que se imple-

menta el Programa Operativo. En el esquema de la Figura 14 se mues-

tra el contenido de la evaluación en cada uno de los dos niveles.

La evaluación del primer nivel estuvo presidida por los criterios de

coherencia y consistencia. En el marco de este proceso de evaluación

cada uno de estos criterios venía definido de la siguiente manera:

Figura 14ESTRUCTURA CONCEPTUAL Y CRITERIOS DE EVALUACIÓN

FUNCIONAMIENTO INTERNO

Cumplimiento de los objeti-vos estratégicos de la inicia-tiva ADAPT

C O N S I S T E N C I AC O H E R E N C I A

Grado de integración en laplanificación

Consistencia de la articulacióndel Programa respecto a laestructura del ADAPT

Eficiencia Operacional:• progreso en la implantación• funcionamiento del sistema

de partenariadoEficiencia económicaEficacia en la gestión y segui-miento del programa

ENTORNO DE LA IMPLEMENTACIÓN DEL PROGRAMA

Integración de las políti-cas del mercado de traba-jo nacionales y de la U.E.

B E N E F I C I O S / R E S U L T A D O SS I N E R G I A

Complementariedad conotros programas Comu-nitarios.

Utilización de los productosintermedios y finales gene-rados por el programa

Valor añadidoEfecto multiplicador

POLÍTICAS USUARIOS

1e

r

Ni

ve

l2

º

Ni

ve

l

• La coherencia se ha definido como el grado en el que los resul-

tados alcanzados y los mecanismos y procedimientos operativos apli-

cados para la ejecución del Programa Operativo se corresponden con

los objetivos estratégicos de la iniciativa ADAPT.

• La consistencia del Programa Operativo refleja la eficiencia ope-

racional y comprende:

• El grado de ejecución alcanzado a nivel de proyecto (ter-

cer nivel).

• El nivel de participación e involucración de los diversos

actores.

• La eficiencia de los resultados generados por los proyectos.

• La eficiencia en los mecanismos de gestión y administra-

ción a nivel nacional.

El segundo nivel de evaluación corresponde al contexto o entorno

de la implementación del Programa Operativo y comprende dos

ámbitos diferenciados, el relativo al marco político y las consiguien-

tes sinergias que se pueden generar con el Programa Operativo y el

de la interacción del Programa Operativo con los usuarios (la utiliza-

ción que de los productos generados hacen los usuarios y el valor

añadido para los mismos).

EVALUACIÓN TEMÁTICA DE LA INNOVACIÓN EN

EL MARCO DE LA EVALUACIÓN DE ADAPT

Según el diseño de la evaluación presentado, se procede a ofrecer,

a modo de ejemplo, la aplicación práctica de la evaluación de uno de

los dos niveles señalados. Así, dentro del primer nivel (funciona-

miento interno) se analiza en particular el grado en el que, con la

implementación del Programa Operativo, se estaba incrementado el

nivel de innovación en el tejido empresarial de forma:

• Coherente con los objetivos estratégicos de ADAPT34.

• Consistente con la articulación de los proyectos que conforman

el Programa Operativo.

En el marco de ADAPT la innovación se define como un pro-

ceso evolutivo vinculado al cambio industrial. Este proceso se

concreta mediante el concepto de “Capacidades innovadoras” y

se evalúa en cada uno de los proyectos mediante el criterio de

La evaluación delprimer nivel estuvopresidida por loscriterios de coherenciay consistencia. Elsegundo nivel deevaluacióncorresponde alcontexto o entorno dela implementación delPrograma Operativo ycomprende dosámbitos diferenciados,el relativo al marcopolítico y lasconsiguientes sinergiasque se pueden generarcon el ProgramaOperativo y el de lainteracción delPrograma Operativocon los usuarios

78

34. Ya que la innovación, como factor clave para acelerar el cambio industrial (objetivo básico delADAPT), es uno de los objetivos estratégicos fundamentales de la iniciativa ADAPT

79

“Eficacia innovadora”35. Del mismo modo, la acumulación de la

“capacidad innovadora” lograda mediante la implementación de

los proyectos corresponde a diferentes etapas del proceso de adap-

tación al cambio industrial36 y, a su vez, el grado de utilización de

la capacidad tecnológica alcanzada se puede estructurar en tres

fases diferentes37.

Así, las cuatro preguntas básicas que deben responderse mediante elproceso de evaluación son:

Primera: ¿Qué tipo de “capacidad innovadora” contribuye a crearel proyecto?

Segunda: ¿Qué etapa del proceso de adaptación empresarial ayudaa alcanzar cada proyecto?

Tercera: ¿Existe una correlación positiva entre la acumulación de“capacidad innovadora” y el nivel de “eficacia innovadora”?.

Cuarta: ¿Cuál es la fase que maximiza la utilización de la capaci-dad y su impacto en la productividad del trabajo?.

Tal y como se expuso al presentar la metodología de evaluación, éstase realizó en dos etapas. En la primera, todos los promotores de proyec-tos debieron rellenar una serie de cuestionarios en los que debían iden-tificar que acciones de sus proyectos podían ser consideradas comoinnovadoras. Durante la segunda fase, los promotores de proyectosseleccionados para los estudios de caso debieron profundizar en el aná-lisis de la innovación en el seno de sus proyectos, ofreciendo una des-

En el marco de ADAPTla innovación se definecomo un procesoevolutivo vinculado alcambio industrial. Esteproceso se concretamediante el conceptode “Capacidadesinnovadoras” y seevalúa en cada uno delos proyectos medianteel criterio de “Eficaciainnovadora”

35. Se puede afirmar que el cambio industrial y la innovación se concretan en tres categorías bási-cas de “Capacidades innovadoras” vinculadas a:

• La inversión: conocimientos y habilidades necesarias para identificar, producir y generar tec-nología.

• La producción y la mano de obra: habilidades vinculadas a la organización de la produccióny el trabajo que agrupan, desde las habilidades básicas que requieren las operaciones decarácter simple y de mantenimiento, hasta las habilidades necesarias para la investigación yla creación innovadora.

• El entorno empresarial: habilidades necesarias para la transmisión y recepción de informa-ción y tecnología.

36. Las tres etapas o nieveles de contribución a la innovación de los proyectos son las siguientes:1ª) Los proyectos generan habilidades que ayudan a las empresas a efectuar cambios de ruti-

na que permiten resolver problemas simples 2ª) Los proyectos generan habilidades que permiten que la empresa vaya adaptándose a los

cambios del entorno mediante la búsqueda y adopción del “saber-hacer” y la tecnologíaexistente tanto dentro, como fuera de la empresa.

3ª) Los proyectos generan las capacidades necesarias para que la empresa, en su conjunto, adop-te una actitud proactiva hacia los cambios tecnológicos, convirtiéndose en un agente activodel cambio industrial que investiga y desarrolla su propia tecnología.

37. Una primera fase de utilización mínima durante la que se procede a efectuar un diag-nóstico y planif icación de la situación, una segunda fase de utilización reducida en laque se comienza a implementar lo planif icado mediante proyectos piloto y, f inalmente,una tercera en la que se produce una utilización completa de las capacidades disponibles.

cripción cualitativa de las características en el terreno de la innovación(según el esquema expuesto con anterioridad), así como de las accionesque fueron identificadas como innovadoras.

4.2.4. EVALUACIÓN INTERMEDIA DE LOSPROGRAMAS OPERATIVOS Y DEL MARCO

COMUNITARIO DE APOYO COFINANCIADO POREL FSE, 1994-1999. IRLANDA

ANTECEDENTES

La regulación de los Fondos Estructurales requerían la realizaciónde una evaluación a mitad de camino de la ejecución que se estaba lle-vando en relación a los Programas Operativos 39 y al propio MarcoComunitario de Apoyo (MCA) establecido para el conjunto de Irlanda.

Los términos de referencia de la evaluación intermedia partían deuna premisa fundamental: el coste de oportunidad de los fondospúblicos era elevado, por lo que cualquier gasto público debe anali-zarse en comparación con la mejor alternativa de uso de los fondosexistentes al margen de la elegida. Para evaluar el uso de estos fon-dos no es suficiente afirmar que el gasto ejercido está dentro del pro-gramado y que mediante su ejecución se está contribuyendo a losobjetivos predefinidos para el mismo.

Desde este planteamiento, a partir de la evaluación intermedia debí-an generarse las recomendaciones que fueran necesarias para efectuarlos ajustes pertinentes con el fin de perfeccionar los programas, modifi-cando, en su caso, el destino de los fondos. En este orden de cosas, seestablecen tres aspectos clave objeto de observación y análisis:

• La pertinencia y la eficacia atribuible al diseño inicial del pro-grama y a las medidas que lo conforman, a partir de la informaciónrelativa a su puesta en marcha y ejecución.

• Los cambios que experimenta el contexto en el que se desarrollael programa desde el momento de su formulación y que pueden impli-car la necesidad de revisar las prioridades inicialmente establecidas.

• La evaluación detallada de la gestión e implementación, asícomo el grado de ejecución de las diversas medidas que conformanlos programas, a partir de lo cual deben generarse recomendacionesespecíficas sobre las mismas.

Los términos dereferencia de laevaluación intermediapartían de una premisafundamental: el costede oportunidad de losfondos públicos eraelevado, por lo quecualquier gasto públicodebe analizarse encomparación con lamejor alternativa deuso de los fondosexistentes al margende la elegida

80

39. Los Programas Operativos son programas establecidos a nivel nacional y supervisados porcomités de seguimiento en los que participan representantes de la Comisión Europea, autoridadesnacionales, agencias, agentes sociales, autoridades regionales y otras organizaciones interesadas.

81

METODOLOGÍA

El enfoque metodológico empleado en este proceso de evalua-ción ha sido calificado por la propia Dirección General XVI de laComisión Europea como especialmente innovador y pertinente parapromover su transferencia a otros procesos de evaluación. En con-creto, la clasificación funcional de medidas que se formula en elmismo ha sido el elemento que confiere a este proceso este carác-ter innovador.

A nivel macroeconómico, la evaluación del impacto del programase efectuó mediante el modelo econométrico que se había empleadoen la evaluación ex-post del programa 1989-1993, revisado y adap-tado para la nueva etapa 1994-1999.

Fue a nivel microeconómico donde se utilizó el enfoque innovadoral que se ha hecho referencia. Así, la evaluación partía del principio deque las políticas públicas deberían orientarse hacia la corrección de lasdistorsiones existentes. Esta máxima sencilla aporta un instrumentopoderoso para la evaluación de la eficacia y eficiencia de las políticaspúblicas. Cualquier gasto que no esté directamente destinado a lacorrección de las distorsiones resultará improcedente debido a sus cos-tes impositivos. Así, cada medida, debe justificarse a sí misma en tér-minos de coste de oportunidad de los fondos públicos.

Para proceder a la evaluación de las medidas que conforman losprogramas según su coste de oportunidad, se procedió a su clasifica-ción en cuatro categorías diferentes:

1ª Medidas que consisten en generar “bienes públicos” que nopueden ser producidos de forma óptima por el sector privado.

2ª Medidas destinadas a alterar los precios relativos con el fin decorregir alguna externalidad (este tipo de medidas se puede denomi-nar “subsidios correctivos”).

3ª Medidas destinadas a modificar el comportamiento de losagentes privados que están mal informados o se enfrentan a determi-nadas barreras informativas.

4ª Medidas destinadas a generar un efecto redistributivo entre lapoblación.

Una diferencia que resulta importante para la gestión de los pro-gramas es la que se produce en términos presupuestarios entre lasmedidas que pretenden corregir una externalidad (medidas presu-puestarias abiertas) y aquellas que se destinan a modificar el com-portamiento de los agentes (medidas presupuestarias cerradas). De

La evaluación partíadel principio de que laspolíticas públicasdeberían orientarsehacia la corrección delas distorsionesexistentes. Estamáxima sencilla aportaun instrumentopoderoso para laevaluación de laeficacia y eficiencia delas políticas públicas.Cualquier gasto que noesté directamentedestinado a lacorrección de lasdistorsiones resultaráimprocedente debido asus costes impositivos

esta forma, mientras las medidas presupuestarias abiertas puedensuponer una demanda suplementaria de recursos financieros, lasmedidas presupuestarias cerradas se dotan justamente hasta que elobjetivo final se cumple.

El equipo evaluador procedió a clasificar cada una de las medidasy submedidas existentes entre las cuatro categorías identificadaspara, posteriormente, elaborar las recomendaciones pertinentes sobrela redistribución de los fondos (reprogramación).

La principal ventaja de esta reclasificación funcional de las medi-das proviene de que el evaluador puede comparar los programas entresi y, de esta forma, proveer a los responsables de una serie de reco-mendaciones para la reprogramación financiera relativa al períodoque resta antes de la finalización, cumpliendo, de esta forma, con unade las finalidades fundamentales de las evaluaciones intermedias. Sinembargo, la principal desventaja de una clasificación funcional comola referida es que la evaluación no se realiza conforme a los objeti-vos fijados en los programas operacionales.

De un total cercano a 100 medidas, se identificaron 18 para las que secuestionaba su inclusión en el programa y 8 debían ser reforzadas en lasiguiente fase. Del mismo modo, se identificaron ámbitos de actuaciónque debían ser potenciados y ámbitos de actuación a ir suprimiendo.

APRENDIZAJES

Las recomendaciones efectuadas a partir de la evaluación inter-media tuvieron, en términos generales, un impacto significativosobre las decisiones tomadas en relación a la reprogramación de lasegunda fase 38, contribuyendo al perfeccionamiento de los progra-mas y la reasignación de sus fondos entre las diversas medidas.

La clasificación funcional de los gastos basada en el principio deque la política gubernamental debe tener una función correctiva y es,a juicio de la propia Comisión, un enfoque metodológico que podríaser transferido de manera adecuada a otras situaciones. Este tipo declasificación innovadora puede convertirse en un instrumento suple-mentario para los decisores a la hora de proceder a la reasignación delos recursos financieros, tomar decisiones de carácter financiero, asícomo otro tipo de decisiones. Su utilización, sin embargo, deberíalimitarse a los programas de nivel nacional que disponen de una esca-la suficiente como para poder aplicar este tipo de clasificación.

Una diferencia queresulta importantepara la gestión de losprogramas es la que seproduce en términospresupuestarios entrelas medidas quepretenden corregir unaexternalidad (medidaspresupuestariasabiertas) y aquellasque se destinan amodificar elcomportamiento de losagentes (medidaspresupuestariascerradas)

82

38. Así, de las 18 medidas que en la evaluación se recomendaba la disminución de su financia-ción, 8 fueron suprimidas, mientras que de las 8 para las que se recomendaba el incremento en sufinanciación, 5 experimentaron un apoyo adicional.

83

4.2.5. EVALUACIÓN EX-POST DE PROGRAMASOBJETIVO 2. 1989-1993

ANTECEDENTES

La evaluación ex-post de los programas cofinanciados por losFondos Estructurales entre 1989 y 1993 para las regiones deObjetivo 2 cubría un total de 60 regiones europeas pertenecientes anueve Estados Miembros. La Comisión aglutinó a todas las regio-nes en diez grupos, en cada uno de los cuales las regiones incluidasdetentaban unas características similares para proceder así a su eva-luación. El proceso de evaluación se desarrolló entre 1996 y 1997mediante una coordinación establecida a nivel europeo, así comouna serie de consultoras que desarrollaron su trabajo a nivel regio-nal y local.

El objetivo principal del estudio, establecido por la propiaComisión Europea, se centraba en evaluar los resultados generadospor los programas cofinanciados en las Zonas de Objetivo 2, asícomo contribuir a la mejora y el perfeccionamiento de las inter-venciones a desarrollar en futuros períodos de programación. Losaspectos que debían quedar resueltos una vez finalizada la evalua-ción ex-post eran los siguientes:

• Qué impactos habían producido las intervenciones.

• Cómo se habían logrado dichos impactos y en qué medida con-tribuían al proceso de reconversión industrial (prioridad central delos programas de Objetivo 2).

• Hasta qué punto habían contribuido las reformas introducidas enlos Fondos Estructurales en 1988 a mejorar la forma en la que seimplementaron los Fondos y a lograr los resultados alcanzados.

• Cuáles eran las conclusiones y aprendizajes que se derivaban dela evaluación y podían servir de guía para la mejora futura.

METODOLOGÍA

De forma general, el proceso de evaluación se estructuró en tresgrandes etapas, una primera en la que se realizaron informes preli-minares, y una segunda etapa que incluía la realización de lassiguientes intervenciones:

• Una evaluación general sobre la situación anterior y posterior encada región.

• Una serie de estudios en profundidad que cubrían 22 de las 60regiones de Objetivo 2.

El objetivo principalestablecido por lapropia ComisiónEuropea se centraba enevaluar los resultadosgenerados por losprogramascofinanciados en lasZonas de Objetivo 2 asícomo contribuir a lamejora y elperfeccionamiento delas intervenciones adesarrollar en futurosperíodos deprogramación

• Un conjunto de evaluaciones temáticas para la identificaciónde las mejores prácticas vinculadas a modalidades particulares deintervención.

Finalmente, en la tercera etapa se procedió a la elaboración de losinformes finales que venían a sintetizar los resultados, conclusionesy recomendaciones obtenidas a partir del proceso de evaluación.

Los informes preliminares para las evaluaciones del impactogenerado por los programas efectuaban un análisis a nivel macro(siguiendo un enfoque top down o de arriba hacia abajo) mediante lacomparación de la situación anterior y posterior al programa. Dichoanálisis se basada en una serie de variables clave escogidas entre losdiversos indicadores económicos sectoriales y globales, la distribu-ción sectorial y la evolución del PIB o la evolución del empleo. Delmismo modo, en el marco de estos informes se analizaba el funda-mento de las estrategias adoptadas, los modelos de gestión utilizados,así como las estructuras de partenariado creadas.

Estos informes incluían la revisión de las estrategias y programasque comprendían el Objetivo 2, subrayando las similitudes y las dife-rencias entre las diversas regiones respecto a diversas variables o losposibles factores explicativos vinculados a los programas: la meto-dología de diagnóstico utilizada, los objetivos estratégicos identifi-cados, las medidas aplicadas, el nivel de financiación proveniente delsector privado, las modalidades de gestión y las estructuras de parte-nariado creadas en cada uno de los programas.

La metodología utilizada para la realización de estos informesconsistió, básicamente, en la realización de trabajo de gabinete, aun-que cuando esta información no resultaba suficiente, se efectuabanentrevistas con informantes clave y expertos que permitían comple-tar el nivel de información disponible.

Los estudios de caso en profundidad y las evaluaciones temá-ticas respondían a un enfoque botton up o de abajo hacia arriba.Mediante estos estudios y evaluaciones se pretendía analizar las rela-ciones de causalidad, explicando por qué la situación anterior al pro-grama era diferente a la situación posterior, así como la identifica-ción y difusión de las mejores prácticas encontradas entre los diver-sos programas regionales.

En el marco de estos estudios y evaluaciones, la primera tarea lle-vada a cabo consistió en la realización del trabajo de campo corres-pondiente para recopilar y analizar críticamente la información reco-gida por los sistemas de seguimiento establecidos por las autoridades

El proceso de

evaluación se

estructuró en tres

grandes etapas. En la

primera se realizaron

informes preliminares.

En la segunda,se

realizaron varias

intervenciones: una

evaluación general

sobre la situación

anterior y posterior en

cada región; una serie

de estudios en

profundidad que

cubrían 22 de las 60

regiones de Objetivo 2

así como un conjunto

de evaluaciones

temáticas para la

identificación de las

mejores prácticas. En

la tercera etapa, se

procedió a la

elaboración de los

informes finales que

venían a sintetizar los

resultados,

conclusiones y

recomendaciones.

84

85

regionales sobre los resultados generados por los FondosEstructurales. Del mismo modo, tal y como estaba establecido, seprocedió a efectuar investigaciones más en profundidad que genera-ran información para los estudios de caso en 22 de las 60 regionesObjetivo 2, con el fin de obtener información adicional provenientedirectamente de los beneficiarios de los programas 39.

En términos generales, se puede afirmar que fue en el marco deestos estudios y evaluaciones donde se encontraron mayores dificul-tades para llevar a cabo de forma adecuada el proceso de evaluación.Así, se registraron numerosos problemas metodológicos a la hora deevaluar los efectos netos generados por los programas, identificandoefectos sinérgicos, efectos de desplazamiento así como efectos indi-rectos producidos por las diversas intervenciones que conformabanlos programas. Del mismo modo, se detectaron carencias informati-vas en los sistemas de seguimiento establecidos por las autoridadesregionales, así como la inexistencia de una terminología y categori-zación homogénea entre dichos sistemas.

Por último, los informes de síntesis constituían la tercera y últimafase de las evaluaciones ex-post de las zonas Objetivo 2. Estos infor-mes identificaban qué proporción de las variaciones de los indicado-res clave analizados en las evaluaciones macro o de carácter general(top down) correspondían a los efectos netos generados por las inter-venciones de los programas (botton up)40. Del mismo modo, en estosinformes finales se incluía una síntesis de las mejores prácticas pro-venientes de los diversos estudios de caso y evaluaciones temáticasefectuadas a lo largo del proceso evaluativo.

APRENDIZAJES

A grandes rasgos, se puede afirmar que el proceso de evaluaciónpermitió generar la información necesaria para evaluar los efectosnetos producidos por los programas Objetivo 2. Sin embargo, el pro-pio equipo evaluador identificó una serie de factores clave que debe-rían haberse gestionado de forma más eficaz:

Se registraronnumerosos problemasmetodológicos a lahora de evaluar losefectos netosgenerados por losprogramas,identificando efectossinérgicos, efectos dedesplazamiento asícomo efectosindirectos producidospor las diversasintervenciones queconformaban losprogramas

39. Del mismo modo, la información generada en estas investigaciones adicionales se utilizó paracomprobar la eficacia de los propios sistemas de seguimiento existentes. Para ello, en las regio-nes donde se realizaron estas investigaciones se procedió a agregar la información recopilada y acompararla con la existente a partir del sistema de seguimiento en torno a diversos indicadorescomo el número de empleos creados o salvados por las medidas de los programas, el número deempresas asistidas, o el número de programas de formación financiados.40. Así, la conclusión general fue que, a pesar de que las tendencias macro económicas identi-ficadas por los diversos indicadores resultaban negativas, los programas implementados habíangenerado unos efectos netos positivos, permitiendo que las tasa de paro regionales resultaranentre un 0.8% y un 1.4% menores que las que se hubieran producido si no se hubieran imple-mentado los programas.

• Especialmente en las evaluaciones en las que intervinieron

diversos actores que actuaban a diferentes niveles (Comisión, auto-

ridades regionales, consultores a nivel global, consultores regiona-

les y locales) conviene, con carácter previo a la puesta en marcha

del proceso de evaluación identificar de forma diáfana las respon-

sabilidades y funciones correspondientes, evitando posibles lagu-

nas o solapamientos.

• Algunos de los problemas y dificultades de carácter metodoló-

gico41 (especialmente la falta de unos sistemas adecuados de segui-

miento por programa) provienen de prácticas deficientes en el ámbi-

to de la programación y la gestión de los programas.

• Resulta de especial importancia para el éxito de las evaluaciones

ex-post, la forma en que se han llevado a cabo las evaluaciones inter-

medias, así como la posibilidad de recurrir a un colectivo de evalua-

dores con experiencia previa puede resultar de suma importancia.

• La necesidad de profundizar en el desarrollo de una metodolo-

gía de evaluación que permita sintetizar las vertientes horizontales

(niveles regionales y estatales) y verticales (top down y botton up)

del modelo de evaluación de los Fondos Estructurales, así como com-

parar los resultados generados entre diversos Objetivos de la política

estructural mediante una homogeneización de los modelos de eva-

luación utilizados.

En definitiva, la mejora de los métodos de evaluación debe ser una

prioridad manifiesta de las autoridades europeas si se pretende que

sus resultados tengan cierta credibilidad y que puedan ser utilizados

de forma eficaz por los decisores políticos.

4.2.6. EVALUACIÓN TEMÁTICA DEL DOCUPOBJETIVO 2, 1994-1996. REGIÓN DE YORKSHIRE Y

HUMBERSIDE

ANTECEDENTES

La región de Yorkshire y Humberside, situada en el noreste

del Reino Unido Inglaterra, reune un total de 9 millones de habi-

tantes. En el marco de la región existen áreas agrupadas dentro

del Objetivo 2 y otras áreas dentro del Objetivo 5b). Las áreas de

la región incluidas en Objetivo 2 comprenden tres subregiones

(el sur de Yorkshire, el norte de Yorkshire y Humerside) clara-

mente diferenciadas por variables relativas a la evolución demo-

La mejora de losmétodos de evaluacióndebe ser una prioridadmanifiesta de lasautoridades europeassi se pretende que susresultados tengancierta credibilidad yque puedan serutilizados de formaeficaz por los decisorespolíticos

86

41. Que han sido expuestas a lo largo del apartado dedicado a la Metodología.

87

gráfica, los movimientos migratorios, la estructura económica ola tasa de paro.

En 1997 se lleva a cabo la evaluación intermedia del programa1994-1999 Objetivo 2. El enfoque evaluativo adoptado tuvo muy encuenta la diversidad regional y la existencia de las tres áreas biendiferenciadas, realizando una evaluación específica adaptada a cadasubregión, además de la evaluación conjunta de la región.

METODOLOGÍA

El enfoque metodológico diseñado para esta evaluación ha sidoreconocido por la propia Dirección General XVI como una de lasprácticas particularmente interesantes e innovadora que convendríadifundir, no tanto por incluir un enfoque o una técnica de evalua-ción particular, sino por representar un caso de evaluación en pro-fundidad que sobrepasa el enfoque tradicional de las evaluacionesintermedias.

El proceso de evaluación incluyó tres evaluaciones subregionales(que permiten analizar de forma específica las tres subregionescubiertas por el programa y que presentan características sociales yeconómicas diferentes), una evaluación de impacto que combina latipología ascendente y descendente, un análisis del proceso de parte-nariado y de los procedimientos y mecanismos de puesta en marchay ejecución. La evaluación quedo estructurada en tres componentesbásicos:

• Tres evaluaciones subregionales.

• La evaluación regional.

• Un programa de aseguramiento de la calidad llevado a cabo porconsultores independientes.

A continuación, de forma sintética, se analizan algunos de estosaspectos metodológicos:

• Una combinación equilibrada de los enfoques ascendente (bottonup) y descendente (top down).

Dentro del enfoque ascendente se efectuaron un número inusual-mente elevado de investigaciones y estudios de caso. Estos análisisespecíficos fueron llevados a cabo dentro de cada una de las tres eva-luaciones subregionales centrando la evaluación en el grado de cum-plimiento de los objetivos planteados por proyecto, mientras que elenfoque descendente se realizó a nivel regional, apoyándose en losresultados obtenidos en cada una de las subregiones.

El proceso deevaluación incluyó tresevaluacionessubregionales, unaevaluación de impactoque combina latipología ascendente ydescendente, unanálisis del proceso departenariado y de losprocedimientos ymecanismos de puestaen marcha y ejecución

• Un carácter externo e interno

La vertiente externa de la evaluación venía cubierta por la involu-cración en el proceso de evaluación de profesores y consultores,mientras que la vertiente interna se configuró mediante la generali-zación de una cultura que fomentaba la autoevaluación crítica porparte de los diversos actores implicados en el programa.

• Una sensibilidad especial

Para llevar a cabo el análisis de la estrategia regional adaptándo-se, al mismo tiempo, a la variedad de condiciones locales existentesen cada subregión.

• La capacidad de permitir, al mismo tiempo, una evaluación decarácter temático y de carácter general

Para lo que se identificaron, previamente, aquellos temas que erande una particular importancia estratégica.

• La combinación de elementos pertenecientes, tanto a la evalua-ción ex-ante como a la evaluación ex-post

Especialmente en lo que respecta a la estimación de los efectos delprograma sobre el empleo. Como resulta lógico, dado el escaso tiem-po transcurrido la evaluación ex-post efectuada estaba sujeta aimportantes limitaciones.

• El desarrollo de una cultura de la evaluación y del aprendizaje inter-activa en la que se involucraran los diversos actores implicados.

Resulta de suma importancia para el futuro del programa la con-figuración de un entorno caracterizado por el aprendizaje continuoe interactivo en el que participen todos los actores implicados en elmismo.

APRENDIZAJES

Dado el aparato metodológico y organizacional configurado alre-dedor del proceso de evaluación, se ha incurrido en costos financie-ros y tiempo invertido superiores a lo que resulta más habitual en lasevaluaciones cofinanciadas por los Fondos Estructurales. Sin embar-go, a juicio de la propia Dirección General XVI, el esfuerzo ha resul-tado rentable si se tiene en cuenta los resultados alcanzados que hanpermitido poner en práctica una metodología que compaginara laevaluación específica a nivel subregional y la evaluación integral delprograma, logrando:

• Realizar una evaluación del impacto del programa, en términosde efectos netos sobre el empleo para cada subregión que facilitan la

Dentro del enfoqueascendente seefectuaron un númeroinusualmente elevadode investigaciones yestudios de casocentrados en cada unade las tres subregionesmientras que elenfoque descendentese realizó a nivelregional, apoyándoseen los resultadosobtenidos en cada unade las subregiones.

88

89

obtención de conclusiones sobre la eficacia y eficiencia de cada unade las medidas que conforman los programas, permitiendo la refor-mulación del mismo a mitad de camino.

• Evaluar el proceso y los mecanismos de puesta en marcha, ges-tión y financiación del programa.

• La creación de una cultura compartida de aprendizaje y un len-guaje común entre los diversos actores vinculados a los programas,fortaleciendo la implicación de los mismos, así como una culturade autoevaluación crítica que permanecerá como un activo de caraal futuro.

• De forma general, a pesar de la dificultad de transferir las bue-nas prácticas a otros contextos socioeconómicos, el caso presentadoviene a demostrar que un modelo de evaluación como el expuestopuede ser aplicado con éxito, incluso en zonas de Objetivo 2 donde,habitualmente, resulta más difícil la evaluación debido a su reducidadimensión y a la ausencia de estadísticas fiables disponibles.

A pesar de la dificultadde transferir las buenasprácticas a otroscontextossocioeconómicos, elcaso presentado vienea demostrar que unmodelo de evaluacióncomo el expuestopuede ser aplicado conéxito, incluso en zonasdonde, habitualmente,resulta más difícil laevaluación debido a sureducida dimensión y ala ausencia deestadísticas fiablesdisponibles

5. Consideraciones finales

5. Consideraciones finales

A tendiendo a las prácticas de evaluación que se vienen imple-

mentando, estas consideraciones finales parten de las pro-

blemáticas y limitaciones que las mismas presentan.

La tarea que se abre para los próximos años va a resultar crucial y

si teóricamente la evaluación es una herramienta básica que queda

explícitamente formulada en los documentos programático-presu-

puestales, se trata de dar contenido y utilidad a este tipo de interven-

ciones. Si como se ha señalado repetidas veces, los modelos deben

ser flexibles, adaptables y diseñados a la medida, la cultura de la eva-

luación debe acrecentarse y enriquecerse. Desde este telón de fondo

surge la necesidad de establecer marcos comunes guía en la concep-

ción general de los procesos evaluativos.

Lagunas y problemas en las prácticas de evaluación comunitarias

De forma general, se vienen detectado una serie problemas y difi-

cultades de índole metodológico y técnico en las diversas evaluacio-

nes analizadas en el marco del Programa MEANS:

La tarea que se abrepara los próximos añosva a resultar crucial y siteóricamente laevaluación es unaherramienta básica quequeda explícitamenteformulada en losdocumentosprogramático-presupuestales, setrata de dar contenidoy utilidad a este tipo deintervenciones

91

42. Sin embargo, como es sabido, del logro de los resultados programados no se deduce necesa-riamente la consecución de los efectos positivos deseados.

• Escasa utilización de los resultados generados por la evalua-ción para la reformulación de programas.

• Dificultades para evaluar la eficacia de las intervenciones,bien por la disposición de unos objetivos excesivamente genéri-cos, como por su excesiva concreción en términos de resultados aalcanzar; situación que propicia se efectúe una asimilación entreevaluación de resultados y evaluación de la eficacia42.

• Lagunas en los sistemas de seguimiento (como, por ejemplo,en el caso de los indicadores de output o de impacto) que se detec-tan tarde, cuando se efectúan las evaluaciones intermedias (requi-riendo de esfuerzos adicionales en las mismas para compensaresas lagunas informativas). Mientras deberían haber sido detecta-das mediante la realización de evaluaciones ex-ante.

• Problemas para disponer de información homogénea y construirun sistema de indicadores integral cuando existen diversos gestoresque suministran información al sistema de seguimiento y evaluación.

• La necesidad de reforzar las relaciones entre las evaluacionesex-ante, intermedia y ex-post de cada programa apoyándose lasunas en las otras, según un proceso de evaluación progresivo.

• Insuficiencia de los plazos dispuestos y de los recursos con-signados para llevar a cabo las evaluaciones.

92

• Necesidad de tender hacia un modelo común de evaluaciónde los programas financiados por el FEDER y de los financiadospor el FSE, especialmente en el caso de los Objetivos 1 y 2 quecombinan ambas fuentes de financiación.

• Aplicación imperfecta de las aportaciones metodológicas quese desprenden de las prácticas realizadas (Programa MEANS),especialmente en lo relativo a la medición del impacto sobre elempleo.

En términos generales,el proceso deevaluación debediseñarse, organizarsey aplicarse de formaadaptada a los rasgosespecíficos delprograma a evaluar ysu contextoorganizacional ysocioeconómico

Aspectos relevantes para el diseño metodológico de lasevaluaciones

El Joint Comittee on Standars for Educational Evaluation de los

EE.UU.43 aconseja que evaluadores y clientes cooperen entre sí para

que el proceso evaluativo pueda desarrollarse de forma óptima aten-

diendo a cuatro condiciones o máximas:

1. Ser útiles: deben estar dirigidas a aquellas personas y grupos

que estén vinculados al programa objeto de evaluación, ayu-

dándoles a identificar las virtudes y los defectos del mismo así

como las soluciones oportunas para mejorarlo.

2. Ser factibles: deben emplear procedimientos evaluativos que pue-

dan ser utilizados sin demasiados problemas y de forma eficiente.

3. Ser éticas: deben asegurar la protección de los derechos de las

partes implicadas y la honradez en la elaboración de los resul-

tados, informando de forma equitativa de todas las virtudes y

defectos que presente el programa.

4. Ser exactas: deben describir claramente el objeto, los procedi-

mientos y las conclusiones de la evaluación, manteniéndose al

margen de cualquier tipo de influencia.

En términos generales, el proceso de evaluación debe diseñarse,

organizarse y aplicarse de forma adaptada a los rasgos específicos del

programa a evaluar y su contexto organizacional y socioeconómico.

Para ello, conviene que dicho diseño venga presidido por:

• Una lógica de variedad y complementariedad metodológica que

dé respuestas flexibles a una realidad múltiple.

• Una lógica de aprendizaje que valorice los resultados obtenidos

en una dinámica positiva, de cara a la mejora del programa y su

perfeccionamiento en fases posteriores.

43. Comité que agrupa a cerca de doscientos expertos en el ámbito de la evaluación y que duran-te cinco años realizaron la labor de crear, valorar y clarificar los principios habitualmente emple-ados en la evaluación de programas públicos.

• Una lógica de pluralidad, que dé cabida a los diversos agentes

intervinientes y garantice la utilización de informaciones pro-

venientes de todas las partes implicadas.

La aplicación combinada de esta lógica plural implica una serie de

consecuencias metodológicas y organizativas a tener presente por el

equipo de evaluadores, de forma que se lleve a efecto un proceso eva-

luativo eficiente 44 que vaya más allá:

1. Del mero análisis de los resultados producidos por el programa a

la realización de una evaluación integral a partir de las siguientes

dimensiones:

• Contexto: Como marco general económico y social, y como

marco específico sectorial en el que se formuló e implementó

el Programa, analizando su evolución y la correspondiente per-

tinencia de las estrategias definidas en el mismo, tanto desde

una perspectiva integral como para cada uno de los niveles en

los que se estructure dicho Programa.

• Soporte físico y normativo: Como conjunto de recursos que a

partir de un soporte legislativo y de planeamiento integra insta-

laciones y dotaciones físicas con equipos humanos y servicios

diversos para la ejecución del programa.

• Proceso: Como interacción de las estructuras que soportan a los

distintos gestores y ejecutores y las funciones por ellos des-

arrolladas; interacción que genera todo un sistema relacional

–clima– en el que se integran intereses, valores, culturas, roles

que es necesario armonizar, consensuar y hacer congruentes

para el buen fin del proyecto.

Su desarrollo se vincula al estudio de los efectos institucio-

nales que pretende salvar la brecha entre el registro estadís-

tico de resultados y la realidad de la actuación. Su análisis se

vinculará a intervenciones esencialmente cualitativas y par-

ticipativas:

• Grado de compromiso ante el programa.

• Nivel de conflicto.

• Replanteamientos competenciales.

• Producto: Como resultados en términos de logros alcanzados,productos elaborados, sistemas articulados, aprendizajes y des-

La aplicación

combinada de una

lógica plural, implica

una serie de

consecuencias

metodológicas y

organizativas a tener

presente por el equipo

de evaluadores, de

forma que se lleve a

efecto un proceso

evaluativo eficiente

93

44. Requiere, como condición preliminar, la toma en consideración de las limitaciones pre-supuestales y temporales de las que se parte, de tal forma que el diseño metodológico resul-te viable.

94

arrollos en relación a los objetivos fijados; de los que los bene-ficiarios del Programa son protagonistas y usuarios; y los dis-tintos ejecutores, consultores, etc. son proveedores y/o gestoresdel sistema.

2. Del simple contraste con los objetivos y metas programadas, al

desarrollo de un proceso útil para los agentes implicados en el

mismo que permita:

• Determinar la valía relativa de los distintos bienes y serviciosgenerados por la intervención, el proyecto o el programa eva-luado, así como juzgar el mérito y el valor del programa y lasacciones que lo integran.

• Incrementar el conocimiento que los diversos agentes tienen delprograma, enriqueciendo el proceso de reflexión en torno almismo y la resolución de los problemas o necesidades para losque éste surgió.

• Ayudar a distinguir las virtudes y los defectos del programa,proporcionando los conocimientos suficientes y una base valo-rativa sólida que permita orientar la toma de decisiones y elperfeccionamiento del mismo.

• Ofrecer un marco de análisis adaptado a la necesidad de evaluarla interacción entre los distintos agentes intervinientes, asícomo el nivel de coordinación que presentan; respondiendo deforma adecuada, cuando sea necesario, a la existencia de múl-tiples actores participantes de diversos niveles y, por tanto, a lacomplejidad de sus relaciones.

3. De una concepción basada en la utilización de una herramienta

de análisis determinada o un enfoque excluyente, hacia una con-

cepción que permita un mestizaje metodológico en función de la

diversidad de cuestiones a resolver, de agentes implicados, y de

contextos en los que se implementa el programa, combinando:

• Técnicas cuantitativas y cualitativas.

• Enfoques ascendentes (bottom up) y descendentes (top down).

• Análisis macroeconómicos y microeconómicos.

• Métodos participativos con otros de carácter más clásico.

4. De la evaluación exclusiva de los resultados y efectos directos

simples (ligados a la pertinencia, eficiencia y eficacia alcanzada),

al diseño del proceso, de forma que también permita recoger y

evaluar resultados y efectos:

Superar el simplecontraste con losobjetivos y metasprogramadas paradeterminar la valía dela intervención,incrementar elconocimiento ,distinguir las virtudes ylos defectos delprograma

• Directos Complejos: vinculados a la observación de las inter-acciones producidas por las intervenciones de los distintosactores, procesos, proyectos, medidas, acciones, etc.

• Indirectos: vinculados a resultados o efectos inducidos, enespecial de carácter psicosocial, vinculados particularmente aaspectos de percepción y actitud en relación al proyecto; tantopor parte de colectivos usuarios últimos como por los colecti-vos de operadores intervinientes en el proyecto.

• No previstos: como los efectos multiplicadores, de sustitución,de desplazamiento, peso muerto, no influyente/ ganga, etc.

5. De entender la evaluación como una tarea puntual en la vida deun programa, a concebirla como un proceso integrado de acom-pañamiento al mismo, que permita:

• Realizar una apreciación previa que apoye el diseño y progra-mación del programa, identificando los problemas socioeconó-micos existentes y los objetivos a alcanzar por el mismo, asícomo la estrategia necesaria con los medios disponibles pararesponder a dichos problemas (Evaluación ex-ante).

• Comprobar, durante la ejecución de un programa, si los objetivossiguen teniendo validez y si los resultados programados llevancamino de alcanzarse, perfeccionando el programa y optimizandola distribución de sus recursos (Evaluación intermedia).

• Efectuar, una vez finalizada la ejecución de un programa, unavaloración sobre el logro de los objetivos y metas programa-dos, así como si los resultados alcanzados y los efectos gene-rados con el mismo resultan positivos y van a perdurar una vezfinalizado el programa (Evaluación final y ex-post).

6. Del papel de juez que afronta el proceso de evaluación comoagente situado por encima del resto de partes implicadas, a laasunción por parte del equipo evaluador de un rol en el que, res-petando los principios de independencia y transparencia, apuestepor adoptar un enfoque:

• Participativo y abierto 45 en el que, con el fin de mejorar el pro-grama, se recojan las diferentes visiones y aportaciones que realicenlos diversos agentes implicados.

Pasar de entender laevaluación como unatarea puntual en lavida de un programa aconcebirla como unproceso integrado deacompañamiento almismo

Apostar por unenfoque participativo yabierto que goce de lacredibilidad de lasdiversas partesimplicadas y queincremente la utilidady aplicabilidad de susresultados

95

45. Puede que surjan conflictos ocasionados por las diversas formas de entender el proceso de eva-luación que tengan los agentes implicados. En este sentido, los evaluadores deben avisar a las par-tes implicadas de los posibles conflictos que pueden producirse en lo que se refiere a los propósi-tos y al desarrollo del proceso de evaluación, llegando, desde un primer momento, a un acuerdocomún sobre los principios que van a guiar el mismo.

96

• Que gocen de la credibilidad de las diversas partes, al percibirloéstos como un proceso legítimo que no ha dejado al margen ningunaopinión y haberse primado una definición metodológica rigurosapero consensuada.

• Que incremente la utilidad y aplicabilidad de las conclusiones yresultados surgidos al final del proceso de evaluación para los diver-sos agentes implicados, al haber participado éstos en el mismo.

Anexo Modelos de Evaluación

Modelos de Evaluación

E ste Anexo se dedica a la exposición de tres modelos de eva-luación que se consideran como especialmente pertinentespara ser aplicados a programas de carácter socioeconómico

vinculados a la dinamización y cohesión económica y social, la edu-cación/formación o la salud. La referencia bibliográfica principal hasido la obra de Daniel L. Stufflebeam y Anthony J. Shinkfield.Systematic evaluation46.

Cada modelo tiene su propio bagaje de experiencias y aportacionespropias y su exposición pretende servir de guía en el sentido que apor-ta esquemas de razonamiento y conceptos útiles que se deben manejaren el marco de procesos de evaluación concretos. Como el/la lector/ahabrá podido notar, este Cuaderno de Trabajo, en general, y esteanexo, en particular, vienen a remarcar la idea de que cada evaluaciónnecesita ser diseñada y aplicada de forma específica al proyecto quedeba evaluar y al contexto institucional en el que se desarrolle.

En primer término se presenta el modelo CIPP Contexto, Input,Proceso y Producto, en segundo lugar el modelo de evaluación cen-trado en el cliente o evaluación respondente y, finalmente, el modelode evaluación innovativa.

1. EL MODELO CIPP: CONTEXTO, INPUT, PROCESOY PRODUCTO

En el marco del modelo CIPP, la evaluación se define como elproceso que permite identificar, obtener y proporcionar informaciónútil y descriptiva acerca del valor y el mérito de las metas, la planifi-cación, la realización y el impacto de una intervención, proyecto oprograma determinado, con el fin de servir de guía para la toma dedecisiones, solucionar los problemas y promover la comprensión delos fenómenos implicados.

Esta definición resume los conceptos clave del modelo CIPP ypostula tres propósitos evaluativos básicos: servir de guía para latoma de decisiones, proporcionar la información necesaria a respon-sables y gestores y promover la comprensión de los fenómenos impli-cados (lo cual coincide con la orientación de perfeccionamiento delmodelo, puesto que el primero de estos propósitos es también el másimportante). El modelo presenta la evaluación no como una pruebasino como un proceso, que incluye tres etapas: identificar, obtener yproporcionar información útil y relevante (de ahí que los evaluadoresdeban tener una buena preparación técnica y dotes de comunicación).

Cada modelo tiene supropio bagaje deexperiencias yaportaciones propias ysu exposición pretendeservir de guía en elsentido que aportaesquemas derazonamiento yconceptos útiles que sedeben manejar en elmarco de procesos deevaluación concretos

98

46.“Evaluation” Stufflebeam Daniel L. y Shinkfield Anthony J.

99

Tanto la información útil (para emitir juicios) como la descripti-va son consideradas adecuadas para valorar y ayudar a perfeccionarlas intervenciones. Los aspectos clave del objeto que, según la defi-nición, deben ser valorados, incluyen sus metas, su planificación,su realización y su impacto (los cuales son valorados, respectiva-mente, mediante la evaluación del contexto, del input, del procesoy del producto). El criterio fundamental que debe ser tenido encuenta incluye su valor (su respuesta a las necesidades valoradas) ysu mérito (su calidad).

1.1. El modelo CIPP como estrategia para el perfecciona-miento de los sistemas

El modelo CIPP está más en la línea de los procesos de evalua-ción de sistemas de amplio espectro y alcance social. No se tratatanto de servir de guía para la realización de un estudio particulari-zado sino más bien de proporcionar un modelo de evaluación con-tinua para la toma de decisiones.

Se basa especialmente en el concepto de que el propósito másimportante de una evaluación no es demostrar algo sino perfeccionarlo existente. Esta concepción resulta opuesta a las corrientes que afir-man que las evaluaciones deben ser más penalizadoras o actuar comoinstrumentos de control. Por el contrario, considera que el fin últimode la evaluación es ayudar a perfeccionar los programas de forma queofrezcan un mejor servicio a sus usuarios y beneficiarios.

Promoviendo la “eliminación” de programas innecesarios oimperfectos, las evaluaciones también cumplen una función perfec-cionadora, al permitir que los recursos vayan a parar a las actuacio-nes más provechosas. Fundamentalmente, la utilización del modeloCIPP está concebida para promover el desarrollo y ayudar a losdirectivos y personal responsable de una institución a obtener y uti-lizar una información continua y sistemática con el fin de satisfacerlas necesidades más importantes o, al menos, hacer lo mejor posiblecon los recursos disponibles.

Esta orientación, que ayuda a mantener y mejorar la calidad de lasactuaciones institucionales, aparece ilustrada en el diagrama de laFigura 15.

1.2. Las dimensiones del modelo CIPP

El modelo CIPP se caracteriza por ordenar la construcción delproceso de evaluación en base a cuatro dimensiones centrales: elContexto, el Input, el Proceso y el Producto. En el cuadro de la pági-na 108 se procede a sintetizar, para cada una de las dimensiones prin-

El modelo CIPP estámás en la línea de losprocesos deevaluación de sistemasde amplio espectro yalcance como lossistemas sociales,educativos/formativos,etc. Se basaespecialmente en elconcepto de que elpropósito másimportante de unaevaluación no esdemostrar algo sinoperfeccionar loexistente

cipales señaladas, los objetivos, métodos y su vinculación con el pro-

ceso de toma de decisiones.

El Diseño de una evaluación mediante el modelo CIPP

Para realizar una evaluación, ya se trate de una evaluación del

contexto, del input, del proceso o del producto (o algún tipo de

combinación entre ellas), el equipo evaluador necesita, obviamen-

te, planificar su trabajo. Esto supone diseñar los procesos de traba-

jo preliminares y luego modificarlos y explicarlos a medida que

avanza el proceso.

100

Justificación deun cambio

¿Existe unasolución

satisfactoria?

¿Seha encon-

trado una estrate-gia promete-

dora?

Nece-sidad de de-

sarrollo y compro-bación

Evaluacionesperiódicas del con-

texto

¿Merece elproyecto otro

intento?

¿Rendimientosatisfactorio?

¿Aúnnecesita y desea

una solución

SI

NO

SINONO

SI

SI

NO SI

NO

NO

SINO

SI

Figura 15DIAGRAMA DESCRIPTIVO DEL PAPEL DE LA EVALUACIÓN CIPPEN EL PERFECCIONAMIENT0 DEL SISTEMA

Operaciones regulares delsistema (que incluyen distin-tas actividades evaluativas)

Definición de proble-mas y formulación deobjetivos

Aplicación de lasolución

Evaluación deentrada

Realización de unproyecto especial

Evaluación delproceso y el producto

Fracaso

101

MODELO CIPP. DIMENSIONES DEL PROCESO

Objetivo

Método

Relación con latoma de decisio-nes en el proce-so de cambio

Evaluación del Contexto

Definir el contexto ins-titucional, identificar lapoblación objeto deestudio y valorar susnecesidades, identifi-car las oportunidadesde satisfacer, lasnecesidades, diag-nosticar los proble-mas que subyacen enlas necesidades y juz-gar si los objetivospropuestos son losuficientemente cohe-rentes con las necesi-dades valoradas.

Utilización de méto-dos como el análisisde sistemas, la revi-sión de documentos,las ediciones, lasentrevistas, los testsdiagnósticos y la téc-nica Delphi.

Decidir el marco quedebe ser abarcado,las metas relaciona-das con la satisfac-ción de las necesida-des o la utilización delas oportunidades ylos objetivos relacio-nados con la soluciónde los problemas, porejemplo, la planifica-ción de los cambiosnecesarios. Y propor-cionar una base parajuzgar los resultados.

Evaluación de IMPUT

Identificar y valorar lacapacidad del siste-ma, las estrategias deprograma alternati-vas, la planificaciónde procedimientospara llevar a cabo lasestrategias, los presu-puestos y los progra-mas.

Inventariar y analizarlos recursos humanosy materieles disponi-bles, las estrategiasde solución y lasestrategias de proce-dimiento referentes asu aplicabilidad, viabi-lidad y economía. Yutilizar métodos comola búsqueda de biblio-grafía, las visitas aprogramas ejempla-res, los grupos aseso-res y casos piloto.

Seleccionar los recur-sos de apoyo, lasestrategias de solu-ción y la planificaciónde procedimientos;esto es, estructurarlas actividades decambio. Y proporcio-nar una base parajuzgar la realización.

Evaluación del Proceso

Identificar o pronosti-car, durante el proce-so, los defectos de laplanificación del pro-cedimiento o de surealización, proporcio-nar información paralas decisiones prepro-gramadas y describiry juzgar las activida-des y aspectos delprocedimiento.

Controlar las limitacio-nes potenciales delprocedimiento y per-manecer alerta antelas que no se espera-ban, mediante la ob-tención de informa-ción específica de lasdecisiones programa-das, la descripción delproceso real, la conti-nua interacción con elpersonal del proyectoy la observación desus actividades.

Llevar a cabo y per-feccionar la planifica-ción y los procedi-mientos del progra-ma, esto es, efectuarun control del proce-so. Y proporcionar unesbozo del procesoreal para utilizarlomás tarde en la inter-pretación de los resul-tados.

Evaluación del Producto

Recopilar descripcio-nes y juicios acercade los resultados yrelacionarlos con losobjetivos y la informa-ción proporcionadapor el contexto, porlas variables de entra-da y por el proceso, einterpretar su valor ysu mérito.

Definir operacional-mente y valorar loscriterios de los resul-tados, mediante larecopilación de los jui-cios de los clientes yla realización de aná-lisis cualitativos ycuantitativos.

Decidir la continua-ción, finalización, mo-dificación o readapta-ción de la actividad .Ypresentar un informeclaro de los efectos(deseados y no dese-ados, positivos ynegativos).

Estos planes deben incluir una amplia gama de elecciones referentesa la realización de la evaluación, como por ejemplo las audiencias ycuestiones clave; si es más apropiada una evaluación del contexto, delinput, del proceso y/o del producto; el objeto que debe ser valorado; eltiempo y lugar del estudio; el alcance y naturaleza de los controles quedeben imponerse; las comparaciones que deben efectuarse; las fuentesde información necesarias; los métodos, instrumentos y esquemas parala recopilación de informaciones; las formas y procedimientos paradesignar, archivar y conservar la información; los métodos de análisis einterpretación; las disposiciones para comunicar los resultados; y los cri-terios y acuerdos para valorar los resultados de la evaluación.

Las decisiones acerca de estas actividades evaluativas se constitu-yen en la base que soporta la contratación y financiación del trabajoevaluativo, el seguimiento/retroalimentación de las relaciones con lasinstituciones implicadas, la configuración del equipo evaluador, asícomo la programación y dirección de las actividades del mismo.

Sin embargo, conviene apuntar que las cualidades dinámicas einteractivas de muchas evaluaciones y la orientación de su serviciohacen difícil, si no imposible, la proyección correcta y a largo plazode las necesidades informativas específicas. Como consecuencia, losplanes técnicos para la recopilación de datos y los análisis previos,están basados, a menudo, en presuposiciones erróneas y vienen aresultar inapropiados o incompletos. Un rígido seguimiento de la pla-nificación evaluativa inicial –especialmente si se ha definido en tér-minos muy específicos– a menudo va en detrimento de la utilidad delestudio al dirigirlo hacia cuestiones equivocadas o no esenciales, yguiarlo mediante presuposiciones erróneas. Por lo tanto, los evalua-dores se enfrentan a un dilema. Por una parte, necesitan diseñar cui-dadosamente sus actividades evaluativas con el fin de realizarlas coneficiencia y aceptable rigor, así como para convencer a sus clientes deque saben lo que están haciendo. Por otra, necesitan un método eva-luativo flexible y realizar una revisión y modificación periódicas deldiseño para que la evaluación siga respondiendo a las necesidades delas audiencias. Este dilema es especialmente problemático para losevaluadores, puesto que los clientes, a menudo, esperan o exigen dise-ños técnicos definitivos y más tarde se desilusionan cuando un rígidoseguimiento del diseño original proporciona mucha información queno resulta útil o su utilidad se agota inmediatamente.

A menudo, los clientes perciben que, de algún modo, los evalua-dores debían haber sabido proyectar las necesidades informativas yajustar las actividades de recopilación de datos. Para enfrentarse aeste dilema los evaluadores deben abordar el diseño como un proce-so, no como un producto, y necesitan conducir a sus clientes a hacer

Conviene apuntar que

las cualidades

dinámicas e

interactivas de muchas

evaluaciones y la

orientación de su

servicio hacen difícil, si

no imposible, la

proyección correcta y a

largo plazo de las

necesidades

informativas

específicas

102

103

lo mismo. Las metas y procedimientos evaluativos deben ser esque-matizados de antemano, pero también analizados, revisados, amplia-dos y modificados periódicamente. Fundamentalmente, este procesodebe estar guiado por un concepto justificable de lo que es una eva-luación solvente, por una sensibilidad a los factores del mundo realque a menudo interfieren en el trabajo evaluativo y por una comuni-cación continua entre los evaluadores y sus audiencias, acerca de lapertinencia y propiedad de la planificación.

Al principio del proceso, es importante escuchar e investigar.¿Quiénes son los principales clientes? ¿Qué piden de la evaluación?¿Por qué? ¿Qué tipo(s) de evaluación (del contexto, de entrada, delproceso o del producto) puede(n) ser más efectivo(s)? ¿Cómo creen losclientes que debe ser realizada la evaluación? ¿Qué perspectivas tienenen mente? ¿Quiénes consideran que son la audiencia principal? ¿Quiénpuede salir perjudicado a consecuencia de la evaluación? ¿Por qué?¿Qué cooperación será esencial? ¿De qué información se dispone?¿Cuáles son los antecedentes? Desde un punto de vista realista, ¿Québeneficios positivos pueden esperarse de la evaluación? ¿Qué efectosnocivos pueden producirse, y cómo pueden ser evitados? ¿Qué com-petencias se requieren para realizar el trabajo?, y así sucesivamente.Siempre que sea posible una elección, el equipo evaluador debe plan-tearse cuestiones como éstas antes de decidir si una evaluación puederealizarse o si se dan las condiciones apropiadas para hacerla.

Cuando haya asumido una decisión positiva para seguir adelante,el equipo evaluador debe hacer un esquema global del plan. Este plandebe tener en cuenta si dicho equipo conoce el marco de desarrolloy las necesidades concretas de la evaluación, y debe ajustarse a lasnormas generalmente aceptadas para la realización de una evaluaciónsolvente. Además, debe hablar, por lo menos de un modo general, detoda la gama de tareas que debería realizar.

El esquema incluido a continuación proporciona una visión gene-ral de los aspectos que deben ser abordados en un diseño evaluativo.Estos puntos son aplicables al desarrollar el plan inicial o más tarde,al revisarlo y explicarlo. Desde luego, sólo sirven como indicacióngeneral de la información detallada que probablemente deberá serproporcionada a la hora de operativizar el diseño.

Finalmente, conviene subrayar la necesidad de evaluar las eva-luaciones. Si las evaluaciones deben proporcionar una guía oportuna,las propias evaluaciones deben ser solventes. Entre otras considera-ciones, deberían centrarse en las cuestiones adecuadas, ser exactas ensus definiciones, no ser tendenciosas, ser comprensibles y ser justaspara aquellos cuyo trabajo se está examinando. Valorar las evalua-ciones según estas consideraciones es adentrarse en la literatura que

Finalmente, convienesubrayar la necesidadde evaluar lasevaluaciones. Si lasevaluaciones debenproporcionar una guíaoportuna, las propiasevaluaciones deben sersolventes

trata el tema de la metaevaluación que abarca, entre otros, los crite-

rios, procesos y técnicas utilizados para evaluar evaluaciones.

1.3. El modelo CIPP como enfoque sistémico de la evaluación

Este modelo de evaluación, en el contexto de un proceso de cam-

bio institucional, reafirma muchas de las características propias de

un método sistemático de evaluación:

1. La evaluación es una parte integrante del programa regular de

una institución y no sólo una actividad concreta relacionada

con proyectos de renovación, y el perfeccionamiento que intro-

duce el modelo CIPP o de cualquier otro método especializado

es sólo una parte del mosaico de la evaluación formal e infor-

mal de una organización.

104

Análisis de la tareaDefinición del objeto de ia evaluación

Identificación del cliente y las audiencias

Propósito(s) de la evaluación (perfeccionamiento del programa, responsabilidad y/o comprensíón)

Tipo de evaluación (del contexto, de entrada, del proceso o del producto) que va a emplearse

Principios de una evaluación solvente (utilidad, viabilidad, propiedad y actitud) que deben ser observados

Plan para la obtención de informacionesEstrategia general (examen, estudio de casos concretos, grupos asesores o experimentos)

Presuposiciones de trabajo que sirvan de gula para la valoración, el análisis y la interpretación

Recopilación de información (muestreo, instrumentalización y recopilación de datos)

Organización de la información (cadificación, archivo y conservación)

Análisis de la información (tanto cualitativa como cuantitativa)

Interpretación de los resultados (identificación de las normas y elaboración de los juicios)

Plan para el informe sobre los resultadosPreparación de los informes

Difusión de los informes

Previsión para continuar las actividades con el fin de promover el impacto de la evaluación

Plan para la administración del estudioResumen del programa evaluativo

Plan para satisfacer los requisitos económicos y los del personal

Previsión para la metsevaluación

Previsión para renovaciones periódicas de la planificación evaluativa

Presupuestos

Memorándum de compromisos o contratos

ESQUEMA DE DOCUMENTACIÓN DE LAS PLANIFICACIONES EVUALUATIVAS

105

El método evaluativoestá construido, en lo

fundamental, sobre lanoción de Tyler acerca

de que los evaluadoresdeben comparar los

resultados deseados ylos observados

2. La evaluación desempeña un papel vital en la estimulación yplanificación de los cambios.

3. La utilización de cada tipo de dimensión del modelo CIPP estáindicada sólo si es necesaria más información de la que yaexiste, y no por el valor intrínseco de cada dimensión. En otraspalabras, las evaluaciones del contexto, del input, del procesoy del producto son sólo una parte del gran cuadro evaluativo decada institución, y su función más importante es la de servir alas necesidades subsumidas en el mismo.

4. La información que se genera a lo largo del proceso de evalua-ción no sólo proporciona una guía para resolver problemascentrales, sino que, si se realiza de cara a una revisión pública,también proporciona una base para juzgar si las decisionesacerca del fracaso o generalización de un proyecto piloto setoman desde posiciones justificables.

2. EL MÉTODO EVALUATIVO CENTRADO EN ELCLIENTELos exigentes requisitos federales para la evaluación que se impusie-

ron en la educación americana en la década de los sesenta estimularon eldesarrollo de algunos nuevos métodos evaluativos. Uno de estos métodosfue introducido por Robert Stake en 1967 con lo que se dio en llamar“modelo de la figura (countenance) para la evaluación educacional”.

Este método está construido sobre la noción de Tyler acerca deque los evaluadores deben comparar los resultados deseados y losobservados, pero amplía el concepto de evaluación pidiendo un exa-men de los antecedentes, del proceso, de las normas y de los juicios,además de los resultados.

2.1. Las aportaciones de Stake

Los aspectos principales que se destacan de la concepción deStake, son los siguientes:

• Las evaluaciones deben ayudar a las audiencias a observar ymejorar lo que están haciendo.

• los evaluadores deben analizar los programas con relación tantoa los antecedentes y las operaciones como a los resultados.

• Los efectos secundarios y los logros accidentales deben ser tanestudiados como los resultados buscados.

• Los evaluadores deben evitar la presentación de conclusionesfinales resumidas, pero en su lugar deben recopilar, analizar yreflejar los juicios de una amplia gama de personas interesadasen el objeto de la evaluación.

Stake subraya que lasevaluacionesprobablemente noserán útiles si losevaluadores noconocen el lenguaje ylos intereses de suaudiencia y si norealizan sus informescon ese lenguaje

106

• Los experimentos y los tests regularizados son a menudo inade-cuados o insuficientes para satisfacer los propósitos de unaevaluación, y deben ser sustituidos o completados con unavariedad de métodos incluyendo los “soft” y los subjetivos.

2.2. La evaluación respondenteStake desarrolló su filosofía de la evaluación durante los últimos

años sesenta y los primeros setenta, y en 1975 presentó su concep-ción ya ampliada con el nombre de “evaluación respondente”. Estapresentación conservó el énfasis en el método de la figura exami-nando "toda figura de un programa”, pero rompió totalmente con latradición tyleriana al recoger información con el fin de discutir si sehabían realizado las intenciones originales. En cambio, la evaluaciónrespondente asumía que las intenciones pueden cambiar y pedía unacomunicación continua entre el equipo evaluador y la audiencia conel fin de descubrir, investigar y solucionar los problemas.

Fundamentalmente, el método de la evaluación respondentesubraya marcos para el desarrollo del aprendizaje, las transaccionesdidácticas, informaciones para emitir los juicios, informe holístico yasistencia a los educadores.

Al ampliar el método, suscribió una definición general de evalua-ción que él atribuía a Scriven. De acuerdo con esta definición, la eva-luación es un valor observado comparado con alguna norma.

Stake advierte al evaluador que realice un amplio informe de loque se ha observado acerca del programa y de la satisfacción o insa-tisfacción que transmite un grupo de personas adecuadamente selec-cionado ante el mismo.

Este sistema es claramente reminiscente del texto Countenance,en el que Stake afirma que las dos principales tareas de la evaluaciónson la descripción y el juicio. Al comentar la evaluación responden-te, Stake no contempla al evaluador recopilando normas, clasificán-dolas según su importancia y reduciendo estas escalas a un juicioglobal. Por el contrario, el evaluador debe hacer referencia, simple-mente a las opiniones de la gente acerca del programa y no juzgarlas,clasificarlas o sintetizarlas.

Stake subraya que las evaluaciones probablemente no serán útilessi los evaluadores no conocen el lenguaje y los intereses de suaudiencia y si no realizan sus informes con ese lenguaje.

2.3. Evaluación preordenada versus evaluación respondente

Stake contrasta en repetidas ocasiones el método de la evaluaciónrespondente y la evaluación preordenada. El siguiente cuadro resumeeste contraste.

107

PRINCIPALES DISTINCIONES ENTRE LA EVALUACIÓN PREORDENADA Y LA EVALUACIÓN RESPONDENTE

Distinción

1. Propósito

2. Alcance de los servicios

3. Contratos

4. Orientación principal

5. Planificaciones

6. Metodología

7. Técnicas preferidas

8. Comunicaciones entre elevaluador y el cliente

9. Bases para la interpreta-ción de los valores

10. Diferencias fundamen-tales

11. Previsiones para evitarla tendenciosidad

Evaluación Preordenada

Determinar hasta qué punto han sidoalcanzadas las metas

Satisfacer los requisitos informativos talcomo se había acordado al principio delproceso

Las obligaciones de las partes formalesde la evaluación se negocian y definentan específicamente como sea posible alprincipio del proceso

Propósitos del programa, indicación delas variables

Preespecificadas

Reflejo del «Modelo investigativo»: inter-vención y observación

Diseño experimental, objetivos de com-portamiento, hipótesis, muestreo al azar,tests objetivos, estadísticas de resumene informes investigativos

Formales e infrecuentes

Referencias a los objetivos preestableci-dos, a los grupos de reglas y a los pro-gramas competitivos

Sacrifica el servicio directo a los quetoman parte en el programa por la pro-ducción de informes investigativos obje-tivos

Utiliza procedimientos objetivos y pers-pectivas independientes

Evaluación Respondente

Ayuda a los clientes a distinguir las vir-tudes y los defectos

Responde a los requisitos informativosde la audiencia a lo largo de todo el pro-ceso

Los propósitos y procedimientos seesbozan de una manera muy generalal principio y se desarrollan durante elproceso

Problemas y actividades del programa

Se van haciendo a sí mismas

Reflejo de lo que la gente hace «natural-mente»: observa, interpreta y especifica

Estudio de casos concretos, objetivosexpresivos, muestreo intencionado,observación, exámenes de programasopuestos e informes expresivos

Informales y continuas

Referencias a las distintas perspectivasde valor de las personas próximas

Sacrifica cierto grado de precisión en lavaloración para que pueda aumentar lautilidad

Reproducción y definición operacionalde los términos ambiguos

Para identificar ysolucionar losproblemas, Stakeaconseja al equipoevaluador que sefamiliarice con elprograma hablandocon la gente paraalcanzar unacomprensión mutuaacerca de la existenciade ciertos problemas

108

2.4. La estructura de la evaluación respondente

Después de contrastar la evaluación preordenada y la evaluación

respondente Stake amplía su concepto de evaluación respondente. Y lo

hace, especialmente, describiendo su estructura sustancial y funcional.

La estructura sustancial

Para Stake, los problemas son la primera parte de la estructura sus-

tancial. En la evaluación respondente, éstos pueden entenderse como

áreas donde se producen desacuerdos, dudas y cuestionamientos.

Aunque proporciona directrices para la investigación, se muestra con-

trario a las recopilaciones de datos cuantitativos demasiado limitadas.

Para identificar y solucionar los problemas, Stake aconseja al

equipo evaluador que se familiarice con el programa hablando con

la gente para alcanzar una comprensión mutua acerca de la exis-

tencia de ciertos problemas y que, más adelante, utilice esos pro-

blemas como estructura de futuras discusiones y para desarrollar

planes de recopilación de información. El equipo evaluador debe

identificar y dar solución a los problemas a lo largo de todo el pro-

ceso de evaluación.

Stake afirma que la segunda parte de la estructura sustancial de la

evaluación respondente consiste en un esquema para la recopilación

de información. Además de los problemas, señala que este esquema

Antecedentes

Transacciones

Resultados

Base lógica

Matriz de descripción Matriz de juicio

Intenciones(Lo que pretende

la gente)

Observaciones(Lo que percibe

la gente)

Normas(Lo que la gentegeneralmente

aprueba)

Juicios(Lo que la gente

cree que debe serel programa

principal

Figura 16ESQUEMA DE STAKE PARA LA RECOPILACIÓN DE DATOSEN LA EVALUACIÓN DE UN PROGRAMA EDUCATIVO

109

Para Stake, losevaluadores son“buscadores de laverdad”, pero algunosse toman su papeldemasiado en serio,puesto que existenmuy pocas verdadesobjetivas en laevaluación, si es queexiste alguna. Encambio, señala queexisten “realidadesmúltiples”, lo cualquiere decir que laverdad, reside en losojos del observador

debe proporcionar una estructura adicional para la recopilación dedatos. A través de la utilización de este esquema, el equipo evaluadortratará de identificar perspectivas múltiples e incluso contradictoriasy examinar las congruencias y las contingencias (Figura 16).

Las observaciones más importantes incluyen la base lógica delprograma; sus antecedentes previstos y los observados, los intercam-bios y los resultados; las diversas normas que los distintos gruposcreen que deben cumplirse; y sus distintos juicios acerca de ellas.

Stake identifica la observación de las personas como la terceraparte de la estructura sustancial de la evaluación respondente.Subraya su importancia y afirma que son los mejores instrumentosde investigación para muchos problemas evaluativos.

La parte cuarta y final de la estructura sustancial de la evaluaciónrespondente es la validación. Stake responsabiliza al evaluador res-pondente de proporcionar la cantidad de información suficiente, pro-cedente de numerosas fuentes independientes y creíbles, como paraque pueda representar efectivamente el estado ya observado del pro-grama, de cualquier forma complejo.

La estructura funcional

Dejando ya atrás la estructura sustancial de la evaluación respon-dente, Stake considera su estructura funcional. La evaluación respo-dente requiere la realización de una gran cantidad de observaciones,sin poder estructurarse en fases lineales: la observación y la infor-mación continua son importantes a lo largo de toda la evaluación.

Expuestas estas condiciones, Stake presenta la estructura fun-cional de la evaluación respondente bajo la forma de la evalua-ción reloj, tal como aparece en la Figura 17. Subraya que no setrata de un reloj normal; se mueve en la dirección de las agujasdel reloj, en sentido contrario y en cualquier otro sentido quepueda satisfacer mejor las necesidades del cliente. Seguramente,Stake concibe el reloj sólo como algo heurístico, y no como unaserie de directrices técnicas, puesto que no llega a explicar niilustra su utilización.

ConclusionesPara Stake, los evaluadores son “buscadores de la verdad”, pero

algunos se toman su papel demasiado en serio, puesto que existenmuy pocas verdades objetivas en la evaluación, si es que existe algu-na. En cambio, señala que existen “realidades múltiples”, lo cualquiere decir que la verdad, reside en los ojos del observador.

La evaluación internaes más útil que laexterna y lasautoevaluaciones sonmás útiles que lasevaluacionescentralizadas

110

Como consecuencia, recomienda a los evaluadores que recopileny presenten las perspectivas de distintas personas y grupos. Lesadvierte que no crean que sólo los resultados cuantificables puedenhablar del valor de un programa; dice que existen muy pocos datoscríticos en un estudio y que los resultados deben ser valorados aveces, pero otras veces no. Destaca que los evaluadores pueden esco-ger distintos caminos para revelar la utilidad de un programa y añadeque ni los tests escritos ni otros datos concretos deben ser contem-plados como absolutamente esenciales, aun que tampoco deben serautomáticamente excluidos.

En opinión de Stake, la evaluación interna es más útil que la exter-na y las autoevaluaciones son más útiles que las evaluaciones centra-lizadas. En conjunto, recomienda a los evaluadores que utilicen cual-quier técnica y fuente de información que les parezca relevante paradescribir la complejidad y la realidad múltiple de un programa y paracomunicar esa complejidad, aunque el resultado sea dudoso y difi-culte la toma de decisiones.

En cuanto al papel del evaluador, Stake señala que una tarea fun-damental en cualquier evaluación es determinar su propósito y los

12Hablar con los clientes,

el personal del programay las audiencias

1Identificar el alcance

del programa

2Panorama de las actividades

del programa

3Descubrir los propósitos

e intereses

4Conceptualizar las cuestiones

y los problemas

5Identificar los datos

necesarios para investigarlos problemas6

Seleccionar observadores,jueces e instrumentos,

si los hay

7Observar los antecedentes,

las transecciones y losresultados propuestos

8Desarrollar temas, preparardescripciones y estudiar

casos concretos

9Validación: confirmación,búsqueda de evidenciaspara la no confirmación

10Esquema para uso

de la audiencia

11Reunir los informesformales si los hay

Figura 17LA ESTRUCTURA FUNCIONAL DE LA EVALUACIÓNSEGÚN STAKE: LA EVALUACIÓN RELOJ

111

Los intentos devaloración de losproductos educativosdejan paso a unestudio intensivo delprograma comototalidad: su baselógica, su evolución,sus operaciones, suslogros y susdificultades

criterios que deben ser valorados. Apuntando que existen, por lomenos, siete propósitos legítimos en una evaluación:

1. Documentar los acontecimientos.

2. Informar del cambio.

3. Determinar la vitalidad institucional.

4. Localizar la raíz de los problemas.

5. Colaborar en la toma de decisiones administrativas.

6. Proponer una acción correctiva.

7. Intensificar nuestra comprensión de la enseñanza y el aprendi-zaje, o combinaciones entre los propósitos anteriores.

Así, cada evaluador debe tomar su propia decisión sobre estosproblemas, y ser, en este aspecto, reduccionista y convergente. Stakerecomienda a los evaluadores que no trabajen con nociones de éxitopreconcebidas. En lugar de eso, les sugiere que, en primer lugar,presten mucha atención al hecho de “por qué ha sido encargada laevaluación”, luego analicen lo que sucede y, finalmente, negocien yescojan las cuestiones de valor y los criterios.

3. LA EVALUACIÓN INNOVATIVAEn este caso se expone el método de evaluación innovativa que, a

diferencia de los dos modelos anteriores, está especialmente vincula-da a la evaluación en un ámbito temático específico como es el edu-cativo pero que, en su planteamiento y concepción generales resultatrasladable a otros ámbitos.

De un modo característico, los métodos de evaluación convencio-nales han seguido las tradiciones experimentales o psicométricasdominantes en la investigación educativa. Los evaluadores innovati-vos creen que estos métodos tienen un alcance limitado e inadecua-do para dilucidar los complejos problemas con que se enfrentan losevaluadores.

La evaluación innovativa se presenta vinculada a un paradigma deinvestigación antropológica opuesto. Los intentos de valoración delos productos educativos dejan paso a un estudio intensivo del pro-grama como totalidad: su base lógica, su evolución, sus operaciones,sus logros y sus dificultades.

La crítica principal que se hace al modelo basado en objetivos esque valora sin explicar, mientras que la metodología innovativa, con-templando el programa como un todo, utiliza más la descripción quelas cuantificaciones.

Se intenta plantear yclarificar una complejaserie de cuestiones,ayudando al innovadory a otras partesinteresadas aidentificar aquellosprocedimientos yaspectos del programaque pueden conseguirlos resultadosdeseados

112

3.1. La evaluación innovativa: un paradigma socio-antropológico

En el ámbito de los programas educativos la evaluación innovati-va tiene en cuenta el amplio contexto en el que funcionan los pro-gramas educativos; así, su principal preocupación es la descripción yla interpretación, más que la valoración y la predicción. Parlett yHamilton afirman: “Es indiscutible que en el paradigma alternativoantropológico no pueden ser ignorados los efectos históricos, cultu-rales y sociales”. Las metas de la evaluación innovativa son lassiguientes:

1. Estudiar el programa innovador: cómo opera, cómo influye enlas distintas situaciones escolares a las que se aplica, sus ven-tajas e inconvenientes, y cómo se ven afectadas las tareas inte-lectuales y las experiencias académicas de los estudiantes.

2. Descubrir y documentar qué significa participar en el esquema,ya sea como docente o como alumno.

3. Discernir y comentar las características más significativas dela innovación, las concomitancias recurrentes y los procesoscríticos

De esta manera se intenta plantear y clarificar una compleja seriede cuestiones, ayudando al innovador y a otras partes interesadas aidentificar aquellos procedimientos y aspectos del programa quepueden conseguir los resultados deseados.

Como afirman Parlett y Hamilton, la adopción de una evaluacióninnovativa requiere algo más que un intercambio de metodologías(con las tradicionales); implica también nuevos supuestos, conceptosy terminología para comprender la evaluación innovativa desde nue-vos planos de análisis.

3.2. Organización y métodos de la evaluación innovativa

La evaluación innovativa no es un método regularizado, sino unaestrategia de investigación general. Pretende ser adaptable para descu-brir las dimensiones, metas y técnicas de la evaluación, y ecléctica paraproporcionar al equipo evaluador una serie de técnicas de estudio.

Las decisiones acerca de la estrategia que debe ser utilizada en cadacaso concreto surgen del problema que debe investigarse. Ningúnmétodo se utiliza de forma exclusiva o aisladamente; se combinan dis-tintas técnicas para arrojar un poco de luz sobre un problema común.

Inicialmente, como afirman Parlett y Hamilton, la preocupación delevaluador es familiarizarse con la realidad cotidiana del marco en elque está investigando. Este propósito es similar al de los antropólogos

113

Su tarea principal esdesenmarañarla, aislarsus características mássignificativas, esbozarlos ciclos causa-efecto ycomprender lasrelaciones entre lascreencias y las prácticasy entre los modelos dela organización y losmodelos de losindividuos

sociales o los historiadores naturales. No intenta manipular, controlaro eliminar las variables situacionales, sino abarcar toda la complejidadde la escena: “Su tarea principal es desenmarañarla, aislar sus caracte-rísticas más significativas, esbozar los ciclos causa-efecto y compren-der las relaciones entre las creencias y las prácticas y entre los mode-los de la organización y los modelos de los individuos”.

Dado que las evaluaciones innovativas subrayan el examen delprograma como una parte integrante del entorno del aprendizaje, elénfasis se traslada a la observación sobre el terreno (centros) y lasentrevistas con profesores y estudiantes. Parlett y Hamilton afirmanque existen tres etapas características de una evaluación innovativa:

1. La fase de observación, en la cual se investiga toda la ampliagama de variables que afectan al resultado del programa o lainnovación.

2. La etapa de investigación, en la cual el interés se desplaza desdeel reconocimiento (fase de observación) hacia la selección yplanteamiento de cuestiones de una manera coherente y ecuáni-me, con el fin de realizar una lista sistemática y selectiva de losaspectos más importantes del programa en su contexto.

3. La etapa de explicación, en la que los principios generales sub-yacentes a la organización del programa son expuestos y sedelinean los modelos causa-efecto en sus operaciones.

Dentro de esta estructura de tres etapas, se recogen informacio-nes utilizando datos recopilados en cuatro áreas: observación, entre-vistas, cuestionarios y tests así como las fuentes documentales yantecedentes existentes.

La observación

La fase de observación ocupa un lugar central en la evaluacióninnovativa. El equipo evaluador recopila información continua acer-ca de las actividades, las transacciones y los comentarios informales.Los datos deben ser organizados allí donde surjan y luego añadirsecomentarios interpretativos sobre “las características de la situación,tanto manifiestas como latentes”.

Las convenciones y metáforas del lenguaje que caracterizan lasconversaciones de cada medio de aprendizaje pueden revelar presupo-siciones tácitas, relaciones interpersonales, diferencias de rango, etc.Parlett y Hamilton señalan, así mismo, la existencia de un lugar para laobservación codificada, mediante la utilización de registros para cono-cer la asistencia, el uso del tiempo y de las facilidades disponibles, lasinteracciones interpersonales, etcétera. El evaluador innovativo debe

Dado que lasevaluacionesinnovativas subrayanel examen delprograma como unaparte integrante delentorno delaprendizaje, el énfasisse traslada a laobservación sobre elterreno y lasentrevistas conprofesores yestudiantes

114

ser precavido, de todas formas, al utilizar estas técnicas, puesto que nopueden descubrir las características intrínsecas del programa.

Las entrevistas

Descubrir los puntos de vista de los participantes es muy impor-tante para la valoración del impacto de un programa. Las entrevistasbreves y estructuradas son convenientes para obtener informaciónbiográfica o demográfica, mientras que las entrtevistas más abiertasy discursivas suelen ser de mucha utilidad para temas más comple-jos. Si la insuficiencia de tiempo y dinero imposibilita entrevistar acada participante (y esto ocurre con frecuencia), puede realizarse unamuestra de entrevistas escogidas al azar, teniendo un especial cuida-do en asegurarse de que los informantes o grupos particulares quemantengan una posición especial o cuyo punto de vista resulte nota-ble, estarán incluídos en la muestra.

Cuestionarios y tests

Aunque el equipo evaluador se concentra en la observación y laentrevista, no deben olvidarse la necesidad de utilizar cuestionariosque combinen preguntas cerradas y abiertas, que demuestran ser úti-les aunque nunca utilizados de forma exclusiva. Sus ventajas en lasevaluaciones de gran escala son especialmente evidentes, aunquetambién pueden utilizarse de manera provechosa en las más reduci-das. Los participantes pueden también preparar comentarios escritosacerca del programa, elaborar y utilizar listas de control o recopilardiarios de trabajo por un período de tiempo determinado.

Los evaluadores pueden también utilizar tests de actitud, personali-dad y logros, aunque éstos no gocen de una condición privilegiada enel estudio. Las calificaciones de los tests nunca deben ser utilizadasaisladamente. Para dar cuenta de los propósitos, no deben comparar lasdistintas escalas de los tests, sino utilizar esta comparación en una pre-sentación de los resultados del estudio en su contexto global.

Información documental y sobre los antecedentes

Los antecedentes históricos de un programa deben ser considera-dos, puesto que no están ahí por azar. Pueden utilizarse las fuentesprincipales, como los datos confidenciales archivados, junto conrelatos autobiográficos y de testigos del programa. A través de estainformación se pueden identificar áreas relevantes para ser investi-gadas o subrayar temas en una discusión más profunda. Igualmente,puede sacar a la luz aspectos de la innovación que de otra manerahubieran quedado ocultos.

115

Bibliografía Básica

“Orientaciones Comunes para el Seguimiento y las Evaluaciones Intermedias”Comisión Europea 1996

“Actes de la Conference Europeene sur les Pratiques d´Evaluation en Matierede Politiques Structurelles” Comisión Europea 1998

“Méthodologie pour l´Évaluation Ex-Post des Programmes Opérationnels Co-financés par le F.S.E.”Comisión Europea 1991

“Organising Intermediate Evaluation in the context of Parthership”Programa Means Documento 1, 1995.

“Identifying the Structuring Effects of Community Interventions”Programa Means Documento 2, 1995

“Measuring the Employment Effects of Community Structural Interventions”Programa Means Documento 3, 1995

“Quality Assessment of Evalaution Reports: a Framework”Programa Means Documento 5, 1996

“Evaluating the Contribution of the Structural Funds to Employment”Programa Means Documento 6, 1996

“Evaluación de Programas de Intervención Social”Trinidad Requena A. y Pérez Sánchez M.Revista del Ministerio de Trabajo y Asuntos Sociales. Madrid 1998.

“¿Cómo Evaluar Programas y Servicios Públicos?. Aproximación Sistémica yEstudios de caso”Ballart XavierMinisterio para las Administraciones Públicas. Madrid 1992

“Metodología de Evaluación de la Cooperación Española”Secretaría de Estado para la Cooperación Internacional y para Iberoamérica.Ministerio de Asuntos Exteriores. Madrid 1998

116

“Evaluation”Stufflebeam Daniel L. y Shinkfield Anthony J.Kluber-Nijhoff Publishing. Boston 1985

“Standars for Evaluation of Educational Programs, Proyects, and Materials”Joint Committee on Standars for Educational EvaluationMcGraw-Hill New York, 1981

“Evaluación para una mejor gestión. Revisión intermedia de los programasestructurales Objetivos nº 1 y 6 (1994-1999)”Comisión Europea 1999

“Comment Évaluer les Effets Structurants: Etat des Débats Méthodologiques”Comisión Europea 1993

“Guide for Cost Benefit Analysis of Mayor Projects in the Context of RegionalPolicy” Comisión Europea 1994