estudio retrospectivo sobre las evaluaciones - world bank · estudio retrospectivo sobre las...

Autoevaluación del DEO

Estudio retrospectivosobre las evaluacionesde la asistencia a los países

Estudio retrospectivosobre las evaluacionesde la asistencia a los países

BANCO MUNDIAL

BANCO MUNDIAL D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S

D E L B A N C O M U N D I A L

ISBN

The

World

Bank

Estudio retrospectivo sobre las evaluaciones de la asistencia a los países

Autoevaluación del DEO

34467

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

Pub

lic D

iscl

osur

e A

utho

rized

MAYOR EFICACIA PARA EL DESARROLLO MEDIANTE LA EXCELENCIA Y LA INDEPENDENCIA EN LA EVALUACIÓN

El Departamento de Evaluación de Operaciones (DEO) es una unidad independiente dentro del Banco Mundial.Evalúa qué es lo que funciona o no funciona, qué va a hacer un prestatario para ejecutar y mantener un proyecto, ycuál es la contribución duradera del Banco al desarrollo general de un país. Las metas de la evaluación son aprenderde la experiencia, establecer una base objetiva para evaluar los resultados de la labor del Banco, y promover unamayor identificación con el logro de sus objetivos. También mejora la actuación del Banco identificando y difundiendolas enseñanzas aprendidas de la experiencia y elaborando recomendaciones basadas en las conclusiones de la evaluación.

DEPARTAMENTO DE EVALUACIÓN DE OPERACIONES

Serie de estudios2003 Annual Review of Development Effectiveness: The Effectiveness of Bank Support for Policy ReformAgricultural Extension: The Kenya ExperienceAssisting Russia’s Transition: An Unprecedented ChallengeBangladesh: Progress Through PartnershipBridging Troubled Waters: Assessing the World Bank Water Resources StrategyThe CGIAR: An Independent Meta-Evaluation of the Consultative Group on International Agricultural ResearchDebt Relief for the Poorest: An OED Review of the HIPC InitiativeDeveloping Towns and Cities: Lessons from Brazil and the PhilippinesThe Drive to Partnership: Aid Coordination and the World BankFinancial Sector Reform: A Review of World Bank AssistanceFinancing the Global Benefits of Forests: The Bank’s GEF Portfolio and the 1991 Forest Strategy and Its ImplementationFiscal Management in Adjustment LendingIDA’s Partnership for Poverty ReductionImproving the Lives of the Poor Through Investment in CitiesIndia: The Dairy RevolutionInformation Infrastructure: The World Bank Group’s ExperienceInvesting in Health: Development Effectiveness in the Health, Nutrition, and Population SectorJordan: Supporting Stable Development in a Challenging RegionLesotho: Development in a Challenging EnvironmentMainstreaming Gender in World Bank Lending: An UpdateThe Next Ascent: An Evaluation of the Aga Khan Rural Support Program, PakistanNongovernmental Organizations in World Bank-Supported Projects: A ReviewPoland Country Assistance Review: Partnership in a Transition EconomyPoverty Reduction in the 1990s: An Evaluation of Strategy and PerformancePower for Development: A Review of the World Bank Group’s Experience with Private Participation in the Electricity SectorPromoting Environmental Sustainability in DevelopmentReforming Agriculture: The World Bank Goes to MarketSharing Knowledge: Innovations and Remaining ChallengesSocial Funds: Assessing EffectivenessUganda: Policy, Participation, PeopleThe World Bank’s Experience with Post-Conflict ReconstructionThe World Bank’s Forest Strategy: Striking the Right BalanceZambia Country Assistance Review: Turning an Economy Around

Serie de estudios sobre países Bosnia and Herzegovina: Post-Conflict ReconstructionBrazil: Forests in the Balance: Challenges of Conservation with DevelopmentCameroon: Forest Sector Development in a Difficult Political EconomyChina: From Afforestation to Poverty Alleviation and Natural Forest ManagementCosta Rica: Forest Strategy and the Evolution of Land UseEl Salvador: Post-Conflict ReconstructionIndia: Alleviating Poverty through Forest DevelopmentIndonesia: The Challenges of World Bank Involvement in ForestsUganda: Post-Conflict Reconstruction

Actas Global Public Policies and Programs: Implications for Financing and EvaluationLessons of Fiscal AdjustmentLesson from Urban TransportEvaluating the Gender Impact of World Bank AssistanceEvaluation and Development: The Institutional Dimension (Transaction Publishers)Evaluation and Poverty ReductionMonitoring & Evaluation Capacity Development in AfricaPublic Sector Performance—The Critical Role of Evaluation

Ediciones multilingües Allègement de la dette pour les plus pauvres : Examen OED de l’initiative PPTE

Appréciation de l’efficacité du développement :

L’évaluation à la Banque mondiale et à la Société financière internationale

Determinar la eficacia de las actividades de desarrollo:

La evaluación en el Banco Mundial y la Corporación Financiera Internacional

Côte d’Ivoire : Revue de l’aide de la Banque mondiale au pays

Filipinas: Crisis y oportunidades

Reconstruir a Economia de Moçambique

http://www.worldbank.org/oed

PUBLICACIONES DEL DEO

Estudio retrospectivosobre las evaluacionesde la asistencia a los paísesAutoevaluación del DEO

2005Banco Mundial

Washington, D.C.

D E P A R T A M E N T O D E E V A L U A C I Ó N D E O P E R A C I O N E S D E L B A N C O M U N D I A L

http://www.worldbank.org/oed

© 2005 Banco Internacional de Reconstrucción y Fomento / Banco Mundial

1818 H Street, N.W.

Washington, D.C. 20433

Teléfono: (202) 473-1000

Internet: www.worldbank.org

Correo electrónico: [email protected]

Reservados todos los derechos

Hecho en los Estados Unidos de América

Primera edición: mayo de 2005

Los resultados, interpretaciones y conclusiones que aquí se expresan pertenecen a los autores, y no reflejan necesariamente

las opiniones el Directorio Ejecutivo del Banco Mundial ni de los gobiernos que representa.

El Banco Mundial no garantiza la exactitud de los datos que figuran en esta publicación. Las fronteras, los colores,

denominaciones y demás información incluidos en cualesquiera de los mapas que figuran en este volumen no suponen juicio

alguno por parte del Banco Mundial acerca de la situación jurídica de ningún territorio, ni el respaldo o la aceptación de esas

fronteras.

Derechos y autorizaciones

El material contenido en esta publicación está registrado como propiedad intelectual. Su reproducción o transmisión total o

parcial sin la debida autorización puede constituir una violación de la ley vigente. El Banco Mundial alienta la difusión de sus

publicaciones y, normalmente, autorizará su reproducción sin demora.

Los permisos para fotocopiar o reproducir cualquier parte de estos materiales pueden obtenerse enviando una solicitud

con toda la información necesaria a Copyright Clearance Center, Inc., 222 Rosewood Drive, Danvers, MA 01923, EE.UU.;

teléfono: (978) 750-8400; fax: (978) 750-4470; sitio web: www.copyright.com.

Cualquier otra consulta sobre derechos y licencias, incluidos derechos subsidiarios, deberá dirigirse a la siguiente

dirección: Office of the Publisher, The World Bank, 1818 H Street, N.W., Washington, D.C. 20433, EE.UU.; fax: (202) 522-2422;

correo electrónico: [email protected].

Las fotografías de la portada se publican por cortesía de la Fototeca del Banco Mundial.

ISBN

e-ISBN

Se ha solicitado la catalogación de la edición en inglés a la Biblioteca del Congreso de los Estados Unidos.

Impreso en papel reciclado

World Bank InfoShop

Correo electrónico: [email protected]

Teléfono: (202) 458-4554

Fax: (202) 522-1500

Departamento de Evaluación de Operaciones

Grupo de programas de gestión de conocimientos y

desarrollo de la capacidad de evaluación (OEDPK)

Oficina: 19-352

MSN: 19-903

Teléfono: (202) 458-0382

Fax: (202) 522-3125

i i i

v Reconocimientos

vii Prefacio

ix Resumen

xiii Siglas

1 1 Introducción 1 Antecedentes2 Enfoque de la evaluación retrospectiva sobre las EvAP

3 2 Parte I: ¿Qué hemos aprendido?3 Constataciones 5 Enseñanzas aprendidas

11 3 Parte II: ¿Cómo puede mejorarse el instrumento de las EvAP? 12 Efecto de las EvAP en la formulación de las estrategias pertinentes13 Metodología16 Calificaciones 18 Situaciones hipotéticas en ausencia de intervención19 Cronología21 Interacción con los equipos a cargo de las operaciones en el país21 Interacción con los beneficiarios22 Mejora de la presentación de las EvAP

23 Anexos25 A: Metodología de las EvAP29 B: Evaluaciones de la asistencia a los países realizadas entre

los ejercicios de 1995 y 200431 C: Resumen de las entrevistas con miembros del Directorio y

del Comité sobre la eficacia en términos de desarrollo35 D: Discusiones del Directorio sobre las EAP, y documentos de las EAP39 E: Resumen de las entrevistas con personal del Banco43 F: Resumen de los métodos de evaluación de países

empleados por otros organismos

Índice

45 Apéndice

47 Notas finales

49 Referencias

Recuadro17 3.1: Las calificaciones insatisfactorias de los efectos directos no

implican un desempeño deficiente del Banco

Gráfico36 1: Distribución de referencias conexas

Cuadros4 2.1: Características de los 25 países incluidos en las EvAP5 2.2: Calificaciones de los efectos directos de las EvAP y de los proyectos 5 2.3: Calificaciones sectoriales y de proyectos, EvAP de los ejercicios

de 2001–0343 F.1: Utilización de los principales instrumentos metodológicos

ESTUDIO RETROSPECTIVO SOBRE LAS EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES: AUTOEVALUACIÓN DEL DEO

i v

v

Reconocimientos

El presente Estudio retrospectivo sobre lasevaluaciones de la asistencia a los países(EvAP) es obra de Poonan Gupta (jefa de

proyecto) y Kyle Peter (directivo superior). RenéVandendries, Chandra Pant, John Johnson y Asitade Silva colaboraron con su apoyo y sugerencias.

Varios evaluadores y consultores externos inde-pendientes ayudaron a preparar esta autoevalua-ción. Mike Hendricks evaluó los métodos de EvAP.Sharon Felzer preparó orientaciones para las en-trevistas estructuradas en colaboración con PatrickGrasso (DEO, Oficina del Director). David Shirleyentrevistó a personal del Comité sobre la eficacia

en términos de desarrollo (CODE) y del Bancopara el presente estudio. Svenja Weber-Venghausrevisó las transcripciones de las EAP, y Brandie Sas-ser y Weber-Venghaus examinaron los métodosutilizados por otros donantes en sus evaluacionessobre los programas de los países. Janice Joshi yAgnes Santos ofrecieron apoyo administrativo.

Marcelo Selowsky, de la Oficina de EvaluaciónIndependiente del Fondo Monetario Internacio-nal, y Ulrich Zachau (LCRVP) se encargaron delexamen colegiado del presente informe. El examencolegiado externo se confió a Vijay Kelkar y FaikOztrak.

Director general interino de Evaluación de Operaciones: Ajay Chhibber

Director interino del Departamento de Evaluación de Operaciones: R. Kyle Peters

Directivo superior del Grupo de Evaluación de Países y Relaciones Regionales: R. Kyle Peters

Jefa de proyecto: Poonam Gupta

v i i

Prefacio

El presente informe es una autoevaluación delas evaluaciones de la asistencia a los países(EvAP). En el ejercicio de 2002, el Subcomité

informal del Comité sobre la eficacia en términosde desarrollo (CODE) examinó la metodología delas EvAP y la contribución de éstas a la evaluaciónde las intervenciones del Banco en los países, asícomo la necesidad de continuar mejorando esametodología. En la presente retrospectiva seamplía ese debate y se intenta dar respuesta a dospreguntas: ¿Qué hemos aprendido? ¿Cómo puedemejorarse el instrumento de las EvAP? La primeracuestión se plantea compilando enseñanzas deinterés para las estrategias de asistencia a los paísesa partir de las EvAP más recientes; la segunda,evaluando el proceso, metodología y presentaciónde las EvAP.

En esta retrospectiva se comprueba que unaevaluación de alcance nacional permite hacerseuna idea más completa de los efectos directos delos programas de asistencia del Banco que las eva-luaciones de proyectos o programas concretos. Enun tercio de los programas nacionales evaluados,los resultados agregados de los proyectos eran sa-tisfactorios, pero no lo era, en términos generales,el programa de asistencia al país. Un examen de lasrecientes EvAP revela que el Banco debe compren-der mejor el contexto del país, profundizar suconocimiento sobre el mismo y emprender activi-dades de financiamiento para el ajuste o para polí-

ticas de desarrollo únicamente en situaciones enque la identificación del gobierno sea muy fuerte.Indica también que los efectos directos de losprogramas del Banco en los países pueden me-jorarse realizando un análisis de riesgos másconsistente, reduciendo los niveles de asistenciaplanificada en forma más decidida cuando se pro-duzcan desviaciones con respecto a la política pre-vista y demostrando mayor prudencia en lasactividades de financiamiento en un contexto decambio radical.

La segunda parte de esta retrospectiva está ba-sada en amplias entrevistas con miembros delCODE, sus suplentes y asesores, y personal regio-nal del Banco, así como en evaluaciones de la me-todología y proceso de la EvAP por evaluadoresexternos. En esos estudios se ha comprobado queel marco metodológico utilizado en los últimosaños es fundamentalmente válido, pero presentaalgunos inconvenientes. La estructura suele hacerdemasiado hincapié en los instrumentos delBanco, más que en el logro de los objetivos del pro-grama, y se ha generado cierta confusión cuandoparece que las diferentes secciones de la EvAP lle-van a conclusiones distintas. Estas críticas concuer-dan con las opiniones de algunos miembros delCODE, que consideraban que las EvAP se centra-ban demasiado en las cuestiones relativas al cum-plimiento formal y a los efectos conseguidos conlos instrumentos del Banco, en detrimento de los

resultados alcanzados y los efectos en términos dedesarrollo conseguidos por aquél.

La conclusión de esta retrospectiva es que elcamino a seguir es la adopción de un plantea-miento más basado en los resultados, que vinculeclaramente los objetivos del Banco y sus instru-mentos con los resultados conseguidos. Este plan-teamiento esbozaría los objetivos y resultados claveque el Banco ha tratado de conseguir en un país,sobre la base de las estrategias de asistencia a lospaíses (EAP). En relación con cada objetivo y resul-tado deseado, la EvAP evaluaría la eficacia y perti-nencia de los instrumentos empleados, así como lacontribución relativa del Banco (en cuanto diferentede otras instituciones) a ese objetivo. Este plantea-miento tendría en cuenta la principal recomenda-ción ofrecida por el Directorio del Banco, a saber,que las EvAP se concentren más específicamente enel efecto real de los programas en los países.

En esta retrospectiva se analizan también algunasotras cuestiones que se han planteado en relacióncon las EvAP.

En primer lugar, se examina el debate acerca delas calificaciones de las EvAP. Los miembros delCODE se manifestaron, en general, a favor de lascalificaciones, mientras que la mayoría de los fun-cionarios del Banco entrevistados las criticaron. ElDEO examinará su utilización de las calificaciones

para las EvAP y está considerando también, juntocon la administración, la posibilidad de estandari-zar las autocalificaciones para los informes finalessobre las estrategias de asistencia a los países valida-dos por un examen del DEO. Si este sistema, seme-jante al de calificación de proyectos, se introdujerapara todas las EvAP, las calificaciones de éstas podríanresultar redundantes.

En segundo lugar, se concluye que la cronologíade una EvAP es fundamental para su utilidad. ElDEO mantendrá su política de presentar las EvAP alDirectorio y al personal del Banco aproximada-mente entre tres y nueve meses antes de las deli-beraciones previstas sobre la EAP.

Finalmente, se observa que existe la opinión ge-neralizada de que una mayor interacción con losequipos a cargo de las operaciones en los países ycon los beneficiarios dentro del país durante la pre-paración de la EvAP contribuye a mejorar tanto lacalidad de las EvAP como la aceptación de sus con-clusiones. Por ello, el DEO propone que se realiceun esfuerzo por conseguir que se consulte de ma-nera más uniforme a los beneficiarios del país y secuente con los equipos a cargo del mismo en losexámenes de mitad de período de las futuras EvAPpara poder recibir oportunamente sus observacio-nes sobre las constataciones y recomendaciones amedida que éstas se vayan formulando.


v i i i

Ajay ChhibberDirector general interino, Evaluación de Operaciones

i x

Resumen

El presente informe es una autoevaluación sobrelas evaluaciones de asistencia a los países(EvAP) del Departamento de Evaluación de

Operaciones (DEO). En un debate sobre la metodolo-gía utilizada por el DEO para las evaluaciones de asis-tencia a los países, celebrado en el ejercicio de 2002,el Subcomité informal del Comité sobre la eficacia entérminos de desarrollo (CODE) señaló la contribu-ción de las EvAP a la evaluación de las intervencionesdel Banco en los países y la necesidad de continuarmejorando su metodología. En este estudio retros-pectivo se intenta dar respuesta a esas consideracio-nes, con dos objetivos primarios: primero, compilarenseñanzas de interés para la formulación de lasestrategias de asistencia a los países a partir del con-junto más reciente de EvAP, y segundo, evaluar lasposibles revisiones en el proceso, metodología y pre-sentación de las EvAP.

¿Que hemos aprendido? La primera parte de esta retrospectiva es un resumende algunas de las principales conclusiones y enseñan-zas de las 25 EvAP terminadas durante los ejerciciosde 2001–03, complementadas con algunas aportacio-nes adicionales resultantes de las EvAP finalizadas enel ejercicio de 2004. En conjunto, estas enseñanzasrevelan que el Banco debe comprender mejor el con-texto de los países, profundizar su conocimiento delos mismos y calibrar mejor sus programas de asisten-cia en función del progreso observable en la aplica-ción de las reformas.

En esta retrospectiva se observa que la evaluaciónpor países permite hacerse una idea más completa delresultado de los programas de asistencia del Bancoque las evaluaciones de programas o proyectos con-cretos. En un tercio de los programas de alcance na-cional evaluados, los resultados agregados de losproyectos eran satisfactorios, pero no lo era, en tér-minos generales, el programa de asistencia al país.Ello demuestra la importancia de evaluar el programanacional en forma agregada a través de una EvAP. Delo contrario, es posible que la evaluación no detectealgunas omisiones críticas en los programas de asis-tencia al país; por ejemplo, que las intervenciones delos proyectos quizá no estén resolviendo los principa-les obstáculos al desarrollo.

Otra observación es que el éxito conseguido por elBanco no era el mismo en todos los sectores. Los re-sultados en materia de salud y educación han sido re-lativamente satisfactorios. En cambio, en lo querespecta al desarrollo del sector privado, la gestióndel sector público y el desarrollo rural, los esfuerzosdel Banco han sido menos eficaces en general. Losfactores que explican esos resultados menos favora-bles son los siguientes:

• Las reformas en estos sectores parecen suscitarmayor oposición entre los poderes establecidos ylos posibles perdedores.

• Se necesita tiempo para resolver los problemas decapacidad institucional, y muchos proyectos deestos sectores tratan de mejorar el marco jurídico,

institucional y regulador, pero para conseguir elcambio es preciso superar la inercia y los incenti-vos adversos de las burocracias de muchos países.

• Estos sectores sufren mayores efectos negativosresultantes de acontecimientos exógenos y crisismacroeconómicas. Para mejorar los resultados detodos los sectores habría que hacer mayor hinca-pié en cuantificar y respaldar los indicadores basa-dos en los resultados.

Esta retrospectiva ha permitido extraer varias ense-ñanzas para mejorar la formulación y aplicación de lasestrategias de asistencia del Banco a los países.

En primer lugar, los programas que consiguenbuenos resultados en los países son los que estánadaptados al contexto nacional; un requisito funda-mental es comprender la economía política de las re-formas. La política interna y los poderes establecidosdeterminan en gran parte el primer contenido de lasreformas en los países. Se han encontrado varioscasos en que la falta de comprensión de la economíapolítica de las reformas ha llevado al Banco a impulsarreformas que tenían pocas posibilidades de éxito. Undiálogo más activo con los gobiernos nacionales, elgobierno local y las partes interesadas permite alBanco entender mejor las consideraciones relaciona-das con la economía política.

En segundo lugar, el conocimiento del país estáfuertemente asociado con el éxito. Es un hecho bienconocido que las intervenciones de los proyectos lo-gran mejores resultados cuando están basadas en es-tudios analíticos exhaustivos. La misma conclusión seaplica en el caso de los éxitos o fracasos de los pro-gramas en los países. En la retrospectiva se observaque, en más de dos tercios de los programas ejecuta-dos con éxito en los países, los estudios analíticos delBanco se habían realizado oportunamente. Las activi-dades de asesoramiento y análisis (AAA) pueden sertambién un vehículo eficaz para conseguir que los go-biernos participen en el diálogo sobre políticas e in-formar a la sociedad civil, pero debe prestarse ladebida atención a las actividades de divulgación. Enmuchos casos, no ha sido así. Esta deficiencia puedeobservarse también en los estudios analíticos basadosen la participación, ya que las conclusiones a veces nose divulgan ampliamente fuera de los ministerios gu-bernamentales que colaboraron en los análisis con elBanco.

En tercer lugar, varias EvAP demuestran clara-mente el importante papel que los préstamos para

asistencia técnica e inversión pueden desempeñarpara promover el desarrollo institucional y el fortale-cimiento de la capacidad. Por otro lado, la sostenibili-dad de los beneficios requiere que estas operacionesformen parte de un programa más amplio de estabili-zación y reforma macroeconómica. La probabilidadde éxito aumenta también cuando los préstamos paraasistencia técnica e inversión se vinculan con las re-formas normativas respaldadas por préstamos parafines de ajuste.

En cuarto lugar, el financiamiento para fines deajuste puede dar buenos resultados, sobre todocuando va acompañado de un firme compromiso gu-bernamental con la reforma estructural y la estabiliza-ción macroeconómica; no obstante, en ausencia deun progreso continuado hacia la estabilización y la re-forma, este tipo de financiamiento supone una mayorcarga de la deuda para el país y debilita los incentivosen favor de la reforma. El Banco debe resistir a las pre-siones en favor del financiamiento para fines de ajustecuando no hay un compromiso del gobierno con lasreformas y un historial satisfactorio en su ejecución.De hecho, los testimonios resultantes de las evalua-ciones del DEO sobre los programas de asistencia alos países no contienen pruebas demasiado convin-centes de que el Banco se resistiera a estas presiones.En muchos países, cuando se cedió a esta presión, al-gunos resultados fueron poco satisfactorios y, sobretodo, se debilitó el incentivo en favor de las reformas.

Finalmente, en esta retrospectiva se recomiendanvarias estrategias que mejorarían los resultados de losprogramas de asistencia del Banco:

• Realizar un análisis de riesgos más consistente paraevaluar atentamente el compromiso del prestata-rio con las reformas y su capacidad de ejecución.Todo ello debería estar inspirado en el análisis rea-lizado por otros y en las observaciones recibidasmediante un diálogo más amplio con las partes in-teresadas.

• Reducir el nivel de asistencia prevista cuando seencuentran pruebas convincentes de desviacionescon respecto a la política prevista. El Banco debeestablecer mecanismos de activación claros y sig-nificativos para sus programas de asistencia y re-ducir esta última cuando las circunstancias loaconsejen.

• Prestar con mayor prudencia en un contexto decambio radical. Así ocurre sobre todo cuandoexisten desde antiguo problemas de ejecución.


x

Los niveles de asistencia deberían ser inicialmentemoderados y condicionarse al logro de resultadosmensurables y de puntos de referencia concretos.El financiamiento del Banco produce mejores re-sultados cuando avanza en paralelo con el pro-grama de reformas, sin tratar de adelantarse.

En resumen, las proyecciones o expectativas optimis-tas sin el debido análisis de riesgo muchas veces debi-litan los resultados de las estrategias en los países. Losprogramas no deberían estar basados en los mejoresresultados previstos posibles. Por último, las estrate-gias para los países deben ser flexibles, en vez de ofre-cer un camino único, rígido y estrecho.

¿Cómo puede mejorarse el instrumentode las EvAP?El objetivo primero de una EvAP del DEO es extraerenseñanzas de las actividades anteriores del Bancopara orientar sus estrategias futuras, como medio deilustrar la utilidad del instrumento de la EvAP. No obs-tante, una EvAP es una tarea compleja y, si bien sonmuchos los organismos multilaterales y bilateralesque realizan ahora evaluaciones de los programas lle-vados a cabo en los países, no hay un planteamientometodológico “estándar”. En esta segunda parte de laretrospectiva sobre las EvAP se analizan las metodolo-gías actuales del DEO y las ventajas e inconvenientespercibidos en las EvAP con el fin de introducir nuevasmejoras en la metodología, el proceso de evaluación yla estructura de las mismas.

El DEO formalizó su metodología para las EvAPen el ejercicio de 2000, y a partir de entonces lasEvAP adquirieron carácter más unificado y sistemá-tico. La metodología actual comienza evaluando lapertinencia de la estrategia de asistencia del Banco,habida cuenta de las necesidades y desafíos del país,y en particular si se han omitido algunos de los obs-táculos principales para el desarrollo. Luego, se eva-lúa el programa de asistencia en relación con tresdimensiones: un examen en sentido ascendente delos productos y servicios del Banco (financiamiento,actividades de análisis y asesoramiento, y asociacio-nes); un examen en sentido descendente que per-mite determinar si el programa del Banco alcanzósus objetivos o resultados previstos y contribuyó no-tablemente al desarrollo del país, y un análisis sobrela forma en que el Banco, el prestatario, otros do-nantes y algunos acontecimientos exógenos hancontribuido a los resultados .

Para esta retrospectiva, el DEO ha realizado unaserie de encuestas sobre el uso de las EvAP. Todas lasmedidas objetivas —un estudio de seguimiento sobrelas recomendaciones de las EvAP, un examen de lasconstataciones y recomendaciones de las EvAP en lasposteriores EAP, y deliberaciones del Directorio sobrelas EvAP posteriores— indicaban que las EvAP se men-cionan con frecuencia y sus recomendaciones ocupanun lugar destacado en las EAP del Banco. Los miem-bros del CODE entrevistados para este estudio retros-pectivo opinaban que las EvAP eran útiles, perodudaban de que el personal del Banco estuviera apro-vechando plenamente las conclusiones de las EvAP.Así se manifestaba en las opiniones del personal delBanco, que en general eran mucho menos positivas,pero parecían más favorables cuando existía la per-cepción de que una EvAP había repercutido en la es-trategia del Banco. La conclusión a que se llega en estaretrospectiva es que las EvAP están realizando unalabor útil, pero que una revisión de la metodología,sistema de calificación e interacciones con las partesimplicadas daría lugar a una mayor aceptación y utili-zación.

De acuerdo con una evaluación del propio DEOacerca de esta metodología y según la opinión de unevaluador externo independiente, el marco metodo-lógico, aun siendo fundamentalmente sólido, presen-taba varias deficiencias. En primer lugar, la estructurasuele hacer demasiado hincapié en los instrumentosdel Banco, más que en el logro de los objetivos delprograma. En segundo lugar, puede dar la impresiónde que las diferentes secciones de la EvAP llegan aconclusiones distintas. Por ejemplo, la calificación deresultados sobre el programa de asistencia globalpuede alejarse del total agregado de las calificacionesdel proyecto, como ya se ha señalado. Finalmente, laorganización de las EvAP suele desviar la atención delpaís hacia el Banco, primero, y del Banco hacia el país,más adelante, lo que representa un obstáculo para se-guir la evolución de los acontecimientos. La evalua-ción del DEO está también en consonancia con lasopiniones de los miembros del CODE que opinabanque las EvAP insistían demasiado en las cuestiones re-lacionadas con el cumplimiento formal y los efectosde los instrumentos del Banco, en detrimento de losefectos conseguidos por el Banco en términos de de-sarrollo y de los resultados alcanzados.

Una de las conclusiones de este estudio retrospec-tivo es que el camino a seguir es la adopción de unplanteamiento más orientado a los resultados que vin-

RESUMEN

x i

cule claramente los objetivos e instrumentos delBanco con los resultados alcanzados. Con ello se des-tacarían los objetivos y resultados principales que elBanco ha tratado de conseguir en cada país, sobre labase de las EAP. El examen de la estrategia estaría ba-sado en un sencillo modelo de lógica que relacionalos insumos con los resultados previstos tomandocomo base la información presentada en la EAP y losdocumentos correspondientes. En relación con cadaobjetivo (y resultado previsto), la EvAP evaluaría la efi-cacia (y pertinencia) de los instrumentos utilizados,así como la contribución relativa del Banco (a diferen-cia de la de otras entidades) a ese objetivo. De esa ma-nera, se tendría en cuenta la principal recomendacióndel Directorio Ejecutivo del Banco, a saber, que lasEvAP se centren más en los efectos reales de los pro-gramas en los países.

Las EvAP contienen actualmente calificaciones delos resultados de la asistencia del Banco, su sostenibi-lidad y los efectos en el desarrollo institucional. Estascalificaciones han suscitado debates y críticas, lo queen cierta manera refleja la polémica tradicional entrelos profesionales de la evaluación sobre la disyuntivaentre aprendizaje y rendición de cuentas. Los miem-bros del CODE se declararon en general favorables alas calificaciones, argumentando que era el mejor ins-trumento para garantizar la atención de la administra-ción a los resultados de las EvAP. La mayoría delpersonal del Banco criticaba las calificaciones, en al-gunos casos citando contradicciones patentes entrelas calificaciones y el texto descriptivo o, en otros, ar-gumentando que no había calificaciones diferentespara los distintos períodos. De todas formas, la cues-tión más importante planteada es que muchos lecto-res reciben incorrectamente la impresión de que lacalificación de los resultados es una calificación o delos progresos del país en términos de desarrollo o deldesempeño del Banco. Hay que hacer mucho máspara aclarar el carácter y la base de las calificaciones delas EvAP.

El DEO está examinando estas calificaciones y con-siderando con la administración la regularización delas autocalificaciones para los informes finales sobrelas estrategias de asistencia a los países validados porun examen de dicho departamento. Si este sistema,semejante al de calificación de los proyectos, llegara aaplicarse a todas las EAP, las calificaciones de las EvAPpodrían ser redundantes.

La cronología de las EvAP condiciona en gran partesu utilidad. Para el personal del Banco, las EvAP debe-rían realizarse en los primeros momentos del procesode la EAP; por su parte, los miembros del CODE pre-fieren un debate en fechas próximas al examen de laEAP correspondiente. En esta retrospectiva se hacomprobado que la gran mayoría de las EvAP se ha-bían programado de manera que pudieran orientaradecuadamente la preparación de las EAP y los deba-tes pertinentes. El examen del DEO sobre la cronolo-gía de las EvAP realizado durante los ejercicios de2001–03 indica que, en más del 50% de las EvAP quefueron seguidas de debates del Directorio sobre laEAP, el CODE había celebrado deliberaciones al res-pecto en el plazo de seis meses; en las dos terceraspartes de los casos, las deliberaciones se habían cele-brado en el plazo de un año. Además, a pesar de la im-presión de cierta falta de oportunidad manifestadapor el personal del Banco, las 22 EvAP examinadas porel CODE antes del debate del Directorio sobre las EAPaparecieron mencionadas en éstas. El DEO manten-drá su política de presentar las EvAP al Directorio y alpersonal del Banco aproximadamente entre tres ynueve meses antes de los debates previstos sobre lasEAP, pero observa que la falta de previsibilidad en laprogramación de los debates sobre las EAP representaun grave problema para cumplir este objetivo.

Finalmente, existía la opinión generalizada de quela intensificación de las interacciones con los equiposdel país durante la preparación de las EvAP y con losbeneficiarios locales mejoraría tanto la calidad de lasEvAP como la aceptación de sus conclusiones. Si bienen esta retrospectiva se comprueba que las interac-ciones con los beneficiarios locales han sido muchomás numerosas que lo que indican esas impresiones,el DEO hará lo posible por garantizar de manera másuniforme que se consulte a los beneficiarios del país yque se tengan en cuenta sus opiniones. De la mismamanera, se observa también que una integración mássistemática con los equipos a cargo del país durante elproceso de preparación de la evaluación puede ayu-dar a aclarar y mejorar la aceptación de las constata-ciones de la EvAP y su incorporación en los programasdel país. Por ello, el DEO propone que se cuente conel equipo del país en los exámenes de mitad de perí-odo sobre las EvAP futuras para poder estar al tanto,desde el principio, de las constataciones y recomen-daciones a medida que éstas se van formulando.


x i i

x i i i

Siglas

AIF Asociación Internacional de Fomento ARDE Examen anual de la eficacia en términos de desarrollo BAfD Banco Africano de Desarrollo BID Banco Interamericano de DesarrolloBIRF Banco Internacional de Reconstrucción y FomentoCAD Comité de Asistencia para el Desarrollo CODE Comité sobre la eficacia en términos de desarrollo CPIA Evaluación de las políticas e instituciones nacionales DEO Departamento de Evaluación de Operaciones DP Directores a cargo de las operaciones del Banco en los paísesEAP Estrategia de asistencia a los países EES Estudios económicos y sectorialesEvAP Evaluación de la asistencia a los países NGO Organización no gubernamental OCDE Organización para la Cooperación y el Desarrollo Económicos UNICEF Fondo de las Naciones Unidas para la Infancia VPF Vicepresidente de las oficinas regionales

1

Introducción

El presente informe es una autoevaluación sobre las evaluaciones de asis-tencia a los países (EvAP) del Departamento de Evaluación de Operaciones(DEO). En un debate sobre la metodología de la EvAP celebrado en 2002,

el Subcomité informal del Comité sobre la eficacia en términos de desarrollo(CODE) señaló la contribución de las EvAP a la evaluación de las intervencionesdel Banco en los países y la necesidad de continuar mejorando su metodología.

En esta retrospectiva se intenta dar respuesta a esasconsideraciones, con dos objetivos primarios. En pri-mer lugar, se intenta dar respuesta a la pregunta “¿Quéhemos aprendido?”, compilando enseñanzas de inte-rés para la formulación de estrategias de asistencia a lospaíses a partir de la serie más reciente de EvAP. En se-gundo lugar, se evalúan las revisiones propuestas en elproceso, metodología y presentación de las EvAP conel fin de responder al siguiente interrogante: “¿Cómose puede mejorar el instrumento de las EvAP?”.

AntecedentesLa asistencia para el desarrollo ofrecida por elBanco está ahora firmemente orientada hacialos países. Las estrategias de asistencia a los países(EAP) se han convertido en elemento central de losprogramas del Banco en los países y sitúan su laboroperacional en el contexto de la estrategia y los obje-tivos de desarrollo del país. El Banco está actualmentereforzando su proceso de formulación de estrategiasmediante la adopción de un marco de resultados paralas EAP con el fin de definir más claramente los resul-tados que intenta conseguir en el país así como las vin-culaciones entre estos resultados y el programarespaldado por sus iniciativas.

11

En el contexto del nuevo planteamiento delBanco, más centrado en los países que en losproyectos, el DEO comenzó a evaluar los pro-gramas en los países en el ejercicio de 1995. Elplanteamiento metodológico evolucionó, tomandocomo base la metodología para los proyectos del DEO.En el ejercicio de 2000 había adquirido carácter for-mal1, y en el de 2002, como ya se ha señalado, la me-todología de la EvAP se examinó en la reunión delSubcomité del CODE. El resultado fue un plantea-miento más uniforme y coherente.

La metodología actual comienza evaluando la per-tinencia de la estrategia de asistencia del Banco, ha-bida cuenta de las necesidades y desafíos del país, ydeterminando, entre otras cosas, si se han omitido al-gunos de los obstáculos principales para el desarrollo.Luego, se evalúa el programa de asistencia en relacióncon tres dimensiones. El primer paso es un examen ensentido ascendente de losproductos y servicios delBanco (financiamiento, acti-vidades de análisis y aseso-ramiento, y coordinaciónde la ayuda), que se utilizanpara conseguir sus objeti-

Las estrategias de asistenciaa los países (EAP) se hanconvertido en elementocentral de los programasdel Banco en los países.

vos. El siguiente paso es un examen en sentido des-cendente que permite determinar si el programa delBanco alcanzó sus objetivos o resultados previstos yconsiguió resultados notables en el desarrollo del país.Estos dos primeros pasos permiten comprobar la co-herencia de las conclusiones acerca de los productosy servicios, y las dimensiones del efecto en términosde desarrollo. Finalmente, la EvAP intenta determinarcómo han contribuido a los resultados el Banco elprestatario, otros donantes y algunos acontecimientosexógenos.

Al finalizar el ejercicio de 2004, el DEO habíapresentado EvAP en que se evaluaban los efec-tos de la asistencia del Banco a 64 países2. Estasevaluaciones abarcan aproximadamente el 47% de losprestatarios y el 76% del total de los compromisos bru-tos. En la presente retrospectiva se presta especialatención a las 25 EvAP terminadas en los ejercicios de2001–03, pero se incluyen también algunas ideas re-sultantes de las ocho EvAP adicionales terminadas du-rante el ejercicio de 2004.

Se han llevado a cabo cinco EvAP conjuntascon otras instituciones multilaterales para fo-mentar el intercambio de experiencias y la ar-monización de las evaluaciones. Las EvAP deLesotho y Rwanda fueron preparadas conjuntamentecon el Banco Africano de Desarrollo (BAfD); las de Jor-dania y Túnez, en asociación con el Banco Islámico deDesarrollo, y la de Perú, en paralelo con el Banco In-teramericano de Desarrollo.

Los objetivos principales de estas iniciativas con-juntas han sido promover el aprendizaje por ambaspartes y alentar la elaboración de normas de eva-luación comunes, de acuerdo con el programa másamplio de armonización del Banco y otros donan-tes. Por ejemplo, el BAfD revisó recientemente susorientaciones para las EAP, a fin de armonizarlascon la actual metodología del DEO. Estas evalua-ciones conjuntas también han permitido identificarlos principales obstáculos y deficiencias en la asis-tencia de los donantes. Por ejemplo, la evaluacióndel BAfD sobre su programa en Rwanda puso demanifiesto la falta de una política para las situacio-nes posteriores a los conflictos. Finalmente, las eva-luaciones conjuntas son un medio para reducir lacarga de los países receptores que, de lo contrario,tendrían que realizar numerosas actividades de eva-luación para los distintos donantes. Pero estos be-neficios se ven contrarrestados en parte por loscostos de transacción y el tiempo adicional necesa-rio para las consultas y la coordinación.

2


Enfoque de la evaluación retrospectiva sobrelas EvAPPara alcanzar los dos objetivos de esta retrospectiva, elDEO encargó una serie de estudios de antecedentespara evaluar las enseñanzas aprendidas, la metodolo-gía de las EvAP, y el uso de éstas por el Directorio, elCODE (y el Subcomité del CODE) y el personal delBanco.

• El personal del Banco examinó las 25 EvAP termi-nadas en los ejercicios de 2001–03 para determinarlas enseñanzas que podrían aplicarse a las diferen-tes EvAP. El análisis y conclusiones de este examenpueden verse en la Parte I.

• El DEO encargó una consulta independiente pararealizar investigaciones cualitativas, basadas en en-trevistas en profundidad con miembros del Direc-torio, del CODE y del Subcomité del CODE, y otrosparticipantes en los debates sobre las EvAP en lasreuniones del CODE o de su Subcomité. En total,fueron entrevistadas 30 personas.

• Se llevaron a cabo dos estudios de seguimiento. Seexaminaron las transcripciones de las delibera-ciones del Directorio y las declaraciones escritasde los directores ejecutivos acerca de las EAP o losinformes sobre su aplicación en los países paraevaluar los efectos de las EvAP en las siguientesdeliberaciones sobre las EAP. Asimismo, seanalizaron los estudios documentales de 25 EAP(o los correspondientes informes acerca de suaplicación) presentadas después de las EvAP paradeterminar la oportunidad de estas últimas y lautilización de sus recomendaciones.

• El DEO encargó al mismo consultor independi-ente a quien se habían confiado las entrevistassobre el CODE que llevara a cabo un estudio cuali-tativo semejante con el personal del Banco. Seefectuaron entrevistas en profundidad con 20 di-rectores y ex directores a cargo de países quehabían tenido alguna relación con una o más de las25 EvAP terminadas en los ejercicios de 2001–03,cinco vicepresidentes y ex vicepresidentes re-gionales, y otros 18 funcionarios del Banco.

• Un evaluador profesional examinó el actualplanteamiento metodológico de las EvAP y propusocambios con el fin específico de centrar las EvAP enlos resultados relacionados con las mismas.

• Se llevó a cabo un estudio documental sobre losmétodos de evaluación de los países utilizados porotros organismos bilaterales y multilaterales paraidentificar prácticas recomendables.

3

Parte I: ¿Qué hemosaprendido?

En el presente capítulo se resumen las constataciones y enseñanzas de las25 EvAP terminadas en los ejercicios de 2001–03. Se incluyen tambiénalgunas observaciones resultantes de ocho EvAP terminadas durante el

ejercicio de 20043.

Estas 25 EvAP no son una muestra aleatoria ni re-presentativa. Los países de las EvAP se seleccionanteniendo en cuenta varios factores. El más impor-tante es la cronología de la siguiente estrategia deasistencia al país (EAP) del Banco, pero se tienentambién en cuenta otros factores, como la capaci-dad del DEO para colaborar con otras institucionesfinancieras internacionales, la distribución regionaly el hecho de que en una anterior EvAP se haya in-cluido o no al país. Así pues, si bien los países nopueden considerarse una muestra aleatoria deprestatarios del Banco, esas 25 EvAP constituyenuna base razonable para este examen de las “cons-tataciones y enseñanzas” (véase el Cuadro 2.1).

Hay una combinación adecuada de países de in-greso bajo y mediano, de prestatarios del Banco In-ternacional de Reconstrucción y Fomento (BIRF) yde la Asociación Internacional de Fomento (AIF)y de las regiones. Se incluyen también cuatro paísesque han atravesado recientemente situaciones deconflicto. La muestra contiene asimismo una com-binación adecuada de países con resultados positi-vos (unas tres quintas partes) y países conresultados poco satisfactorios. Está dividida enforma bastante equitativa entre países con resulta-dos positivos y negativos, de acuerdo con la califi-cación de la Evaluación de las políticas e

22

instituciones nacionales del Banco. Como se ob-serva en el Examen anual de la eficacia en términosde desarrollo 2003, hay una correlación positivaentre las calificaciones de resultados de la EvAP y eldesempeño en materia de políticas (DEO 2004a,página 15). Una deficiencia es que la cobertura delos países de América Latina y Asia meridional yoriental es escasa, sobre todo porque las evaluacio-nes de los países de estas regiones estaban prácti-camente terminadas antes del ejercicio de 2001.

ConstatacionesLas calificaciones de los efectos directos delas EvAP no siempre coinciden con el totalagregado de los resultados de los proyectos.Aproximadamente en un tercio de las EvAP, la cali-ficación de los efectosdirectos de la estrategia deasistencia al país fue pocosatisfactoria, pero la agre-gación de los resultadosde los proyectos en el país durante el período co-rrespondiente a la EvAP fue satisfactoria (Cuadro2.2). En cierta forma, era previsible. La EvAP es unaevaluación global del programa del Banco en unpaís que comprende tanto proyectos como activi-dades de análisis y asesoramiento. Además, las

Estas 25 EvAP no sonuna muestra aleatoriani representativa.

4


poco satisfactorio si hay omisiones fundamentalesen la estrategia de asistencia global del Banco, auncuando los efectos directos de cada uno de losproyectos sean calificados de satisfactorios.

En las EvAP se comprobó que los resulta-dos de los programas del Banco eran mejoresen la educación y la salud que en otros secto-res, y que los menos satisfactorios corres-pondían al desarrollo del sector privado, eldesarrollo rural, el medio ambiente y la pro-tección social (Cuadro 2.3). Lo mismo se ob-serva en las calificaciones globales de los proyectosen el mismo conjunto de 25 EvAP (Cuadro 2.3). Lasúnicas divergencias significativas entre calificacio-nes sectoriales de las EvAP y las de los resultados delos proyectos se registraron en las esferas del desa-rrollo del sector privado, el desarrollo rural y la ges-tión del sector público, en que los resultadosrelativamente desfavorables de las EvAP contrastancon la elevada proporción de resultados satisfacto-rios en los diferentes proyectos.

La divergencia en las calificaciones sobrelos resultados conseguidos por los proyectosy sectores en las esferas del desarrollo delsector privado, el desarrollo rural y la gestióndel sector público podrían deberse a variosfactores. En primer lugar, la economía polí-tica de las reformas en estos sectores es másproblemática, y es probable que la oposiciónde los posibles perdedores y de los poderesestablecidos sea más decidida y constante. Esposible que los proyectos individuales se realicencon éxito, pero se necesitará más tiempo y un es-fuerzo más constante para superar la oposición po-lítica y lograr resultados positivos en un plano másgeneral. Por ejemplo, en las economías en transición,la desconfianza histórica hacia las empresas privadaspor parte de la nomenklatura tiene sólidas raíces ide-ológicas y no se puede superar fácilmente. A pesar delas reformas jurídicas y reglamentarias, existe todavíaun fuerte sesgo contra las empresas privadas en mu-chos de estos países. En las economías menos desa-rrolladas de Asia, África y América Latina, las grandesiniciativas de desarrollo rural tropiezan muchasveces con conflictos de interés entre grupos pode-rosos (como los grandes agricultores frente a los jor-naleros, o la población urbana frente a los habitantesde las ciudades), cuya solución requerirá tiempo ytalento político.

Nivel de ingresos

Bajo 10

Mediano-bajo 12

Mediano-alto 3

25

BIRF, AIF o combinación de ambos

BIRF 14

AIF 8

Combinación 2

24a

Ha salido o no de un conflicto

Sí 4

No 21

25

Nivel de la CPIAb

Por encima de la media 13

Por debajo de la media 11

24c

Región

África 12

Asia oriental y el Pacífico 2

Asia meridional 1

Europa y Asia central 5

Oriente Medio y Norte de África 3

América Latina y el Caribe 2

25

Calificaciones de los efectos

directos del DEO

Muy satisfactorios 2

Satisfactorios 9

Moderadamente satisfactorios 8

Moderadamente insatisfactorios 3

Insatisfactorios 9

31d

a. En el caso de la Ribera Occidental y Gaza, el financiamiento se ofrece a través de un Fondo Fidu-

ciario del Banco Mundial y se otorga en las condiciones de la AIF o en forma de donación.

b. CPIA = Evaluación de las políticas e instituciones nacionales.

c. No hay CPIA para la Ribera Occidental y Gaza.

d. Cuatro países recibieron calificaciones diferentes en los períodos parciales.

C a r a c t e r í s t i c a sd e l o s 2 5 p a í s e si n c l u i d o s e n l a s E v A P

C u a d r o 2 . 1

EvAP deben realizar una evaluación de la estrategiaglobal del Banco, en que se incluye el volumen, lacomposición sectorial y el tipo de financiamiento.Por ejemplo, el resultado de la EvAP puede ser

En segundo lugar, aun cuando no hayauna fuerte oposición política, estas esferasdependen enormemente de las reformas ins-titucionales y el fortalecimiento de la capaci-dad, iniciativas que requieren tiempo y nosiempre se recogen en el marco cronológicode una EvAP. Por ejemplo, el desarrollo del sectorprivado presupone un sistema judicial eficaz, queno puede conseguirse en breve tiempo. La reformade la administración pública es también un procesoprolongado y sus resultados pueden tardar en ha-cerse realidad. Por ello, los progresos en este sec-tor sólo serán patentes tras un largo proceso.

Finalmente, los resultados en estas esferasdependen más de la evolución de toda la eco-nomía y de factores exógenos. El crecimientodel sector privado depende no sólo del marco jurí-dico y regulador para el desarrollo del sector pri-vado sino también del progreso en otras esferas dela política económica, como la estabilización ma-croeconómica, la infraestructura y el sector finan-ciero. También contribuyen notablemente lascondiciones no económicas del país, como la vi-gencia del estado de derecho, y acontecimientosexternos, como la coyuntura dominante en el mer-cado dentro de la región. El desarrollo rural y las re-formas del sector público dependen también enforma significativa de acontecimientos relaciona-

PARTE I: ¿QUÉ HEMOS APRENDIDO?

5

dos con el conjunto de la economía (con ello no sequiere decir que los resultados en otros sectores nodependan en cierta medida de dichos factores; esuna cuestión de grado).

EnseñanzasaprendidasPrimera enseñanza: La

comprensión de la eco-

nomía política de las re-

formas, con inclusión del

compromiso del gobierno

y su identificación con las

reformas y el grado de

apoyo político o de oposi-

ción a ellas, es fundamen-

C a l i f i c a c i o n e s d e l o se f e c t o s d i r e c t o s d el a s E v A P y d e l o sp r o y e c t o s

C u a d r o 2 . 2

Calificaciones de los efectos directos de las EvAP (%)

Efectos directos de la cartera de los países Satisfactorio Insatisfactorio

Satisfactorio 53 33

Insatisfactorio 7 7Fuente: Base de datos del Banco Mundial.

C a l i f i c a c i o n e s s e c t o r i a l e s y d e p r o y e c t o s ,E v A P d e l o s e j e r c i c i o s d e 2 0 0 1 – 0 3C u a d r o 2 . 3

Calificaciones de los efectos directos sectoriales de las EvAP (%)b

Efectos directos Satisfactorios Insatisfactorios distinto signo Sin evaluar

Educación 100,0 48 8 4 40

Salud 86,5 40 20 8 32

Protección social 37,9 12 24 20 44

Medio ambiente 25,5 16 16 24 44

Sector rural 87,2 12 36 28 24

Sector financiero 81,6 24 16 32 28

Infraestructura 87,7 36 16 24 24

Sector público 99,9 24 32 28 16

Desarrollo del sector privado 60,1 12 24 44 20a. Este es el porcentaje de efectos directos de proyectos satisfactorios desglosados por sector (valor del compromiso) en los países cuyas EvAP se terminaron durante los ejercicios de 2001–03.

b. Estas columnas son calificaciones de jefes de proyecto de EvAP y de un estudio documental de las EvAP de los efectos directos, por sector. En la mayoría de los casos, en las EvAP no se incluyeron

calificaciones explícitas por sector y, por lo tanto, estas calificaciones deberían tratarse sólo como indicativas.

Fuente: Base de datos del Banco y estimaciones del personal del DEO.

Una comprensióninadecuada de laeconomía política de lasreformas y del carácterdel Estado quizá hayaimpulsado al Banco, enalgunos casos, a proponerreformas que teníanpocas posibilidades deéxito.

Efectos directos de los proyectos

(% satisfactorios)aSector

tal para elaborar EAP,

programas de asistencia

específica y proyectos re-

alistas, y los análisis de

riesgos.

Las reformas económi-cas muchas veces fracasaron bien porque el go-bierno no estaba comprometido con ellas o porqueinfravaloró la oposición a las reformas y no pudo lle-varlas a cabo. Una comprensión inadecuada de laeconomía política de las reformas y del carácter delEstado quizá haya impulsado al Banco, en algunoscasos, a proponer reformas que tenían pocas posibi-lidades de éxito. Por ejemplo, en Zimbabwe, una delas principales motivaciones de la política económicay social del gobierno era garantizar la propiedad in-dígena de los activos productivos. La debida valora-ción de la importancia de este tema podría haberllevado al Banco a dar prioridad a la reforma agraria.También se habría comprendido mejor la resistenciadel gobierno a reformar los servicios paraestatales yla administración pública. La privatización y la re-forma de la administración pública en Perú se vieronamenazadas por la oposición de la clase media. Estaposición podría haberse reducido con una secuen-cia diferente de reformas y medidas de protecciónsocial para mitigar los efectos adversos de la privati-zación y de la reforma de la administración pública.

Segunda enseñanza: Las reformas institucio-

nales del fortalecimiento de la capacidad para

un sistema eficaz de gobierno son condiciones im-

prescindibles para conseguir resultados positivos.

Como el fortalecimiento de la capacidad requiere

tiempo, estas reformas deben comenzar sin de-

mora y prolongarse durante varios años.

El desarrollo institucional es un requisito funda-mental de la eficacia para el desarrollo. La existen-cia de instituciones más sólidas está asociada conuna probabilidad un 20% mayor de que el resultadodel proyecto se califique de satisfactorio (DEO,

1999). Los resultados delas reformas muchas vecesse ven frustrados por ladebilidad de las institucio-nes o la ausencia de me-canismos institucionalesimportantes.

6


Por ejemplo, en las economías en transición deEuropa central y oriental y de la antigua Unión So-viética, las instituciones vigentes no se habían con-cebido pensando en una economía de mercado. Aldesplomarse la economía dirigida y ponerse enmarcha reformas orientadas al mercado, tuvo quepasar bastante tiempo antes de que se establecieranlas instituciones adecuadas, lo que impidió que sehicieran realidad todos los posibles beneficios delas reformas4. La reforma institucional significa algomás que cambiar las estructuras y normas organi-zativas; significa también que hay que despren-derse de hábitos y comportamientos arraigados, loque es un proceso complicado y largo. Los grandescambios institucionales quizá deban prolongarsedurante varios años5.

Tercera enseñanza: Los resultados favorables

de las reformas en un sector dependen con fre-

cuencia de otras reformas y logros complementa-

rios en otros sectores. La secuencia y combinación

de reformas debe tener en cuenta esta comple-

mentariedad.

En varias EvAP se ha observado que podrían ha-berse conseguido resultados más favorables si sehubiera prestado más atención a la complementa-riedad de las reformas en diferentes sectores. El de-sarrollo del sector privado no se puede conseguirsencillamente con la privatización. Se necesitatambién la reforma del sector público mediante ladesregulación, los cambios en la política y adminis-tración de impuestos, y las reformas contra la co-rrupción. Por ejemplo, en Mongolia se adoptaronmedidas importantes para promover el desarrollodel sector privado —autorización de la propiedadprivada, eliminación de los controles de precios ymárgenes, reducción de los obstáculos comercia-les, simplificación del régimen tributario, y mejoradel marco para la inversión extranjera—, pero nose hizo lo bastante para aligerar la presencia delEstado en la economía. La ineficiencia de las fun-ciones gubernamentales de reglamentación y su-pervisión continuó obstaculizando el desarrollo delsector privado.

Como se ha observado en varias EvAP, el creci-miento del sector privado depende en gran medidade la existencia de un sistema judicial eficaz. Asi-mismo, se ha podido comprobar que la contribuciónde las reformas del sector financiero a mejorar el sis-

El desarrollo institucionales un requisitofundamental de laeficacia para el desarrollo.

Dos terceras partes de lasEvAP que registraronefectos directos favorablestambién coincidieron enque dichos estudioshabían sido oportunos.

tema de intermediación financiera depende de ma-nera decisiva de las reformas adoptadas en el sectorempresarial y en el sector público. Por ejemplo, laexperiencia revela que las empresas que cuentan conque podrán ser rescatadas por el sector público encaso de dificultad (mediante subvenciones explícitaso implícitas y la acumulación de atrasos en el pago delos impuestos) tienen menos incentivos para endeu-darse con los bancos. En lo que respecta a la oferta,los bancos se resisten a prestar a las empresas quesobreviven únicamente porque están subvenciona-das por el sector público. En ambos casos, se frena elcrecimiento de la intermediación financiera.

Cuarta enseñanza: Los estudios económicos y

sectoriales (EES) deben ser oportunos y de buena

calidad e integrarse plenamente en el diseño de la

estrategia, programas y proyectos del Banco. El

factor oportunidad resulta especialmente impor-

tante cuando se trata de prestatarios que solicitan

un préstamo por primera vez o que reanudan

esta práctica después de algún tiempo y de los pa-

íses con reformas intermitentes.

Los estudios económicos y sectoriales puedencontribuir a la estrategia de asistencia del Banco y aaumentar su eficacia. Dos terceras partes de lasEvAP que registraron efectos directos favorablestambién coincidieron en que dichos estudios ha-bían sido oportunos. En las mismas EvAP se señala-ban resultados desfavorables cuando los EES no sehabían realizado oportunamente.

En Brasil, los EES oportunos ayudaron al Bancoa orientar el financiamiento hacia los proyectos deeducación, salud y pobreza rural en el Nordeste,con resultados especialmente favorables en la re-ducción de la pobreza. En Viet Nam, los EES de-mostraron que la pobreza rural estaba fuertementeasociada con la falta de infraestructura económica,lo que ayudó a orientar el programa de financia-miento del Banco a corregir esa deficiencia.

Entre los ejemplos de contribuciones menos sa-tisfactorias de los EES cabe citar el caso de Kazajs-tán, donde un proyecto de protección social tratóde mitigar los efectos sociales de la privatización re-forzando la capacidad institucional de los serviciosde desempleo para agilizar los procedimientos deregistro y pago de prestaciones de desempleo. Laevaluación de la pobreza que tuvo lugar dos añosdespués reveló que lo que se necesitaba realmenteeran políticas para facilitar la movilidad laboral y


7

equipar a los trabajadores para adaptarse a las nue-vas circunstancias, más que el fortalecimiento de lacapacidad de los servicios de desempleo. En Bulga-ria, una evaluación oportuna sobre la pobreza po-dría haber hecho posible que un préstamo para laprotección social se orientara más eficazmente aofrecer asistencia social a los necesitados.

En algunos países, los EES fueron oportunos yde alta calidad, pero sus constataciones no se tu-vieron plenamente en cuenta al diseñar las estrate-gias o se utilizaron en forma selectiva, lo que redujosu pertinencia y eficacia. Por ejemplo, en Jordania,el financiamiento del Banco durante el decenio de1990 no tuvo en cuenta el alto nivel de gastos pú-blicos, a pesar de algunos análisis en que se especi-ficaba cómo podrían reducirse y orientarse mejor.En Perú, el Préstamo para la reforma del sector fi-nanciero (ejercicio de 1999) no abordó los proble-mas fundamentales del sector, que se habíanidentificado adecuadamente en una evaluación delsector financiero.

Los EES pueden constituir una base adecuada deconocimientos y ayudar al Banco a implicar a los go-biernos en su diálogo sobre políticas. Pueden ayu-dar también a un gobierno a comprender los costosy beneficios de las reformas y a diseñar un pro-grama al respecto. Deberían tenerse también encuenta sus efectos a largo plazo, ya que permiteniniciar un debate sobre políticas y contribuyen a fa-miliarizar a la sociedad civil con las cuestiones rela-tivas a las reformas. Es obvio, sin embargo, queestos estudios no pueden promover el cambio depolíticas cuando los gobiernos no se han compro-metido con las reformas.

Quinta enseñanza: Los préstamos específicos

para la inversión y la asistencia técnica pueden

ser vehículos útiles para promover las reformas

institucionales, pero para que los beneficios sean

sostenibles, estas operaciones deben formar parte

de una estrategia más amplia de estabilización y re-

forma económica, y deben

contar con el apoyo de un

decidido compromiso guber-

namental con la reforma.

Aproximadamente 22 delos 25 EvAP contienen testi-monios claros sobre el po-tencial de los préstamosespecíficos para la inversión

Cuando no hay uncompromiso firme ysostenido del gobierno conlas reformas, es probableque la asistencia delBanco no dé los resultadosapetecidos.

y la asistencia técnica como medio de promover eldesarrollo institucional en los países de ingresobajo y mediano6. Veinte de estos países recibierontambién préstamos para fines de ajuste. En muchospaíses, los préstamos específicos para la asistenciatécnica y el fortalecimiento institucional estuvieronvinculados estrechamente con los préstamos parafines ajuste, lo que ayudó a fortalecer la capacidadde formular y aplicar cambios normativos respalda-dos con este tipo de préstamos.

El firme compromiso gubernamental y la claraarticulación de las prioridades continuaron siendoun factor clave para la eficacia de estos instrumen-tos como medio de promover el desarrollo institu-cional. En este contexto, el marco cronológico másprolongado de los préstamos para la inversión per-mitió al Banco fortalecer las relaciones con sus con-trapartes y compaginar el asesoramiento con laasistencia financiera, sobre todo a los ministeriossectoriales. Por el contrario, cuando no hay uncompromiso firme y sostenido del gobierno con lasreformas, es probable que la asistencia del Bancono dé los resultados apetecidos7.

Sexta enseñanza: El financiamiento para fines

de ajuste en ausencia de progreso sostenido en las

reformas significa únicamente una mayor carga

de la deuda para el país y puede debilitar los in-

centivos para reformas futuras.

El financiamiento para fines de ajuste puede darbuenos resultados, sobre todo cuando el gobiernose compromete a fondo con la estabilización ma-croeconómica y la reforma estructural. No obs-tante, el Banco debe resistirse a las presiones enfavor de este tipo de financiamiento en ausenciade compromiso gubernamental con las reformas yde un historial satisfactorio de su puesta en prác-

tica. La justificación de lospréstamos para fines deajuste era ofrecer financia-miento con el fin de miti-gar el costo del ajusteasociado a la aplicación dereformas estructurales.

Sin embargo, el examende las EvAP para este estu-dio retrospectivo revelóque el financiamiento parafines de ajuste se aplazódebidamente sólo en dos

8


países (Bulgaria y Brasil) cuando se paralizó la re-forma. Nada menos que en otros siete países, elBanco continuó adelante con los préstamos parafines de ajuste aunque se había progresado pocohacia las metas institucionales y los objetivos deasistencia del Banco8.

En esos países había presiones en favor del fi-nanciamiento, por varias razones: aprovechar unaoportunidad única (Kenya), mostrar el apoyo al go-bierno (Marruecos), mantener relaciones (Zim-babwe), evitar una posible crisis (Perú), impedir elregreso del comunismo (Rusia) y alejar el peligrode flujos netos negativos (Zambia). Si bien estosfactores pueden haber influido en el Banco, haypocas dudas de que en algunos países disminuyó elinterés por la reforma cuando el Banco decidióofrecer el préstamo, con la consiguiente carga de ladeuda para los países9.

Séptima enseñanza: Es importante un análisis

de riesgo exhaustivo, serio y pragmático para que

las estrategias de los países sean más realistas.

El Banco necesita ser más realista y pragmáticoen sus evaluaciones de los países y en la formula-ción de las estrategias correspondientes, incluidala evaluación del compromiso de un prestatariocon las reformas y su capacidad de ejecución, ladisposición a seguir el asesoramiento del Banco ylos efectos de las reformas en el crecimiento y lamitigación de la pobreza. En muchos países eva-luados (Haití, Jordania, Kazajstán, Kenya, Lesotho,Marruecos, Paraguay, Perú, República Kirguisa,Zambia, Zimbabwe), las estrategias del Banco handemostrado errores sistemáticos de exceso de op-timismo en cuanto a la aceptación de su asesora-miento por los países, la disponibilidad de éstos aemprender reformas difíciles y la capacidad gu-bernamental de aplicar las reformas. Este opti-mismo muchas veces se mantuvo a pesar de laspruebas en contrario10 y contribuyó a decisionesde financiamiento del Banco que no lograroncumplir sus objetivos11.

Las estrategias de asistencia a los países supu-sieron en muchos casos un crecimiento muchomayor del que podría esperarse teniendo en cuentael historial del país o la experiencia de otros paísescon dificultades y perspectivas semejantes. Las eva-luaciones revelaron proyecciones de crecimientopoco realistas en varios países (Jordania, Kazajstán,República Kirguisa y Zambia). La falta de realismo

Las estrategias de asistenciaa los países supusieron enmuchos casos uncrecimiento mucho mayordel que podría esperarseteniendo en cuenta elhistorial del país o laexperiencia de otros paísescon dificultades yperspectivas semejantes.

de las estimaciones sobre el crecimiento contri-buyó a estrategias inadecuadas de asistencia delBanco y significó mayores costos reales para los pa-íses. Si las estimaciones del crecimiento hubieransido realistas, el Banco habría concentrado proba-blemente más estudios analíticos en los factores yobstáculos del crecimiento, así como en las medi-das de reducción de la pobreza. Unas proyeccionesde crecimiento realistas habrían ilustrado tambiénmás claramente los problemas de sostenibilidad dela deuda, y se habrían intensificado los esfuerzospor conseguir alivio de la deuda u otras formas deasistencia financiera en condiciones concesiona-rias, para no imponer una carga de la deuda externademasiado pesada12; por último, se podría haberconvencido a los países de que emprendieran re-formas más a fondo para acelerar el crecimientoeconómico.

Octava enseñanza: El Banco debería estar más

dispuesto a reducir el nivel de la asistencia plani-

ficada cuando se encuentran claros testimonios

de desviación con respecto a la política prevista.

Además de identificar los riesgos, el Banco debeestar preparado para modificar su programa de asis-tencia cuando el gobierno flaquea en su compromisoo en el cumplimiento de las políticas previstas. Unejemplo positivo es el de Bulgaria a mitad del deceniode 1990. Se redujo el financiamiento y se frenó un im-portante préstamo para fines de ajuste debido al au-mento de los riesgos macroeconómicos y a la falta decompromiso gubernamental con las reformas. No obs-tante, el examen de las EvAP revela que no ocurrió asíen varios casos. En Perú, el programa del Banco nocontenía mecanismos de activación para reducir elpréstamo si los riesgos se hacían realidad. En Kenya, laestrategia de 1998 reconocía también los riesgos, y elprograma contenía puntos de referencia de la EAP,pero el Banco no intervino a pesar de que no se habíanalcanzado los puntos de referencia. En Marruecos, elBanco ofreció un préstamo en apoyo de la reforma delas políticas en los últimos años noventa con el fin derecompensar la evolución del país hacia un sistemapolítico más abierto y su compromiso con la reforma.El préstamo era demasiado vago para conseguir unarepercusión notable en ninguna de las esferas críticasde la reforma identificadas en la estrategia para el país.Muchas de las acciones adoptadas antes de la presen-


9

tación al Directorio fueronmedidas iniciales, algunasveces en forma de estudioso planes, y muchas otras noconsiguieron resultados con-cretos.

Novena enseñanza: El

Banco debería mostrar es-

pecial cautela en situacio-

nes de cambio radical. Su

estrategia de asistencia

debería estar basada en

evaluaciones realistas de

los países, más que en ilusiones.

Normalmente, el Banco tiene dificultades paraidentificar los “puntos de inflexión” y acomodar surespuesta a la cambiante situación del país. Suelereaccionar lentamente ante los retrocesos y dema-siado rápidamente ante las mejoras. Por ejemplo,en la República Dominicana, el Banco no detectóun cambio positivo de coyuntura durante los ejer-cicios de 1992–95 y no prestó apoyo al gobierno du-rante un período crucial de reformas económicaspositivas. Este error le costó su influencia en el país.En 1997, el Banco no consiguió reconocer el iniciode una fase descendente en Perú y mantuvo elapoyo que estaba prestando anteriormente cuandose llevaron a cabo las reformas. En Kenya, los pasosiniciales hacia las reformas a mediados del año 2000se calificaron prematuramente como un cambio fa-vorable de coyuntura y se recompensaron con unfinanciamiento más considerable; a la larga, el pro-ceso de reforma se estancó.

Para cambiar de actitud, el Banco debe mante-ner una vigilancia más atenta a través de sus misio-nes residentes, sus contactos con la sociedad civil ylos pertinentes EES para comprender mejor la eco-nomía política. En la medida de lo posible, el com-promiso gubernamental debería evaluarse sobre labase de su historial en la aplicación de reformas, node su declaración de intenciones. Los niveles deasistencia deberían ser inicialmente prudentes yevolucionar en función de resultados cuantificablesy puntos de referencia concretos. Así ocurre sobretodo en las situaciones en que hay problemas deejecución de larga data.

Normalmente, el Bancotiene dificultades paraidentificar los “puntos deinflexión” y acomodar surespuesta a la cambiantesituación del país. Suelereaccionar lentamenteante los retrocesos ydemasiado rápidamenteante las mejoras.

1 1

Parte II: ¿Cómo puedemejorarse el instrumentode las EvAP?

Lestrategias futuras. En la primera parte del análisis retrospectivo se sintetizaronvarias enseñanzas y algunos resultados producidos por el conjunto de evaluacionesmás recientes del DEO. Estas enseñanzas, que concuerdan bien con los resultadosde otras evaluaciones del DEO, explican la utilidad del instrumento de las EvAP. Noobstante, una EvAP es una tarea compleja y, si bien son muchos los organismosmultilaterales y bilaterales que realizan ahora evaluaciones de los programasllevados a cabo en los países, no hay un planteamiento metodológico uniforme13.

En esta segunda parte del análisis retrospectivosobre las EvAP se analizan las metodologías actualesdel DEO y su percepción de las fortalezas y debilida-des de dichas evaluaciones con el objeto de mejorarla metodología, el proceso y la estructura de las mis-mas. En este capítulo se discute el efecto de las eva-luaciones en la formulación de estrategias deasistencia a los países (EAP), el sistema de califica-ción, el uso de situaciones hipotéticas en ausenciade intervención, la cronología de las evaluaciones, lainteracción con los equipos a cargo de las operacio-nes en el país y los beneficiarios dentro del mismo,así como la presentación de las EvAP. Cada seccióndescribe la percepción que tienen los usuarios de laEvAP, los resultados de los estudios de seguimientoy el propio examen del DEO, y concluye con suge-rencias para mejorar.

33

El análisis del presente capítulo se basa en inves-tigaciones por medio de encuestas dirigidas a los in-tegrantes del Directorio Ejecutivo y al personal delBanco sobre el uso y la percepción de las EvAP, y enel examen de un evaluador externo, quien estudió lametodología empleada y un conjunto de evaluacio-nes de esa clase recientemente concluidas. Como seseñaló en la introducción, se han realizado varias en-cuestas y estudios de seguimiento como fuente deinformación para el análisis. El Anexo C contiene losresultados detallados de las encuestas hechas a losintegrantes del Comité sobre la eficacia en términosde desarrollo (CODE); el Anexo D, los del análisis delas deliberaciones del Directorio sobre las estrategiasde asistencia a los países; el Anexo E, los de las en-trevistas al personal del Banco conocedor de lasEvAP, y el Anexo F, los del análisis de la metodología

a principal finalidad de una evaluación de la asistencia a los países (EvAP)efectuada por el Departamento de Evaluación de Operaciones (DEO) esextraer enseñanzas de las actividades anteriores del Banco para orientar las

1 2


este análisis retrospectivo, el DEO emprendió unnuevo estudio de seguimiento de las 25 EvAP ter-minadas durante los ejercicios de 2001–03. En esteanálisis se examinaron las estrategias adoptadas in-mediatamente después de las EvAP para determinarhasta qué punto se respaldan las recomendacionesoficiales incluidas en los archivos de las medidas deadministración correspondientes a esas EvAP. Enlas EAP se ha expresado pleno respaldo a dos ter-ceras partes de las recomendaciones hechas en las22 EvAP con respecto a las cuales se han preparadoulteriormente documentos de formulación de es-trategias15. Otro 25% ha recibido respaldo parcial ymenos de 10% no recibió ninguno. Además, las 22EAP contenían alguna referencia a la evaluaciónpertinente; en 16 de ellas, las estrategias conteníanamplios debates sobre las constataciones y reco-mendaciones de la evaluación correspondiente.Por ende, parece que las EvAP influyen en la for-mulación de estrategias del Banco, aunque no esposible atribuir el respaldo a una recomendaciónparticular al análisis contenido en la EvAP.

Además, las EvAP parecen influir en las de-liberaciones del Directorio sobre estrategiassubsiguientes, y las cuestiones señaladas endichas EvAP son acordes con las deliberacio-nes del Directorio. Para este análisis retrospec-tivo, el DEO examinó las transcripciones de 13deliberaciones del Directorio sobre la EAP, cuyasEvAP más recientes se facilitaron a partir de abril de200316. Cerca de una tercera parte de las declara-ciones verbales o escritas de los presidentes se re-firieron explícitamente a la EvAP por lo menos unavez. En total, hubo 85 referencias a EvAP en las 13deliberaciones. Alrededor de una cuarta parte (21)de ellas fueron referencias muy generales y el 75%restante (64) se centró en asuntos determinados.Las referencias a las EvAP fueron más frecuentes du-rante el examen completo de la EAP o cuando la ca-lificación de los resultados era insatisfactoria; lospresidentes que representaban a los grupos de pa-íses de la Parte I fueron quienes más se refirieron alas EvAP. En total, las referencias a dichas evalua-ciones comprendieron solamente una pequeñaparte (6%) de la multitud de cuestiones señaladasdurante las deliberaciones del Directorio sobre laEAP. No obstante, aun cuando no se hizo referen-cia a una EvAP, hubo concordancia de las cues-tiones señaladas en las evaluaciones y en las

de las evaluaciones de losprogramas de países reali-zado por otros organis-mos. En cada anexo sedetallan los objetivos de laencuesta, se describe lamuestra de participantes, y

se presentan diversas opiniones y resultados.

Efecto de las EvAP en la formulaciónde las estrategias pertinentesEn estudios anteriores se ha indicado que lasEvAP no influyen en las estrategias de asis-tencia del Banco a los países y que hay com-patibilidad entre las recomendaciones dedichas evaluaciones y las estrategias perti-nentes. En el Annual Report on Operations Eval-

uation (Informe anual sobre evaluación deoperaciones de 2002)14 del DEO se realizó una en-cuesta sobre las EvAP entre los equipos del Banco acargo de las operaciones en el país. Alrededor de71% de los entrevistados afirmó que las EvAP ha-bían influido en las políticas del Banco en la esferanacional, 80% opinó que una evaluación de esaclase es pertinente para su trabajo y 93% declaróque si tuvieran que comenzar a trabajar en unnuevo país, esa evaluación les sería de gran utilidad.Para dicho informe anual, el DEO realizó un estu-dio de seguimiento para evaluar hasta qué punto seincorporaban las recomendaciones de la EvAP en laestrategia subsiguiente y se reflejaban en la asis-tencia realmente prestada. En el estudio se exa-

minaron 15 evaluaciones,todas ellas en el ejerciciode 1999 o en años anterio-res para tener suficientetiempo de examinar laasistencia realmente pres-tada. El estudio reveló unagran compatibilidad entrelas recomendaciones delas EvAP y la EAP, con loque recalcó el mensaje dela encuesta.

Un reciente análisisconfirma que las reco-mendaciones de EvAPse reflejan bien en lasEAP subsiguientes. Para

Un reciente análisisconfirma que lasrecomendaciones de laEvAP se reflejan bien enlas EAP subsiguientes.

La falta de aprobación delos resultados de la EvAP porparte de la administraciónsuperior sirvió para minarsu impacto. Esta “falta deaprobación” fue evidenteen las entrevistas confuncionarios del Banco,incluso con losvicepresidentes regionales ylos directores a cargo de lasoperaciones en los paísescorrespondientes.

deliberaciones del Directorio referentes a las res-pectivas EAP y sus respetivos informes de situación.

Hay una divergencia entre los resultadosde las encuestas de seguimiento y la percep-ción de los integrantes del Directorio y delpersonal del Banco con respecto al uso y a lautilidad de la EvAP. Las encuestas sobre el uso in-dican que las EvAp son conocidas tanto para los in-tegrantes del Directorio como para el personal delBanco. Los integrantes del CODE entrevistados parael análisis retrospectivo señalaron que empleabanlas EvAP con el fin de prepararse para las delibera-ciones del Directorio sobre la estrategia pertinentecon miras a colocar las cuestiones sectoriales y te-máticas dentro del contexto del país y a evaluar esasestrategias. En las entrevistas, algunos integrantesdel CODE citaron ejemplos específicos de casos enque las EvAP ejercieron una influencia favorable enlas correspondientes estrategias del Banco. Sin em-bargo, una mayoría dudó que las EvAP ejercieranuna influencia significativa en las decisiones de laadministración o en las cuestiones normativas y se-ñaló que la falta de aprobación de los resultados dela EvAP por parte de la administración superior sir-vió para minar su impacto. Esta “falta de aprobación”fue evidente en las entrevistas con funcionarios delBanco, incluso con los vicepresidentes regionales ylos directores a cargo de las operaciones en los paí-ses correspondientes. Su percepción de la utilidadde las EvAP fue poco favorable, pero mejoró muchocuando se dieron cuenta de que una EvAP había in-fluido favorablemente en la preparación de la estra-tegia correspondiente. El personal del Banco señalóvarios factores que inhiben la eficacia de las evalua-ciones: la falta de oportunidad, la consulta inade-cuada con los equipos a cargo de las operaciones enel país, y la falta de aportaciones o de enseñanzasútiles para la participación del Banco en un país.

La reducción de la divergencia y la mejorade la utilización de las EvAP podrían intensifi-carse con los cambios en la metodología, lapresentación y la cronología de las mismas, asícomo la frecuencia de la interacción con losequipos a cargo de las operaciones en el país.A pesar de que las EvAP ocupan un lugar destacadoen las estrategias correspondientes y en las delibe-raciones del Directorio al respecto, nuestras en-cuestas señalan varias cuestiones relativas a dichasEvAP. Los integrantes del Directorio expresaroncierto escepticismo sobre la posibilidad de máxima

PARTE II: ¿CÓMO PUEDE MEJORARSE EL INSTRUMENTO DE LAS EVAP?

1 3

utilización de las constata-ciones de la EvAP por partedel personal de operacio-nes. El personal del Bancotambién ha expresado algu-nas preocupaciones relacio-nadas con la metodologíabásica, la cronología de lasEvAP y el equilibrio entre la rendición de cuentas yel aprendizaje dentro de su especialidad. Todosestos factores exigen cuidadoso examen y, cuandosea necesario, resolución para que las EvAP puedantener un mayor beneficio en lo que respecta a la uti-lización y aceptación de sus constataciones y reco-mendaciones. En el resto del presente capítulo seabordarán las principales cuestiones señaladas porlas encuestas sobre el uso: la metodología de lasEvAP, las calificaciones de las mismas, el uso de unasituación hipotética en ausencia de intervención, lacronología, la interacción con los equipos a cargode las operaciones en el país, la interacción con losbeneficiarios dentro del país y la presentación de laEvAP.

MetodologíaLa adopción de una metodología formal paralas EvAP en el ejercicio de 2000 ha llevado aintroducir un método de evaluación más co-herente17. En la metodología de las EvAP se em-plea la EAP como marco inicial, complementadapor criterios relativos a la posibilidad de que en laestrategia se deje de abordar cualquier restricciónimportante para el desarrollo. Dicha evaluacióndetermina hasta qué punto fueron pertinentes losprincipales objetivos de la EAP y se alcanzaron sinningún inconveniente.

El actual enfoque metodológico de la EvAP con-siste en examinar el programa de asistencia corres-pondiente desde tres dimensiones:

• Una dimensión relativa a productos y servicios,

que comprende un análisis “de abajo arriba” delos principales insumos del programa: présta-mos, actividades de asesoramiento y análisis, yalianzas

• Una dimensión relativa al impacto en el desa-

rrollo, que comprende un análisis “de arribaabajo” de los principales objetivos del pro-

La adopción de unametodología formal paralas EvAP en el ejerciciode 2000 ha llevado aintroducir un método deevaluación más coherente.

grama para determinar supertinencia, eficacia, efec-tos directos, sostenibili-dad e impacto institucional.• Una dimensión relativaa la atribución, en que elevaluador asigna la respon-sabilidad por los efectos

directos del programa a cuatro categorías deagentes: a) el cliente; b) el Banco; c) los sociosy otros interesados, y d) las fuerzas exógenas(por ejemplo, los fenómenos de la naturaleza,las crisis económicas internacionales y otrosacontecimientos similares).

Con la introducción de esta metodología for-mal, la estructura y el contenido de las EvAP seasemejaron más. Cada EvAP comienza con unexamen de la situación general de desarrollo y lapertinencia de los objetivos de la EAP correspon-diente. Ese examen va seguido de una evaluacióndetallada de todos los productos y servicios em-pleados para lograr los objetivos del Banco. En latercera sección se determina si se han logrado losobjetivos del Banco y se incluyen las calificacionesde la EvAP. Se evalúan los aportes de los diferen-tes asociados al logro de los resultados obtenidosy, para concluir, se ofrecen recomendaciones y en-señanzas.

A pesar de la adopción y divulgación deuna metodología formal de EvAP, las entre-vistas revelaron una percepción de que lametodología de la evaluación podría perfec-cionarse para que fuera más transparente ycoherente. En su mayoría, los integrantes delCODE opinaron que las EvAP eran sistemática-mente de alta calidad y contenían un análisis sus-

tantivo de los programas delBanco en los países. Sin em-bargo, se expresaron preocu-paciones por la incompatibilidadde los resultados y las varia-ciones de la calidad. Los inte-grantes del CODE expresaronpreocupación por el hechode que, a veces, los documen-tos se enfocan demasiado enla observación del cumpli-miento con los objetivos ofi-

1 4


ciales de cada institución y desatienden el impactoque tiene el Banco en el desarrollo del país. Opina-ron que una EvAP debería concentrarse en los re-sultados alcanzados y en la forma de empleo de losinstrumentos para lograr esos resultados. El perso-nal del Banco también expresó preocupación por lametodología de EvAP. Opinó que la metodologíano era clara, uniforme, coherente ni racional. Ade-más, afirmó que eran demasiado pocas las EvAPque proporcionaban resultados y enseñanzas queofrecieran orientación pragmática para la adminis-tración de futuros programas. Algunos funcionariosdel Banco manifestaron preferencia por las evalua-ciones enfocadas en un limitado número de secto-res específicos, más que por las centradas en elprograma de todo un país.

La propia evaluación del DEO también revelaque la metodología actual de las EvAP podríamodificarse de varias formas para aumentar sutransparencia, coherencia y facilidad de lectura.Para determinar la exactitud de la percepción de losintegrantes del CODE y del personal del Banco, elDEO contrató a un evaluador externo independientepara analizar la actual metodología de EvAP sin res-tricciones ni condiciones previas. También se exami-naron los métodos de evaluación de programasadoptados por otros donantes multilaterales y bilate-rales18. A partir de este análisis y de las encuestassobre el uso, surgieron varias observaciones. El actualmétodo tridimensional de EvAP ha creado un for-mato coherente de presentación de informes, de ma-nera que con el tiempo el lector sabe qué esperar encada capítulo. Pero este enfoque metodológico tam-bién parece tener varias deficiencias:

• La estructura tiende a poner mayor énfasis en los

instrumentos del Banco (préstamos, actividades

de asesoramiento y análisis, y coordinación de la

ayuda) que en el impacto o los resultados de sus

intervenciones. En las EvAP se recalcan más los in-sumos de los programas que su impacto en el de-sarrollo. Trece de las 18 EvAP con estructurasclaramente similares dedicaron dos veces y mediomás atención a los insumos en comparación con laprestada al impacto en el desarrollo.

• Al parecer, diferentes secciones de las EvAP

pueden llevar a diversas conclusiones. Comose señaló en la Parte I, en un tercio de las EvAP,las calificaciones satisfactorias de la cartera, en

La metodología actualde las EvAP podríamodificarse de variasformas para aumentar sutransparencia, coherenciay facilidad de lectura.

Para seguir adelantese necesita adoptarun método orientadohacia los resultados,que vincule claramentelos objetivos einstrumentos delBanco con losresultados alcanzados.

promedio, no guardaron relación con la califica-ción satisfactoria de los efectos directos del pro-grama en su conjunto. Si bien la explicación esbastante sencilla (es decir, una evaluación parti-cular de un proyecto o un estudio económico ysectorial tiende a enfocarse en los principalesobjetivos declarados del proyecto sin determi-nar necesariamente qué tan pertinentes fueronpara alcanzar las metas generales del programavigente en ese entonces), la estructura de la eva-luación no es conducente a analizar las razonesfundamentales de esa desconexión.

• La estructura cambia de punto de enfoque de

una sección a la siguiente, por lo que es difícil

seguir el hilo de la narración. La actual estruc-tura de la EvAP alterna entre un enfoque en elcliente (primera sección), otro en el Banco (se-gunda sección) y otro de nuevo en el cliente. Porende, es difícil seguir el vínculo entre los objeti-vos (discutidos en la primera sección) y los efec-tos directos (discutidos más adelante en latercera sección), y ver la conexión entre los insu-mos y servicios del Banco (evaluados en la se-gunda sección) y los efectos directos específicos.

• La terminología de la EvAP carece de claridad y

coherencia. El examen interno de EvAP efectua-do por el DEO reveló que la terminología em-pleada en diferentes evaluaciones a veces pareceser incoherente, puesto que diferentes jefes deproyecto pueden interpretar el mismo conceptode una forma algo distinta. Por ejemplo, la distin-ción entre la actuación del Banco y los efectos di-rectos de sus programas es ambigua en algunasevaluaciones, lo cual puede ser consecuencia deque las estrategias del Banco están orientadashacia objetivos de nivel superior y no establecenclaramente un conjunto de objetivos interme-dios. Otro ejemplo es la forma de considerar laatribución, que es inherentemente un conceptocomplejo en un programa de país.

Para seguir adelante se necesita adoptar unmétodo orientado hacia los resultados, quevincule claramente los objetivos e instrumen-tos del Banco con los resultados alcanzados.Los resultados deben estar en la estructura orgánicade la EvAP, y la evaluación de los instrumentos delBanco (productos y servicios) debe verse sencilla-mente como una forma de probar si se han logrado


1 5

los resultados finales, queson los objetivos principalesdel Banco. Esto es compati-ble con el marco orientadohacia los resultados, adop-tado en la formulación de es-trategias del Banco y tambiéncon la metodología adoptadapor otras instituciones do-nantes. El método consistiría en esbozar los princi-pales objetivos y resultados que el Banco aspira alograr en cada país, a partir de las EvAP. Las delibe-raciones sobre la estrategia se basarían en un sen-cillo modelo de lógica que vincule los insumos conlos resultados previstos a partir de la informaciónpresentada en la propia estrategia y en los docu-mentos afines. Por cada objetivo (y resultado dese-ado), en la evaluación se ponderaría la eficacia (ypertinencia) de los instrumentos empleados, asícomo el aporte relativo del Banco (en contraposi-ción a otros aportes) a ese objetivo. Este método seorientaría hacia los resultados y abordaría la princi-pal recomendación de los integrantes del Directo-rio, a saber, que las EvAP deben concentrarse en elefecto real en los mismos.

En varias EvAP se han comenzado a adop-tar varios aspectos de esta nueva metodolo-gía. Por ejemplo, en la EvAP de Zambia seseñalaron cuatro temas principales (objetivos)con los cuales el Banco se propone reducir la po-breza: i) promover un entorno macroeconómicoestable; ii) privatizar las empresas del Estado; iii)enfocar la asistencia directamente en los grupospobres y vulnerables, y vi) mejorar la eficiencia y lagestión del sector público. En esa EvAP se proce-dió luego a examinar las actividades del Banco y aevaluar los resultados en cada uno de los cuatrocampos por separado, que luego se resumió ensus calificaciones generales. En la EvAP de Brasil seseñalaron y analizaron los adelantos hacia el logrode los objetivos principales de alivio de la pobrezay crecimiento sostenible, así como los objetivossecundarios respectivos. En época más reciente,durante el ejercicio de 2004, en las EvAP de China,Túnez, Bosnia-Herzegovina y Croacia se adoptóun método orientado hacia los objetivos.

El examen de las EvAP y del enfoque meto-dológico de otros donantes efectuado por elDEO indica que también se necesitan cam-

Los países no sonlaboratorios y en las EvAPno se informa sobreexperimentos; en elmundo real es sumamentedifícil controlar y aislarotras influencias.

bios en el concepto deatribución en dichasevaluaciones. La defini-ción de atribución estable-

cida por el Comité de Asistencia para el Desarrollo(CAD) entraña el establecimiento de un vínculo cau-sal entre un cambio y una intervención específica.Esta es una tarea difícil en parte por causa de las li-mitaciones inherentes para probar la causalidad enun medio natural. Los países no son laboratorios yen las EvAP no se informa sobre experimentos; en elmundo real es sumamente difícil controlar y aislarotras influencias. El concepto de “asociación másprobable”, en comparación con el de “atribución”,capta mucho mejor la realidad del vínculo entre lasmedidas tomadas por el Banco o por un donante ylos resultados observados. Esto implicaría la necesi-dad de determinar en la medida de lo posible cómoy hasta qué punto se relacionaron las intervencionesdel Banco con los resultados logrados. La EvAP deBrasil y el enfoque del Banco en la región del Nor-deste son un buen ejemplo del concepto de asocia-ción más probable como forma de evaluar lacontribución del Banco.

El DEO intensificará sus esfuerzos paraasegurar una aplicación más coherente de lametodología. Ya tiene un riguroso proceso deexamen interno que ayuda a asegurar la coherenciaentre las EvAP. No obstante, para mejorar esa cohe-rencia, el DEO preparará un glosario de términos,similar al “Glosario de los principales términossobre evaluación y gestión basada en resultados,2002”, elaborado por el Grupo de trabajo sobre eva-luación de la ayuda del Comité de Asistencia para elDesarrollo de la Organización para la Cooperacióny el Desarrollo Económicos (OCDE). Por último,para todas las EvAP de grandes clientes se seguirán

contratando revisores ex-ternos. Estos últimos sondistinguidos especialistasjubilados del Banco, miem-bros de la comunidadacadémica externa y auto-ridades encargadas deformular la política de de-sarrollo de los países clien-tes que ayudan a buscaropiniones externas sobrelos programas del Banco y

1 6


a asegurar la validez de los resultados de lasEvAP.

CalificacionesEn las EvAP se califican los resultados de laasistencia del Banco, su sostenibilidad y su im-pacto en el desarrollo institucional. En la actua-lidad, las evaluaciones de la asistencia a los paíseshechas por el DEO contienen calificaciones explíci-tas para los programas realizados; el DEO es la únicaentidad multilateral o bilateral que califica los pro-gramas de países de esa manera. Hay tres calificacio-nes en la mayoría de las EvAP19. Primero, en las EvAPse califican los efectos directos del programa de asis-tencia del Banco. En dicha calificación se determinahasta qué punto fueron pertinentes los principalesobjetivos estratégicos y se alcanzaron sin ningún in-conveniente. Los efectos directos se califican en unaescala de seis puntos, que va desde muy satisfactoriohasta deficiente. Segundo, en la mayoría de las eva-luaciones se califica el impacto en el desarrollo insti-tucional del programa de asistencia. La calificación decuatro puntos de dicho impacto (alto, significativo,moderado o insignificante) determina en qué me-dida el programa reforzó la capacidad del cliente parahacer uso más eficiente, equitativo y sostenible desus recursos humanos, financieros y naturales. Porúltimo, el DEO califica la sostenibilidad de los bene-ficios que en materia de desarrollo reporta el pro-grama de asistencia al país o la resistencia de losmismos a situaciones de riesgo. La sostenibilidad secalifica como muy probable, probable, improbable,muy improbable o, si falta información, sin evaluar.

Las calificaciones de la EvAP han sidotema de mucho debate y crítica. En el fondode esa crítica hay un antiguo debate dentro de la co-munidad de evaluación centrado en determinarcuál de las dos metas complementarias debe consi-derarse de importancia primordial: establecer unsistema de rendición de cuentas sobre los resulta-dos o fomentar el arte de aprender a hacer mejorlas cosas en el futuro.

Este debate histórico surge en las entrevistas delos integrantes del Directorio, en las cuales casitodos los participantes consideraron que las califi-caciones eran indispensables y algunos afirmaronque ofrecían el máximo potencial para hacer que laadministración rinda cuenta de sus actos y preste ladebida atención a los resultados. No obstante, al-

Muchos lectores recibenincorrectamente laimpresión de que lacalificación de losresultados es unacalificación o de losprogresos del país entérminos de desarrollo odel desempeño del Banco.

Las calificaciones de laEvAP han sido tema demucho debate y crítica.

gunos opinaron que debería prestarse menos aten-ción a las calificaciones y afirmaron que las diferen-cias con respecto a ellas llevan al personal deoperaciones a asumir una postura defensiva y, enrealidad, impiden aprender de la experiencia delprograma. Con todo, en su mayoría, los entrevista-dos del Directorio estuvieron de acuerdo en que lasescalas de calificación deben aclararse y en que ladefinición de cada calificación debe ser más trans-parente y mutuamente excluyente.

En su mayoría, el personal del Banco entrevis-tado también criticó el sistema de calificación; aveces señaló incoherencias entre las calificaciones


1 7

y los informes narrativos empleados para justificar-las y, en algunos casos, omisiones de la calificaciónde los diferentes perío-dos de ejecución porseparado. El personaltambién afirma que unanorma de calificación únicano permite tener en cuentalo suficiente las diferen-cias cruciales en la capaci-dad de los clientes, ladotación inicial y la expo-sición a riesgos exógenos.

Bulgaria (1989–1997): No se alcanzaron los objetivos de apoyo para la estabilización y el crecimiento macroeconómicos, el desarrollodel sector privado y el alivio de la pobreza establecidos en la estrategia del Banco, pero este último se enfocó debidamente en la esta-bilización y la reducción de la deuda. Cuando se estancaron las reformas, el Banco suspendió un importante préstamo para ajuste hastaque hubiera un clima más propicio para las reformas, y apoyó los cambios institucionales y las necesidades sectoriales específicas pormedio de préstamos para inversión.

Haití (1986–2000): La asistencia del Banco tuvo un efecto insatisfactorio en los problemas que encaraba Haití (mal gobierno, poca capa-cidad del sector público, falta de coordinación de los donantes, calidad deficiente de la educación y poco acceso a la misma, y marcadodeterioro de la infraestructura). Hasta 1997, la asistencia del Banco y de otros donantes fue superior a la capacidad de absorción del go-bierno. Se reanudaron varios tipos de programas de asistencia tradicionales, sin superar primero las enormes barreras gubernamenta-les e institucionales para la recuperación económica y la ejecución de los mismos. Las cuestiones internas de dotación de personal delBanco también redujeron la eficacia del programa en Haití. Desde 1997, ha mejorado el desempeño del Banco. Se corrigieron las irre-gularidades en el proyecto de construcción de carreteras. En una situación en que no podía conceder préstamos y en que la actuaciónde los prestatarios seguía siendo problemática en el programa en marcha, el Banco canceló los saldos restantes. Mantiene, acertada-mente, una función de observador y realiza análisis de los principales sectores.

Paraguay (1989–1999): No se alcanzaron los objetivos de desarrollo del sector privado, fomento agropecuario y ordenación de los re-cursos naturales, y alivio de la pobreza y desarrollo de recursos humanos establecidos en el programa de asistencia del Banco. Este úl-timo preparó estudios económicos y sectoriales bien enfocados. Sus inversiones en divulgación estimularon el debate público,particularmente sobre la necesidad de reforma. La EAP de 1997 se enfocó en los objetivos a corto plazo que eran factibles dentro de lasrestricciones institucionales y normativas del Paraguay. Se reconoció que los riesgos puntualizados en 1993 aún existían en su mayo-ría y que la situación política en deterioro ofrecía pocas posibilidades de reforma. Se recomendó una cautelosa estrategia de financia-miento, con la aprobación de uno o dos proyectos al año como máximo, condicionada a una mejor ejecución de la cartera existente.

Rwanda (1990–1993): No se alcanzaron los objetivos de crecimiento con equidad, creación de un ambiente propicio para el desarrollodel sector privado, protección del medio ambiente y ampliación de la capacidad de gestión de los recursos del sector público estable-cidos en el programa de asistencia del Banco al país. Hubo algunas deficiencias en el desempeño del Banco (por ejemplo, en el diseñode los proyectos no se reflejaron debidamente las restricciones humanas y financieras que encaraba el gobierno), pero el Banco tuvoun buen desempeño general. Entendió las dificultades económicas fundamentales que tenía Rwanda y trató de persuadir al gobierno,aunque sin éxito, para que cambiara sus antiguas políticas y asignara una mayor función al sector privado, redujera los subsidiospúblicos a las empresas en quiebra y mejorara la calidad de los servicios sociales.

Fuente: EvAP de Bulgaria, Haití, Paraguay y Rwanda.

L a s c a l i f i c a c i o n e s i n s a t i s f a c t o r i a s d e l o se f e c t o s d i r e c t o s n o i m p l i c a n u n d e s e m p e ñ od e f i c i e n t e d e l B a n c o

R e c u a d r o 3 . 1

Más de la mitad de losentrevistados del CODEcriticaron las situacioneshipotéticas por considerarque éstas dan a menudouna idea demasiadoprometedora o utópica de lafunción del Banco en el país.

Las opiniones estuvieron divididas cuando se pre-guntó si se debe hacer caso omiso de las califica-ciones, darles menos importancia o mejorarlascon criterios más rigurosos.

Es de suma importancia señalar que mu-chos lectores reciben incorrectamente la im-presión de que la calificación de los resultadoses una calificación o de los progresos del paísen términos de desarrollo o del desempeño delBanco. En las EvAP se califican los efectos directosde los programas de asistencia del Banco, pero a juz-gar por las entrevistas de los miembros del Directo-rio y del personal del Banco, así como por loscomentarios hechos por escrito sobre las evaluacio-nes, resulta claro que la naturaleza de la calificaciónde los efectos directos no se entiende cabalmente.Un programa de asistencia se evalúa para determinarhasta qué punto alcanzó sus objetivos particulares,que suelen ser un subconjunto de los objetivos de de-sarrollo del cliente. Pueden surgir algunas situacionesen que los efectos directos de los programas de asis-tencia del Banco sean plenamente satisfactorios, apesar del deterioro de la economía del país, o vice-versa. Por ende, hay una distinción entre la califica-ción de los efectos directos y los resultados generalesen materia de desarrollo obtenidos en el país cliente.Además, la calificación de los efectos directos, quepermite evaluar hasta qué punto el programa de asis-tencia alcanzó sus objetivos, no es un sinónimo dedesempeño del Banco, lo cual no se califica en lasEvAP. Como se establece claramente en el marco me-todológico de esas evaluaciones, los efectos directosdel programa de asistencia del Banco están determi-nados no sólo por el desempeño del mismo sino porel impacto conjunto de cuatro agentes: a) el cliente;b) el Banco; c) los socios y otros interesados, y d) lasfuerzas exógenas (por ejemplo, los fenómenos de lanaturaleza, las crisis económicas internacionales, et-cétera). Esto ayuda a explicar el resultado aparente-

mente contradictorio enalgunas evaluaciones de queel desempeño del Bancopuede haber sido bueno,pero los efectos directos, in-satisfactorios. Por ejemplo,en Bulgaria (1991–1997),Haití (1997– 2000), Paraguay(1989–1999) y Rwanda (1990–1993), los efectos directos de

1 8


la estrategia de asistencia del Banco recibieron unacalificación insatisfactoria, pero en las EvAP se señalaque el Banco tuvo una buena actuación (véase el Re-cuadro 3.1).

El DEO hará cambios para ayudar a aclararlas calificaciones y hacerlas más transparen-tes y coherentes. El DEO se propone seguir cali-ficando los efectos directos y la sostenibilidad. Elenfoque metodológico revisado que se esboza eneste análisis retrospectivo facilitará mucho la tareade desagregar la calificación de los efectos directos.En el futuro, en las EvAP se desagregará la califica-ción de los resultados y se ofrecerán subcalificacio-nes separadas y distintas de los resultados logradoscon respecto a cada objetivo principal. Estas subca-lificaciones se agregarán luego para obtener unacalificación resumida de los efectos directos, em-pleando grados de importancia implicados por laestrategia. También se proponen modificacionesde las calificaciones de sostenibilidad. El conceptopuede reformularse como la “probabilidad de sos-tenibilidad”, con lo que se transformará en una ca-lificación que permitirá determinar si los beneficiosconstantes del programa del país están sujetos amuchos o pocos riesgos. Puesto que el desarrolloinstitucional es ahora parte integral de los objetivosde la mayoría de las actividades del Banco, el DEOse propone eliminar la calificación separada del im-pacto en el desarrollo institucional y captarlo comoparte de la calificación de los efectos directos. Porúltimo, a medida que se adquiera experiencia conlas EAP orientadas hacia los resultados y los infor-mes finales correspondientes, que también con-tendrán calificaciones, el DEO examinará una vezmás el sistema de calificación en las EvAP y haráotras modificaciones, según sea necesario. Si elBanco adopta un sistema de evaluación del desem-peño en la EAP por medio de calificaciones en losinformes finales correspondientes —similares a lascalificaciones de cada proyecto—, el DEO puedeeliminar las calificaciones de las evaluaciones y con-vertirlas más bien en un examen de las enseñanzasaprendidas.

Situaciones hipotéticas en ausenciade intervenciónLas opiniones de los integrantes del CODE ydel personal del Banco difieren en cuanto a lautilidad de las situaciones hipotéticas. Menos

La cronología de la EvAPes indispensable para sueficacia, pero hay ciertatensión entre el personaly los integrantes delDirectorio del Bancosobre cuándo se cree quedicha evaluación es útil.

de una tercera parte de los participantes en las en-trevistas hechas a los integrantes del Directorio atri-buyeron a las situaciones hipotéticas el logro dedeliberaciones útiles en el Subcomité del CODE.Más de la mitad de los entrevistados del CODE criti-caron las situaciones hipotéticas por considerar queéstas dan a menudo una idea demasiado promete-dora o utópica de la función del Banco en el país, yse quejaron de que en las EvAP se tiende a exagerarla función del Banco y a indicar que si este último nohubiera participado, al país le habría ido muchopeor. Por contraste con los integrantes del CODE, elpersonal del Banco, en sus deliberaciones sobre lasEvAP, entrevistas y memorandos, criticó esas eva-luaciones por no incluir una situación hipotética efi-caz que mostrara otra estrategia que habría podidoseguir el Banco, o lo que hubiera sucedido sin la in-tervención de éste, o, en su defecto, por no tener encuenta la función a menudo marginal del Banco enel desarrollo del país. No obstante, un examen delos memorandos del personal del Banco mostró queesas opiniones se expresaban solamente cuandouna EvAP criticaba la asistencia del Banco. La cues-tión hipotética no se señaló cuando la evaluacióndejó constancia del buen desempeño del Banco.

El DEO reconoce la importancia de las si-tuaciones hipotéticas para explicar lo que elBanco habría podido hacer de una manera di-ferente en situaciones particulares. El DEO re-conoce la necesidad de una situación hipotética,pero conviene recalcar que esta tarea ha sido arduaen parte por las dificultades inherentes a la com-probación de la causalidad en situaciones delmundo real. Por eso, solamente 10 de las 25 EvAPexaminadas (40%) tratan de discutir la situación hi-potética y, por lo general, se concentran más en loque el Banco podría haber hecho de una forma di-ferente que en lo que hubiera sucedido sin su inter-vención. Por ejemplo, en la EvAP de Rusia se señalaque es difícil construir situaciones hipotéticas vero-símiles en el caso de un programa tan complejo, enque la actuación del Banco fue, en gran parte, unarespuesta a las expectativas de los accionistas. Másbien, en la EvAP se describe cómo abordó el Bancolas dificultades y, con el beneficio de la percepciónretrospectiva, se señalan casos en que habría sidomás apropiado adaptar una postura diferente.

La función apropiada de un análisis de si-tuación hipotética en la EvAP consiste en com-


1 9

parar los efectos directos efectivamente conse-guidos con el análisis ex ante que figura en laestrategia de asistencia a los países formuladapor el Banco. El enfoque metodológico de dichaevaluación juzga una EAP por lo que se esperaba quelograra. Por lo tanto, ya existe una situación hipoté-tica contra la cual se puede determinar en la EvAP loque realmente sucedió. Las EAP suelen proporcionarvarios marcos hipotéticos, emparejados según unconjunto variable de instrumentos planeados delBanco. Así, el DEO tiene una situación hipotética lista,lo que evita las complejidades de tratar de adivinar loque hubiera pasado sin el programa de asistencia. Enotras palabras, la EAP propiamente dicha propor-ciona a menudo la situación hipotética. Se prevé quela calidad de esas situaciones hipotéticas mejorarámucho ahora que el Banco ha establecido directricesuniformes para formular EAP orientadas hacia los re-sultados. Una forma útil de conceptualizar la hipóte-sis consiste en comparar lo que se esperaba ex ante

en las estrategias del país con lo realmente sucedidoy determinar si las divergencias fueron razonables.Donde la EAP no proporciona una hipótesis plena-mente definida, se pueden utilizar otras opcionesmenos atractivas, tales como comparar: i) el avancedel país cliente en materia de desarrollo durante elperíodo de ejecución de la EAP con el de los demáspaíses; ii) el avance en materia de desarrollo en zonaso sectores geográficos específicos, que lógicamentedeberían haber recibido un profundo impacto de lasintervenciones realizadas como parte del programa,y iii) los efectos directos intermedios lógicamenteafectados por las intervenciones del programa.

CronologíaLa cronología de la EvAP es indispensablepara su eficacia, pero hay cierta tensión entreel personal y los integrantes del Directorio delBanco sobre cuándo se cree que dicha eva-luación es útil. Hubo acuerdo generalizado entretodos los usuarios de las EvAP en que la cronologíade éstas era un factor esencial para su utilidad. UnaEvAP terminada mucho tiempo antes o después dela ejecución de la EAP se considera de efecto limi-tado. Esto lo confirma el análisis del uso de las EvAPhecho por el DEO durante las deliberaciones delDirectorio. De hecho, el impacto de una EvAP sereduce mucho si se realiza demasiado temprano otarde en el proceso de examen de la EAP. Por ejem-

plo, si el tiempo transcu-rrido entre la distribuciónde las EvAP y las delibera-ciones del Directorio sobrela EAP es de un año o más,la EvAP parece influir pocoen las deliberaciones. Porotra parte, en su mayoría,los entrevistados del CODE

también citaron casos en que las EvAP se distribu-yeron demasiado cerca de la fecha del examen de laestrategia por el Directorio para tener un efecto sig-nificativo. El personal de operaciones cree que larealización de EvAP no es suficientemente previsi-ble para ser un instrumento útil para la formulaciónde estrategias. Aun el personal del Banco que reci-bió sus EvAP oportunamente se mostró escépticocon respecto a su futura utilidad por conocer algu-nos casos de otras EvAP entregadas en fecha dema-siado avanzada del proceso para suministrarinformación para la EAP. Los entrevistados delCODE indicaron que preferían recibir la evaluaciónde uno a tres meses antes de las deliberacionessobre la EAP. Por otra parte, el personal del Bancoindicó que, con el fin de aportar información parala estrategia, por lo menos habría que tener una ver-sión preliminar de la EvAP en la etapa de análisis ini-cial, que en varios casos sería más de seis mesesantes de las deliberaciones del Directorio.

Una gran mayoría de las recientes EvAP pa-rece haberse programado oportunamentepara aportar información para la preparaciónde las estrategias pertinentes y las delibera-

ciones al respecto. Uncriterio importante en la de-cisión del DEO de realizaruna evaluación en un país enparticular es el ciclo de laEAP. Se tienen en cuentaotros factores —el equilibrioregional, la colaboración conotras instituciones financie-ras internacionales y los lar-gos períodos de preparaciónnecesarios para las evaluacio-nes en los principales paísesprestatarios del Banco—,pero el ciclo de la estrategiaes el principal factor deter-

2 0


minante de la decisión de programar una EvAP. Elanálisis de la cronología de las 25 EvAP hechas porel DEO en los ejercicios de 2001–03 indica que, enconjunto, las evaluaciones se han hecho a tiempo,pero hay campo para mejorar. Ocho de las 25 EvAPterminaron en los tres meses anteriores al co-mienzo de las deliberaciones sobre la EAP; otrascuatro, entre cuatro y seis meses antes, y otras cua-tro, el año anterior. En tres casos no se ha prepa-rado todavía una estrategia subsiguiente ysolamente en seis casos terminaron las EvAP más deun año antes de las deliberaciones sobre la estrate-gia. En esos casos, cambió el cronograma de la EAP.Además, a pesar de que el personal del Banco con-sideró que las EvAP no se habían presentado atiempo para la preparación de la estrategia, todaslas evaluaciones discutidas por el CODE antes delas deliberaciones del Directorio sobre la estrategiase mencionaron en dichas estrategias. De las 22EvAP para las que se han celebrado deliberacionessobre la EAP, las constataciones y recomendacionesde la EvAP se incorporaron explícitamente en 16EAP, y las otras seis EAP incluyeron una casilla refe-rente a la evaluación (tres) o mencionaron su exis-tencia (tres).

El DEO hará todo lo posible por realizar lasEvAP oportunamente para apoyar los prepa-rativos para la formulación de la estrategia ylas deliberaciones correspondientes. El DEOseguirá su antigua política de presentar las EvAP alos integrantes del Directorio y al personal delBanco de tres a nueve meses antes de las delibera-ciones previstas sobre la EAP, cuando sea factible.Un aporte de suma importancia que podrían hacerlos usuarios de la EvAP sería aumentar la previsibili-dad del programa de las próximas deliberacionesdel Directorio sobre la EAP, puesto que algunas delas cuestiones relativas a la cronología citadas ante-riormente fueron el resultado de largas demoraspor causa de reprogramación de las deliberacionessobre la estrategia. El CODE puede ayudar en esteproceso con la terminación de la “hoja verde” de lasdeliberaciones sobre la EvAP para ponerla a disposi-ción del Directorio antes de discutir la EAP corres-pondiente. En todo caso, ya sea que la EAP sepresente a tiempo o no, el DEO cree que el CODEse beneficiaría de programar las deliberaciones delas EvAP básicas sin esperar a que se presente la EAP.El DEO trabajará también para ampliar la interacción

Una mayor interaccióncon los equipos a cargode las operaciones en elpaís es un vehículo paramejorar la receptividad a las constataciones de la EvAP.

Hay una idea generalizadade que las EvAP dependendemasiado de entrevistascon el personal del Bancoy los funcionarios públicosy de exámenesdocumentales, y asignandemasiado pocaimportancia a lasopiniones de losbeneficiarios dentro del país.

con los equipos a cargo de las operaciones en el paísdurante el proceso de preparación de la EvAP paraasegurarse de discutir los resultados cambiantes dela evaluación con esos grupos durante las primerasetapas de preparación de la EAP (esto se discute enla próxima sección). Ello permitiría que el DEOatendiera las necesidades del personal de operacio-nes y de los integrantes del Directorio en lo que res-pecta al momento oportuno para la entrega de lasevaluaciones.

Interacción con los equipos a cargode las operaciones en el paísEl personal del Banco expresó una clara pre-ferencia por más interacción con el personaldel DEO durante la preparación de la EvAP.Los funcionarios del Banco, particularmente los di-rectores a cargo de las operaciones del Banco en lospaíses, que hicieron una evaluación favorable de lasEvAP, recalcaron el valor y la importancia del pro-ceso de evaluación. Los participantes que realizaronuna evaluación favorable describieron la EvAP —y elvalor de ésta para su trabajo— con más frecuenciaen términos de un proceso de aprendizaje continuoy, en repetidas ocasiones, afirmaron que había unacomunicación abierta y regular entre el equipo acargo del país y el equipo encargado de la misión deevaluación. A la inversa, el personal del Banco quehizo un análisis desfavorable de la EvAP describió unmínimo grado de interacción del equipo a cargo delas operaciones en el país con el equipo a cargo dela misión de evaluación. Los entrevistados del CODEtambién señalaron que la evaluación debería consi-derarse no solamente como un documento autó-nomo, sino también como un instrumento parafacilitar la interacción del personal del Banco con elDEO con el fin de mejorar la receptividad de lasconstataciones y recomendaciones de la EvAP porparte de la administración del Banco.

Una mayor interacción con los equipos acargo de las operaciones en el país es un ve-hículo para mejorar la receptividad a lasconstataciones de la EvAP. El examen del pro-ceso de evaluación realizado por el DEO revelóque demasiadas EvAP se prepararon con poca in-teracción con los equipos a cargo del país. En al-gunos casos, se pidió al director a cargo de lasoperaciones en el país que hiciera algún comenta-rio sobre el documento descriptivo del enfoque, se


2 1

le solicitó una entrevista que fue realizada por elequipo a cargo de la evaluación y luego, algunosmeses después, se le entregó una versión prelimi-nar de la EvAP. Si bien siempre se hicieron entre-vistas individuales a los miembros de los equipos acargo de las operaciones en el país para cada EvAP,ha habido algunos casos de interacción sistemáticacon el equipo y el director a cargo de las operacio-nes en el país durante el curso de la evaluación. ElDEO propone hacer participar al equipo a cargodel país en los exámenes de mediados del períodode ejecución de futuras evaluaciones para recibircomentarios desde el comienzo sobre las consta-taciones y las recomendaciones que surjan. Esteenfoque crearía un vehículo para asegurar a losequipos a cargo de las operaciones en el país quesus opiniones son valiosas y se tienen en cuenta;demostrar sensibilidad con respecto a la necesidadque tiene el equipo de entender y manejar el im-pacto potencial de una evaluación desfavorablepara las operaciones en marcha, y aumentar la re-ceptividad de esos equipos para evaluar constata-ciones.

Interacción con los beneficiariosHay una idea generalizada de que las EvAPdependen demasiado de entrevistas con elpersonal del Banco y los funcionarios públi-cos y de exámenes documentales, y asignandemasiado poca importancia a las opinionesde los beneficiarios dentro del país. Muchosentrevistados del CODE expresaron preocupaciónpor la excesiva dependencia con respecto a las in-vestigaciones secundarias realizadas exclusiva-mente en la oficina de Washington en lugar detrabajar en forma directa con los funcionarios pú-blicos y otros beneficiarios dentro del país. Si bienla mayoría de los entrevistados del CODE recono-ció específicamente las dificultades inherentes a laparticipación de funcionarios públicos y de otrosbeneficiarios del país en el proceso de evaluación—presupuesto y recursos limitados del DEO, faltade capacidad institucional en el país y la posibilidadde confundir o romper las relaciones existentes delBanco—, la mayoría insistió en que el DEO deberíaseguir luchando por lograr una mayor participaciónde los países en las EvAP. El personal del Bancotambién opinó que los equipos a cargo del pro-yecto de evaluación dependían excesivamente de


sados. Sin embargo, a menudo esos métodos soncostosos y, por ende, se emplearán de una ma-nera acorde con el presupuesto del DEO.

Mejora de la presentación de las EvAPLos entrevistados del CODE opinan que loscambios en el diseño de los documentos delas EvAP facilitarían más la lectura. Más de lamitad de los entrevistados del CODE declararonque tenían dificultad para leer y encontrar la in-formación pertinente en las EvAP. En gran parte,éste es menos un problema de meticulosidad y vo-lumen del informe que de organización. En gene-ral, se sugirió que se fortaleciera la sección sobre“Constataciones y recomendaciones”, que muyprobablemente leerán la administración y el Di-rectorio, y que se trasladará al comienzo del in-forme.

Los exámenes de las deliberaciones del Di-rectorio revelan que se citan mucho más cier-tas partes de la EvAP que otras. El examen hechopor el DEO sobre la referencia a temas particularesde la EvAP en las deliberaciones del Directorio indicauna lectura muy selectiva de dichas evaluaciones(véase el Anexo D). En una tercera parte de las refe-rencias se destaca la sección de “Recomendaciones”de la evaluación y en la mitad, el “Memorando a losDirectores Ejecutivos y al Presidente” que figura enlas evaluaciones, o a los asuntos señalados en las reu-niones del CODE o del Subcomité. Solamente en al-gunos casos se hace referencia al texto principal.Esto subraya la importancia de incluir secciones si-nópticas de la EvAP y de asegurar que las delibera-ciones sobre la evaluación con el CODE y elSubcomité sean eficaces y se faciliten a todos los in-tegrantes del Directorio para el debate sobre la EAP.

El DEO propone experimentar con el di-seño de un documento para ofrecer mayor fa-cilidad de lectura. Una posibilidad consiste endestacar más las constataciones y recomendacionesen la organización general y el diseño del docu-mento. Puesto que la mayoría de los integrantes delDirectorio lee sobre todo los resúmenes, las refe-rencias ayudarían a los lectores a encontrar la in-formación deseada (de lo contrario, supondránequívocamente que se ha omitido del documento),a animarlos a explorar las partes del documentoque quizá no lean detalladamente y a conocer sucontenido.

recursos secundarios, no realizaban suficientesconsultas con los beneficiarios del país, pasabanmuy poco tiempo en este último y hacían la mayorparte del trabajo como estudio documental. Creíanque no se consultaba debidamente a las personasimportantes, que ocupaban altos cargos en el mo-mento de formulación de política.

El examen del DEO no indica dependenciacon respecto a las opiniones del personal delBanco y de los funcionarios públicos, pero lainformación disponible muestra que la ma-yoría de las EvAP son mucho más que estu-dios documentales. Un examen de esas EvAP quecitaba a las personas entrevistadas por los equiposa cargo del proyecto de las mismas indica que la ma-yoría de ellas son o fueron funcionarios públicos,miembros del Grupo del Banco Mundial, u otrosdonantes (véase el Anexo D). Se celebraron menosconsultas con el sector privado, las organizacionesno gubernamentales, el sector académico nacionaly otras partes interesadas de los clientes. Una ex-plicación de ello radica en que los informes de eva-luación de los resultados del proyecto constituyenun elemento básico de las EvAP y se preparan des-pués de una amplia consulta con los beneficiariosdel proyecto, con lo que se reduce la necesidad deque los equipos a cargo del proyecto de evaluaciónlos consulten. La información disponible tambiénmuestra claramente que las EvAP no dependen úni-camente de investigaciones secundarias y estudiosdocumentales. Incorporan las opiniones de funcio-narios públicos, tanto en ejercicio como antiguos,en el país, y no omiten el parecer de las autoridadesnormativas principales del pasado que participaronen las decisiones influyentes.

El DEO hará todo lo posible por asegurarque las EvAP reflejen más plenamente laopinión de la sociedad civil sobre los pro-gramas realizados por el Banco en los paí-ses. El DEO trabajará por hacer participar más alos beneficiarios dentro del país en el proceso deevaluación. Un enfoque que tuvo éxito en la EvAPde Brasil fue el uso de especialistas y miembrosdel sector académico del país como parte delequipo a cargo del proyecto de evaluación. Estanecesidad también podría abordarse por mediodel uso más amplio de métodos cualitativos,como pequeños grupos de discusión y talleres in-formales con funcionarios públicos y otros intere-

2 2

2 3

ANEXOS

En este anexo se describen los elementos funda-mentales de la metodología que utiliza el Departa-mento de Evaluación de Operaciones (DEO) paraevaluar la asistencia a los países20.

En las evaluaciones de la asistencia a lospaíses (EvAP) se califican los efectos direc-tos de los programas de asistencia del Banco,no los progresos generales del cliente en suproceso de desarrollo. Un programa de asis-tencia se debe evaluar para determinar en quémedida ha logrado sus objetivos específicos, quepor lo general suelen ser un subconjunto de losobjetivos de desarrollo del cliente. Si un pro-grama de asistencia es grande en relación con lainiciativa de desarrollo del cliente, los efectos di-rectos de dicho programa serán similares a losprogresos generales que realice el cliente en ma-teria de desarrollo. Sin embargo, la mayoría delos programas de asistencia del Banco sólo su-ministran una fracción del total de recursos quelos donantes, las partes interesadas y el propiogobierno destinan al desarrollo de un paíscliente. En las EvAP, el DEO evalúa únicamentelos efectos directos del programa del Banco, nolos resultados generales del país en su procesode desarrollo, aunque sin duda estos últimos sonpertinentes para determinar los efectos directosdel programa.

La experiencia obtenida con las EvAP confirmaque los efectos directos de un programa pueden di-ferir considerablemente de los avances generalesdel país cliente en su proceso de desarrollo. En lasEvAP se han identificado programas de asistenciaque han producido:

• Efectos directos satisfactorios junto con un de-sarrollo aceptable del cliente

• Efectos directos insatisfactorios en clientes quehan logrado un desarrollo general aceptable apesar de las deficiencias del programa

2 5

• Efectos directos satisfactorios en clientes que noobtuvieron resultados generales satisfactorios du-rante el período de ejecución del programa.

Las evaluaciones de los efectos directos de losprogramas de asistencia y del desempeño delBanco no son lo mismo. El efecto directo insa-tisfactorio de un programa de asistencia no siempresignifica que el desempeño del Banco también hayasido insatisfactorio, y viceversa. Esto se comprendemejor si se tiene en cuenta que la contribución delBanco es sólo uno de los elementos en juego. Elefecto directo de un programa de asistencia se de-termina por el impacto conjunto de cuatro agentes:a) el cliente; b) el Banco; c) los asociados y otraspartes interesadas, y d) factores exógenos (porejemplo, fenómenos naturales, crisis económicasinternacionales, etcétera). En determinadas cir-cunstancias, la contribución negativa de uno deestos agentes puede bastar para anular las contri-buciones positivas de los otros tres y producir unefecto directo insatisfactorio.

El DEO mide el desempeño del Banco princi-palmente basándose en las acciones que este úl-timo controla en forma directa. En las evaluacionesdel desempeño del Banco normalmente se tienenen cuenta la pertinencia y aplicación de las estrate-gias; el diseño y la supervisión de las intervencionescrediticias del Banco; el alcance, la calidad y el se-guimiento de los estudios de diagnóstico y otras ac-tividades de asesoramiento y análisis (AAA); lacoherencia del financiamiento proporcionado porel Banco con sus actividades no crediticias y sus po-líticas de salvaguardia, y las actividades que realizael Banco en asociación con participantes.

Evaluación de los efectos directosde los programas de asistenciaAl calificar los efectos directos de un programa(es decir, el impacto esperado sobre el desarro-

ANEXO A: METODOLOGÍA DE LAS EVAP

llo), el DEO determina la pertinencia de los prin-cipales objetivos estratégicos y si éstos se alcan-zaron sin ningún inconveniente. Los programasde asistencia generalmente exponen sus metasen forma de objetivos de mayor orden, como re-ducir la pobreza. En la estrategia de asistencia aun país (EAP) también se pueden establecermetas intermedias, como mejorar la focalizaciónde los servicios sociales o promover el desarrollorural integrado, y especificar cómo se prevé quesu logro contribuya a alcanzar el objetivo demayor orden. La tarea del DEO consiste, enton-ces, en confirmar si esos objetivos intermediosprodujeron beneficios netos satisfactorios y si lacadena de resultados expuesta en la EAP era vá-lida. Cuando en la EAP no se especifican plena-mente las relaciones de causa y efecto, elevaluador es responsable de reconstruir esta ca-dena de causas y efectos a partir de los datos dis-ponibles, y determinar la pertinencia, la eficaciay los efectos directos con respecto a los objetivosintermedios y de mayor orden.

Los evaluadores también determinan la medidaen que el cliente se identifica con las prioridades in-ternacionales de desarrollo, como los objetivos dedesarrollo del milenio, las prioridades por las que elBanco aboga y las salvaguardias. Idealmente, en laEAP se debería haber identificado y resuelto cual-quier diferencia sobre cómo tratar estas cuestiones,lo cual permitiría al evaluador centrarse en deter-minar si las soluciones de compromiso adoptadasfueron apropiadas. No obstante, en otros casos sepuede comprobar que la estrategia encubrió cier-tos conflictos o evitó tratar problemas clave que li-mitan el desarrollo del cliente. La consecuenciapuede ser que el programa resulte menos perti-nente, que el cliente no se identifique con el pro-grama o que se produzcan efectos secundariosdesfavorables, como el incumplimiento de medidasde salvaguardia; todas estas cuestiones deben te-nerse en cuenta al evaluar los efectos directos delprograma.

Para que la evaluación sea menos subjetiva, elDEO examina varios elementos que influyen en losefectos directos de los programas de asistencia.Para asegurar una mayor coherencia de los ele-mentos en que se basa la evaluación, los programasde asistencia a los países se examinan teniendo encuenta tres dimensiones:

2 6


Muy satisfactorioEl programa de asistencia logró, por lo menos, un progresoaceptable en alcanzar todos los objetivos pertinentes im-portantes, y uno o más de estos objetivos se logró apli-cando prácticas óptimas en lo que respecta al impacto en eldesarrollo. No se identificaron inconvenientes importantes.

SatisfactorioEl programa de asistencia logró un progreso aceptable enalcanzar todos los objetivos pertinentes importantes. Nose identificaron logros que constituyeran prácticas ópti-mas, ni inconvenientes importantes.

Moderadamente satisfactorioEl programa de asistencia logró un progreso aceptable enalcanzar la mayor parte de los objetivos pertinentes impor-tantes. No se identificaron inconvenientes importantes.

Moderadamente insatisfactorioEl programa de asistencia no logró progresos aceptablesen alcanzar la mayor parte de los objetivos pertinentes im-portantes, o logró progresos aceptables en relación contodos ellos, pero: a) no tuvo debidamente en cuenta unproblema clave y limitante del desarrollo, o b) produjo uninconveniente importante, como el incumplimiento de al-guna medida de salvaguardia.

InsatisfactorioEl programa de asistencia no logró progresos aceptablesen alcanzar la mayor parte de los objetivos pertinentes im-portantes y: a) no tuvo debidamente en cuenta un pro-blema clave y limitante del desarrollo, o b) produjo uninconveniente importante, como el incumplimiento de al-guna medida de salvaguardia.

DeficienteEl programa de asistencia no logró progresos aceptablesen alcanzar ninguno de los objetivos pertinentes importan-tes. Tampoco tuvo debidamente en cuenta un problemaclave y limitante del desarrollo, y produjo por lo menos uninconveniente importante, como el incumplimiento de al-guna medida de salvaguardia.

• Una dimensión relativa a productos y servicios,

que comprende un análisis “de abajo arriba” delos principales insumos del programa: présta-mos, actividades de asesoramiento y análisis, yalianzas

• Una dimensión relativa al impacto en el desa-

rrollo, que comprende un análisis “de arriba

ANEXO A: METODOLOGÍA DE LAS EVAP

2 7

• Alcance de los sistemas de seguimiento yevaluación

• Eficacia de la coordinación de la ayuda• Grado de responsabilidad financiera• Fortalecimiento de la capacidad de las ONG• Capital social y ambiental.

Sostenibilidad La sostenibilidad puede calificarse como muy

probable, probable, improbable, muy improbable

o, si no se dispone de información suficiente, sinevaluar. La sostenibilidad mide la capacidad que tie-nen los beneficios en términos de desarrollo de unprograma de asistencia para resistir los riesgos a tra-vés del tiempo, teniendo en cuenta ocho factores:

• Resistencia técnica• Resistencia financiera (incluidas las políticas

para recuperar costos)• Resistencia económica• Apoyo social (incluidas las condiciones sujetas a

políticas de salvaguardia)• Resistencia ambiental• Identificación del gobierno y de otras partes in-

teresadas clave con los programas• Apoyo institucional (incluido un marco jurídico

y regulador favorable, y la eficacia organizativa yde gestión)

• Resistencia a los acontecimientos exógenos,como crisis económicas internacionales o cam-bios en el entorno político y de seguridad.

abajo” de los principales objetivos del programapara determinar su pertinencia, eficacia, efectosdirectos, sostenibilidad e impacto institucional.

• Una dimensión relativa a la atribución, en queel evaluador asigna la responsabilidad por losefectos directos del programa a las cuatro cate-gorías de actores.

Escala de calificacionesEl DEO califica los efectos directos con arreglo aseis categorías, que van desde muy satisfactorio

hasta deficiente.

Impacto en el desarrollo institucional El impacto en el desarrollo institucional delprograma de asistencia a un país puede calificarsecomo: alto, significativo, moderado o insignifi-

cante. Permite determinar la medida en que el pro-grama ha mejorado la capacidad de un cliente parautilizar de forma más eficiente, equitativa y sosteni-ble sus recursos humanos, financieros y naturales.Los siguientes son algunos ejemplos de los aspec-tos que se tienen en cuenta para determinar el im-pacto de un programa en el desarrollo institucional:

• Solidez de la gestión económica• Estructura del sector público y, en particular, de

la administración pública• Solidez institucional del sector financiero• Solidez de los sistemas jurídico, regulador y

judicial

2 9

ANEXO B: EVALUACIONES DE LA ASISTENCIA A LOS PAÍSES REALIZADAS ENTRE LOS EJERCICIOS DE 1995 Y 2004

Ej. de Ej. de Ej. de Ej. de Ej. de Ej. de Ej. de Ej. de Ej. de Ej. de1995 1996 1997 1998 1999a 2000 2001 2002 2003 2004(1) (2) (2) (10) (12) (10) (8) (9) (8) (8)

Ghana Argentina Marruecos Albania Azerbaiyán Argentina Paraguay Ribera Occidental Perú Túnez

y Gaza

Zambia Polonia Bangladesh Camboya Burkina Faso Kazajstán Lesotho Zambia Bhután

Bolivia Croacia Camerún Marruecos Chile Eritrea China

Côte d’Ivoire Ecuador Costa Rica India Viet Nam Zimbabwe Bosnia-

Herzegovina

Kenya Etiopía Egipto Kenya Haití Lituania Armenia

Malawi Indonesia Ghana República Bulgaria Brasil Moldova

Kirguisa

Mozambique Jamaica Papua Nueva México Mongolia República Croacia

Guinea Dominicana

Filipinas Maldivas Tanzanía El Salvador Federación Jordania Rwanda

Tailandia Nepal Uganda de Rusia

Togo Sri Lanka Uruguay Guatemala

Ucrania

Yemena. En el ejercicio de 1999 se preparó una nota sobre la asistencia a Honduras, que se convirtió en un documento de la serie "REACH" tras el huracán Mitch. El área sombreada en gris indica

las 25 EvAP examinadas para preparar este estudio retrospectivo.

Antecedentes y objetivosEste anexo se basa en una investigación indepen-diente que fue encargada para evaluar la calidad yeficacia de las evaluaciones de la asistencia a los pa-íses (EvAP) desde el punto de vista de los partici-pantes en las discusiones del Comité sobre laeficacia en términos de desarrollo (CODE) y el Sub-comité del CODE. Los principales objetivos de lainvestigación fueron los siguientes:

• Conocer la opinión de los participantes acerca decuáles son las audiencias y los objetivos más apro-piados de las EvAP, así como su valor institucional,y la medida en que estos documentos cumplen lospropósitos para los que han sido diseñados

• Detectar posibles obstáculos que impidan asegu-rar la calidad y eficacia general de las EvAP frente alas audiencias más importantes

• Determinar el papel de las EvAP en relación conlos objetivos fundamentales (por ejemplo, extraerenseñanzas para el futuro, determinar el impactoen el desarrollo que tienen las EAP y rendir cuentasa la administración)

• Identificar de qué manera utilizan las EvAP los di-rectores ejecutivos, sus ayudantes y asesores, pres-tando atención especial a las preferencias de losparticipantes respecto de las secciones específicas(memorando de remisión, sistema de calificacio-nes, situación hipotética en ausencia de interven-ción, recomendaciones, etcétera) y su importanciarelativa en los documentos, así como a la evalua-ción que hacen de esos aspectos

• Evaluar las EvAP en relación con criterios específi-cos (solidez metodológica, minuciosidad, integri-dad, facilidad de uso, equidad y objetividad)

• Recomendar maneras específicas de mejorar lacalidad y eficacia de los documentos (por ejem-plo, plazos para la distribución, metodología,

3 1

estilo y organización de los documentos, co-mentarios de las partes interesadas dentro delpaís y difusión a estas últimas, etcétera).

MetodologíaPara lograr estos objetivos, el consultor realizó entre-vistas en profundidad con 30 integrantes del CODE,miembros del Directorio, ayudantes y asesores, tantoactuales como pasados. Dieciséis de las entrevistaspara el estudio se realizaron en persona en la ciudadde Washington a fines de junio y principios de julio de2003, y las otras 14, por teléfono entre junio y agostode ese mismo año. Cada entrevista duró unos 45 mi-nutos. A todos los participantes se les prometió quesus comentarios se mantendrían en reserva, y por co-rreo electrónico se les enviaron anticipadamente al-gunas pautas para la entrevista.

Los participantes fueron seleccionados de unalista de personas que asisten o han asistido a reu-niones del Subcomité del CODE, proporcionadapor el DEO. Inicialmente, los criterios de selecciónexigían que los entrevistados fueran directores eje-cutivos, ayudantes y asesores actuales y pasadosque hubiesen asistido a por lo menos dos reunio-nes del Subcomité del CODE. Sin embargo, debidoa la limitada disponibilidad de los miembros del Di-rectorio y de su personal durante el período en quese realizó la investigación, dichos criterios se flexi-bilizaron para incluir a un pequeño número de par-ticipantes que habían asistido a una reunión delSubcomité del CODE. La decisión fue acertada, yaque durante las entrevistas se descubrió que el exa-men de las EvAP y los preparativos para las delibe-raciones y presentaciones del Subcomité son, en lamayoría de los casos, un proceso de colaboración.Los directores ejecutivos y otros funcionarios quedeben participar en las discusiones del CODE o ex-poner temas a menudo se apoyan en medida apre-

ANEXO C: RESUMEN DE LAS ENTREVISTAS CON MIEMBROS DEL DIRECTORIO Y DEL COMITÉ SOBRE LA EFICACIA EN TÉRMINOS DE DESARROLLO

ciable en los resúmenes y pautas proporcionadaspor ayudantes y asesores que no asisten a las reu-niones. En consecuencia, en algunos casos los par-ticipantes que no habían asistido a muchasreuniones del Subcomité estaban más familiariza-dos con el contenido y el diseño de los documen-tos básicos que los directores ejecutivos y otrosasistentes más frecuentes. En vista de lo anterior, lacomposición de la muestra constituye una repre-sentación equilibrada del personal profesional delDirectorio que utiliza las EvAP para prepararse yparticipar en las discusiones del Subcomité delCODE. La muestra definitiva incluyó a 17 partici-pantes que habían asistido a tres o más reuniones(la asistencia fluctúa entre tres y 12 reuniones);siete participantes que asistieron a dos reunionescada uno, y seis participantes que asistieron a unareunión.

ConstatacionesEvaluación generalLa opinión general sobre las EvAP fue positiva.La mayoría de los entrevistados (24 de 30) señalóque las EvAP cumplen una función esencial, ya queson evaluaciones integrales e independientes parael Directorio y la administración del Banco que noexisten en ningún otro lugar. La mayoría describiólas EvAP como una fuente de información indis-pensable, de gran calidad y profundidad en compa-ración con otros instrumentos, que presenta unaevaluación minuciosa de las políticas y actividadesdel Banco. En muchos casos, las críticas a las EvAPestuvieron acompañadas de observaciones compa-sivas con respecto a las dificultades inherentes quesupone proporcionar una herramienta de evalua-ción independiente al Banco, así como de expre-siones de confianza en el compromiso del DEO dehacer una evaluación objetiva e independiente deldesempeño del Banco.

Utilización de las EvAP Los participantes indicaron que, desde el punto devista del Directorio, la rendición de cuentas y la se-guridad de que los programas del Banco se lleven acabo de manera eficaz constituyen dos motivos depreocupación fundamentales, y que una opiniónconfiable e independiente como las EvAP es fun-damental en este proceso. También se señaló laimportante contribución al aprendizaje que repre-

3 2


sentan estas evaluaciones. Los participantes estánconscientes de la tensión entre la función de rendi-ción de cuentas y la de aprendizaje, y varios entre-vistados subrayaron la importancia de encontrar unjusto equilibrio entre ambas.

Los entrevistados informaron que las EvAP seusan habitualmente para:

• Prepararse para participar en las reuniones delSubcomité del CODE

• Prepararse para participar en las reuniones delDirectorio, sobre todo la sección de conclusio-nes y recomendaciones de la EvAP

• Como documento de antecedentes para com-prender y evaluar las nuevas estrategias de asis-tencia a los países

• Como documento de antecedentes sobre cues-tiones sectoriales, temáticas o regionales espe-cificas, para informarse de cómo se abordanciertos asuntos en un país determinado, te-niendo en cuenta sus circunstancias particulares.

Las EPA se utilizan en forma selectiva. Para lamayoría de los participantes, las EvAP no son docu-mentos para leer íntegramente, sino recursos de loscuales se pueden tomar temas de interés específi-cos. Los participantes describieron los pasos quesuelen seguir para examinar e identificar cuestionesfundamentales en una EvAP: i) leer el memorandode remisión/resumen; ii) mirar las recomendacio-nes; iii) mirar la respuesta de la administración, y iv)hojear el resto del documento para identificartemas de interés específicos.

Muchos participantes informaron que lasEvAP tienen un impacto limitado en la for-mulación de la estrategia para un país. Si bienvarios participantes (ocho de 30) informaron deprimera mano acerca de la influencia positiva de lasEvAP en el proceso de preparación de las EAP, lamayoría (17 de 30) expresó dudas de que las EvAPejercieran alguna influencia importante en las deci-siones de la administración o la formulación de laspolíticas. Mencionaron específicamente la fre-cuente falta de una ratificación formal de las EvAPpor la administración superior del Banco. Indicaronque esta situación debilitaba el impacto de la EvAPal nivel de la administración y del país, y como re-sultado de ello, era más probable que el personalde operaciones desestimara las constataciones y las

recomendaciones formuladas en ella. Atribuían laactitud defensiva de la administración a un énfasisexcesivo en la rendición de cuentas formal y en lascuestiones metodológicas. Todos los entrevistadosmanifestaron el deseo de encontrar un mecanismopor el cual las EvAP ejercieran más influencia.

No existe suficiente calidad sobre la ma-nera en que se pueden y deberían utilizar lasevaluaciones. La mayoría de los participantes (16de 30) no tenía muy claro como podrían utilizar lasEvAP en sus relaciones con la administración uotras audiencias posibles (por ejemplo, los benefi-ciarios del sector público, los equipos a cargo de lasoperaciones del Banco en el país). Opinaban que elDEO debería dar algunas orientaciones y señalaronque tal vez sería necesario contar con un meca-nismo formal para integrar las recomendacionesformuladas en las EvAP en las estrategias de la asis-tencia a los países.

Se cree que la utilidad de las EvAP es limi-tada para los beneficiarios de los países. Entrelos factores que se cree que limitan la utilidad de lasEvAP para las autoridades de gobierno y otros be-neficiarios clave cabe mencionar los siguientes:

• Falta de tiempo y capacidad institucional• Resistencia, sobre todo por parte de los funcio-

narios de gobierno, a ser evaluados por agentesexternos

• Subordinación excesiva a las prioridades y lajerga del Banco en el contenido de las EvAP

• Falta de coordinación/uniformidad en las cons-tataciones (particularmente, los datos estadísti-cos) con la información proporcionada porotras instituciones bilaterales

• Cuestiones metodológicas, incluida la falta dedatos y comentarios de los beneficiarios en laevaluación y falta de información actualizadaque describa debidamente la situación impe-rante en el país.

Las EvAP pueden servir de herramienta parafacilitar la relación entre el personal delBanco y los beneficiarios. Algunos participantesestimaban que las EvAP no son un recurso autó-nomo, sino más bien una herramienta para facilitarla interacción y el intercambio de impresionesentre el personal del Banco y los beneficiarios. Elproceso de comunicar, interpretar y dar respuesta

ANEXO C: RESUMEN DE LAS ENTREVISTAS CON MIEMBROS DEL DIRECTORIO Y DEL COMITÉ SOBRE LA EFICACIA EN TÉRMINOS DE DESARROLLO

3 3

a las preguntas e inquietudes que se plantean enuna EvAP ofrece una excelente oportunidad paracultivar relaciones con los principales grupos de re-presentantes en el país, y para identificar y abordarlas necesidades específicas de este último (porejemplo, capacidad institucional, coordinación dedonantes, etcétera). Varios participantes dieronejemplos positivos sobre el uso que hacen de lasEvAP con los beneficiarios del país.

Atributos positivos de las EvAPAnálisis de alta calidad. La mayoría de los parti-cipantes (23 de 30) elogió la constante alta calidadde las evaluaciones, entendiéndose por calidad “unanálisis significativo y de fondo” o “una excelenteredacción y presentación general”. Los reparos másfrecuentes que se mencionaron fueron las incohe-rencias en las constataciones o un estilo de presen-tación demasiado positivo y favorable al Banco. Lamayoría advirtió que la calidad de las evaluacionesdependía de los consultores y del personal que laspreparaban, y que notaban cierta variación en la ca-lidad entre una EvAP y la siguiente.

Objetividad de las constataciones y las eva-luaciones. La mayoría de los participantes (21 de 30)estimaba que las EvAP son objetivas, ofrecen una eva-luación independiente y desapasionada del desem-peño del Banco, y procuran ser justas en susdeterminaciones y recomendaciones. Sin embargo,algunos manifestaron su preocupación de que el textohubiera sido manipulado para que las constatacionesno parecieran tan críticas hacia la administración.

Minuciosidad e integridad. En general, lasEvAP se describieron como documentos minucio-sos e integrales. No obstante, unos pocos partici-pantes (cinco de 30) pensaban que a veces sepasaban por alto temas esenciales (economía polí-tica, desarrollo del sector privado, cuestionesculturales).

Aspectos que se deben mejorar Estructura y presentación inadecuadas. Mu-chos miembros del CODE (16 de 30) señalaron quetenían dificultades para leer y encontrar informa-ción pertinente en las EvAP. Para la mayoría, éste esmás bien un problema de organización que de ex-tensión; en la medida en que la extensión del do-cumento significara minuciosidad e integridad, ellose consideraba positivo. Se sugirió reforzar el capí-

tulo sobre constataciones y recomendaciones, y pa-sarlo más cerca del principio del informe, ya que esla sección que tiene mayores probabilidades de serleída por la administración.

Enfoque excesivamente académico. La ma-yoría de los participantes (17 de 30) opinaba que lasEvAP no deberían ser documentos de investigaciónacadémicamente creíbles y centrados en aspectoscuantitativos, con indicadores cuantificables deldesempeño del Banco en el pasado, situaciones hi-potéticas en ausencia de intervención, etcétera. Encambio, señalaron, las evaluaciones deberían ten-der a presentar un panorama general muy bien ela-borado sobre la función del Banco en el proceso dedesarrollo de un país a lo largo del tiempo, con unfuerte énfasis en las enseñanzas aprendidas y en re-comendaciones que permitieran robustecer las es-trategias del Banco en el futuro.

Atención excesiva a los procedimientosoperacionales, relegando a segundo plano losprogresos efectivos en el terreno. A muchosmiembros del CODE les preocupaba que los docu-mentos a veces se concentren demasiado en el de-sempeño del Banco en seguir ciertos procedimientosy alcanzar determinados objetivos, olvidando el im-pacto de la participación de este último en el país.Señalaron que una mayor concentración en “la si-tuación en el terreno” y el seguimiento de los pro-gresos efectivos fortalecerían a las EvAP.

Insuficiente participación directa. Muchosparticipantes expresaron su preocupación de quelos autores de las EvAP se basan demasiado en in-vestigaciones secundarias realizadas exclusiva-mente en las oficinas de la ciudad de Washington,en vez de una labor directa con los equipos a cargode las operaciones en los países, funcionarios pú-blicos y otros beneficiarios de los países. Muchosparticipantes reconocieron específicamente las di-ficultades inherentes a la participación de funcio-narios de gobierno y otros beneficiarios nacionalesen el proceso de evaluación. Entre las cuestionesfundamentales mencionadas se incluyen: limitacio-nes presupuestarias y de recursos en el DEO, faltade capacidad institucional en el país, posibilidad deconfundir o interrumpir las relaciones establecidascon el Banco, y posibilidad de limitar la indepen-dencia y objetividad del DEO. A pesar de estos retosy dudas, la mayoría de los participantes insistió enque el DEO debería continuar tratando de incluir

3 4


una mayor participación del país en la EvAP. Elmayor énfasis del Banco en estrategias centradas enlos países (junto con las prioridades conexas comola coordinación de los donantes, el fortalecimientode la capacidad y un mayor recurso a expertos lo-cales) ha planteado ciertos problemas metodológi-cos que sólo se pueden resolver con una mayorparticipación de los beneficiarios de los países.

Marcos temporales muy amplios. Se formu-laron preguntas sobre el largo período (10 años omás) que abarcan las evaluaciones, especialmentecon respecto a la rendición de cuentas tanto delBanco como del gobierno del país en cuestión.¿Cómo puede una evaluación que abarque un perí-odo tan amplio hacer frente a la rotación de perso-nal tanto en la administración del Banco como enel gobierno, a los cambios políticos y económicosimprevistos en el país receptor, y al cambio de lasprioridades y objetivos estratégicos en el Banco?

Cronología inoportuna de algunas EvAP.La mayoría de los participantes (17 de 30) señalóque a veces reciben la EvAP demasiado tarde en elproceso de formulación de una estrategia para quetenga un impacto significativo. Los participantescomprendían las cuestiones logísticas que con fre-cuencia restringen la disponibilidad de las evalua-ciones. Sin embargo, quisieran recibir las EvAP porlo menos dos a cuatro semanas antes de las reunio-nes del Subcomité del CODE, y uno a tres mesesantes de la discusión de la EAP.

Incoherencias e imprecisiones en las cali-ficaciones. La mayoría de los participantes consi-dera que las calificaciones son, en general, uncomplemento confiable de la información propor-cionada en la parte narrativa del informe de evalua-ción de la asistencia a un país. Algunos describieronlas calificaciones como la parte de la EvAP que tienelas mayores posibilidades responsabilizar a la admi-nistración por sus acciones y de asegurar que éstapreste atención a las constataciones de la evalua-ción. Sin embargo, otros estimaban que se deberíaprestar menos atención a las calificaciones.Además, expresaron gran inquietud de que las in-congruencias e imprecisiones del sistema de califi-cación mermaran su impacto. La mayoría de losparticipantes señaló que, para que las calificacionesfueran útiles, las escalas debían afinarse con másprecisión o los valores relativos debían definirsemás claramente.

Antecedentes y objetivosEste examen fue diseñado como contribución al es-tudio retrospectivo de las EvAP. Su propósito esconcentrarse específicamente en la utilización delas EvAP por el Directorio Ejecutivo del Banco. Seexaminaron las transcripciones de las deliberacio-nes del Directorio, así como algunas EAP pertinen-tes y sus respectivos informes de situación, a fin deexaminar el posible impacto de las EvAP en esasdiscusiones. También se analizaron las declaracio-nes escritas distribuidas por los miembros del Di-rectorio antes de las discusiones. En la muestra seincluyeron 13 discusiones de estrategias de asis-tencia relativas a los 12 países cuyas recientes EvAPse encontraban disponibles en abril de 2003 (elcaso de un país se discutió dos veces). Los paíseseran Bulgaria, Chile, El Salvador, Federación deRusia, Guatemala, India, Kazajstán, México, Ma-rruecos, Perú, República Kirguisa y Viet Nam.

MetodologíaComo primer paso, en el examen se buscaron refe-rencias explícitas a una EvAP en las contribucionesdel presidente a la discusión de la estrategia de asis-tencia a un país determinado. La existencia de im-portantes referencias es la prueba más clara de quela EvAP ha sido leída y se ha utilizado para prepararla declaración de un presidente. Sin embargo, in-cluso en los casos en que un presidente no se hu-biera referido explícitamente a la EvAP, es posibleque la hubiera leído y se hubiera orientado por ellapara elegir las cuestiones abordadas en la discusiónde la EAP. Asimismo, el nivel de convergencia de lascuestiones entre la EvAP y la discusión de la EAP porel Directorio constituye por sí mismo informaciónimportante, pues la existencia de grandes discre-pancias puede indicar que existen problemas sub-yacentes con el análisis y la determinación de

3 5

prioridades. Por lo tanto, fue necesario ir más alláde la tarea de contar y categorizar las referencias ala EvAP y considerar también las cuestiones plante-adas durante la discusión, comparando el temaprincipal con las cuestiones presentadas en la EvAP.Todos los asuntos planteados por los presidentesse agruparon por frecuencia y contenido, y se com-pararon con la importancia que se les había otor-gado en la EvAP.

Se corre cierto riesgo al darle demasiada impor-tancia a la frecuencia con que un determinadoasunto ha sido mencionado durante las discusionesdel Directorio, ya que al parecer sus miembrosadaptan y abrevian sus contribuciones a medidaque avanza la discusión, con el fin de evitar repeti-ciones. En muchas transcripciones, las contribucio-nes de los últimos oradores fueron, en promedio,mucho más breves o, por lo menos, no conteníantantas cuestiones diferentes. Esto puede influir enel número de veces que el DEO y la EvAP se men-cionan explícitamente. Sin embargo, los comenta-rios se concentran en ciertos temas, lo cual indicaque hay cuestiones que revisten especial interéspara los presidentes en el contexto del país o in-cluso a nivel general.

Como base para el proceso de examen, se pre-paró una hoja de trabajo para cada transcripción, enla que se enumeraban las recomendaciones de laEvAP y otros asuntos analizados en la evaluación co-rrespondiente. En la lista se anotaron todas lascuestiones planteadas por un determinado presi-dente, las que luego fueron clasificadas por catego-rías, dependiendo del contenido de la observacióny de si ésta incluía una referencia explícita a la EvAP.Si un presidente planteaba una cuestión que no seanalizaba en detalle en la EvAP, se anotaba en unacategoría separada y la observación se evaluaba yasea como superficial o de fondo. Los comentarios

ANEXO D: DISCUSIONES DEL DIRECTORIO SOBRE LAS EAP,Y DOCUMENTOS DE LAS EAP

generales sobre la EvAP sin hacer referencia a unacuestión en particular constituían otra categoría.Además, las referencias explícitas a la EvAP se regis-traron en contexto, se clasificaron por contenido yse evaluaron para determinar si contenían orienta-ciones dirigidas al equipo a cargo de la EAP.

ConstatacionesEvaluación generalEste examen indica que las EvAP influyen enlas discusiones del Directorio relativas a lasEAP y sus correspondientes informes de si-tuación, pero que dicha influencia varía con-siderablemente de un país a otro. En general,al parecer la utilización de las EvAP por los miem-bros del Directorio es moderada, con importantesvariaciones entre los grupos de representados ytambién entre las EvAP sometidas a consideración.Algunas reciben más atención que otras, y algunospresidentes parecen apoyarse más en la EvAP queotros. En general, se observó un buen nivel de con-vergencia entre las cuestiones planteadas en lasEvAP y las discusiones subsiguientes de las EAP ysus correspondientes informes de situación, peroen muchos casos no se puede establecer un nexoexplícito con las EvAP.

Utilización de las EvAPEn aproximadamente un tercio de las decla-raciones escritas u orales de los presidentesse hacía referencia explícita por lo menosuna vez a la EvAP correspondiente. En total, seregistraron 85 referencias a las EvAP durante las 13

3 6


discusiones analizadas. Alrededor de la cuarta parte(21) eran referencias muy generales, en tanto queel 75% restante (64) se relacionaba con cuestionesespecíficas. Estas últimas representaban una frac-ción muy pequeña (6%) del total de cuestionesplanteadas durante las discusiones del Directoriosobre esas EAP. Por otra parte, se observó una granconvergencia entre las cuestiones planteadas en lasEvAP y las planteadas en la discusión del Directoriode la correspondiente EAP y sus respectivos infor-mes de situación. Lo anterior es válido ya sea que sehicieran o no referencias explícitas a la EvAP; enconsecuencia, no se puede establecer un nexoclaro entre la convergencia de cuestiones plantea-das y el uso de las EvAP por parte de los miembrosdel Directorio.

El nivel de convergencia entre las cuestio-nes planteadas en la EvAP y los temas men-cionados por los presidentes durante lasdiscusiones del Directorio es bastante alto.Por ejemplo, la discusión de una EAP por parte delDirectorio se llevó a cabo casi un año después dehaberse distribuido la correspondiente EvAP, yprácticamente nadie se refirió a ella durante la dis-cusión. Aun así, los temas tratados en la EvAP y enla discusión de la EAP estaban, en general, biencompaginados, y las recomendaciones formuladasen la EvPA se repitieron en varios comentarios efec-tuados por los presidentes. Lo mismo sucedió enotra discusión, en la que se observó un nivel deconvergencia especialmente alto entre las cuestio-nes planteadas en la EvAP, pero no se incluyó nin-guna referencia explícita a esta última. Los datosdisponibles indican que tal convergencia podría serel resultado de la interacción y cooperación entrelos equipos a cargo de la EvAP y los encargados dela EAP durante la preparación de esta última.

El mayor número de referencias corres-ponde a las secciones en las que se presentainformación resumida. Una mirada más dete-nida a las referencias a las EvAP sobre cuestiones es-pecíficas indica que éstas se leen en forma selectiva.Un tercio de las referencias apuntan a la secciónsobre recomendaciones de la EvAP, y otro 50% co-rresponde a los resúmenes de la EvAP o a las cues-tiones planteadas durante la reunión del CODE odel Subcomité del CODE. Solamente el 17% de lasreferencias proviene del texto principal (Gráfico 1).Esto subraya la importancia de las secciones de lasEvAP que contienen información resumida y de ase-

D i s t r i b u c i ó n d er e f e r e n c i a s c o n e x a s

G r á f i c o 1

Texto principal de la EvAP

17%

Memorando/CODE 50%

Recomendaciones 33%

gurar una discusión eficaz de la EvAP con el CODEo el Subcomité del CODE.

Algunas EvAP generan más discusión queotras. Una EvAP concita mayor atención cuando loque se discute es una estrategia definitiva de asis-tencia a un país, no un informe de situación sobrela estrategia. Una EvAP recibe menos atencióncuando el tiempo transcurrido entre su distribu-ción y la discusión de la EAP por el Directorio seacerca a un año. En cierta medida, una EvAP conuna calificación insatisfactoria de los efectos direc-tos recibe más atención.

Algunos presidentes utilizan las EvAP conmás frecuencia que otros. Diez de los 24 gruposde países representados en el Directorio se refirie-ron a las EvAP con cierta regularidad. La gran ma-yoría eran representantes de países individuales dela Parte I o representantes de grupos encabezadospor un país de la Parte I. Otros grupos rara vez onunca se refirieron a una EvAP.

ANEXO D: DISCUSIONES DEL DIRECTORIO SOBRE LAS EAP, Y DOCUMENTOS DE LAS EAP

3 7

Algunas cuestiones se plantean con mayorfrecuencia que otras, ya sea que se subrayeno no en las EvAP sometidas a examen. Entreestas cuestiones, la más frecuente es la coordina-ción de la ayuda. En la discusión no predominan, deningún modo, los aspectos bilaterales de la coordi-nación de los donantes; se trata más bien de unadiscusión de fondo en la que se aborda la coordi-nación del programa del Banco con otros progra-mas de donantes, la selectividad, la colaboración enlos estudios económicos y sectoriales, la armoniza-ción de procedimientos, etcétera. Esto tiene impli-caciones para las futuras EvAP, ya que en el pasadoel tema de la coordinación de la ayuda se limitaba auna descripción de las actividades de otros donan-tes. Otros temas recurrentes en la discusión son lagestión del sector público, la pobreza en las zonasrurales, el desarrollo del sector privado, la condi-cionalidad y los factores que activan los mecanis-mos de financiamiento.

Antecedentes y objetivosEste anexo se basa en una investigación independi-ente que fue encargada para evaluar la calidad y efi-cacia de las EvAP desde el punto de vista delpersonal del Banco que participa en el proceso depreparación de esas evaluaciones. El estudio seconcentró en las experiencias, percepciones y ex-pectativas de los propios entrevistados, y no pre-tende presentar una evaluación objetiva de lacalidad, presentación y entrega de las EvAP. La fi-nalidad es identificar actitudes clave que reflejan lareceptividad de los entrevistados (o ausencia deésta) con respecto a las constataciones y recomen-daciones incluidas en las EvAP.

Los principales objetivos de la investigaciónfueron los siguientes:

• Conocer la opinión de los participantes acercade cuáles son las audiencias y los objetivos másapropiados de las EvAP, así como su valor insti-tucional, y la medida en que estos documentoscumplen los propósitos para los que han sidodiseñados.

• Detectar posibles obstáculos que impidan ase-gurar la calidad y eficacia general de las EvAPfrente a las audiencias más importantes.

• Determinar el papel de las EvAP en relación conlos objetivos fundamentales (por ejemplo, ex-traer enseñanzas para el futuro, determinar elimpacto en el desarrollo que tienen las EAP yrendir cuentas)

• Identificar de qué manera utilizan las EvAP en sutrabajo las distintas audiencias.

• Evaluar las EvAP en relación con criterios espe-cíficos (solidez metodológica, minuciosidad, in-tegridad, facilidad de uso, equidad, objetividad,etcétera)

• Recomendar maneras específicas de mejorar lacalidad y eficacia de los documentos (por ejem-

3 9

plo, plazos para la distribución, metodología,estilo y organización de los documentos, co-mentarios de las partes interesadas dentro delpaís y difusión a estos últimos, etcétera).

MetodologíaPara lograr estos objetivos, el DEO encargó a unconsultor independiente la realización de entrevis-tas en profundidad con directores a cargo de lasoperaciones del Banco en los países (DP) y vice-presidentes de las oficinas regionales (VPR), asícomo entrevistas con grupos de discusión integra-dos por miembros de los equipos a cargo de los pa-íses (economistas, gerentes, coordinadores). Lainvestigación se realizó entre mediados de octubrey mediados de diciembre de 2003. Los participan-tes fueron seleccionados de una lista de funciona-rios actuales o anteriores del Banco, proporcionadapor el DEO. La muestra para el estudio comprendiócuatro VPR actuales y anteriores y un vicepresi-dente interino; otros cinco funcionarios de las vi-cepresidencias; 20 directores actuales o anterioresa cargo de las operaciones del Banco en los países,y otros 18 funcionarios de los equipos a cargo de lospaíses, cinco de los cuales concedieron entrevistasen profundidad.

A todos los participantes se les prometió que suscomentarios se mantendrían en reserva, y por co-rreo electrónico se les enviaron anticipadamentepautas para la entrevista. Cada entrevista duró unos45 minutos.

ConstatacionesEvaluación generalCon unas pocas excepciones, la administracióndel Banco en general tuvo opiniones negativasacerca de las EvAP. Solamente siete de los 20 DPentrevistados hicieron una evaluación positiva de lasEvAP y la utilidad de sus constataciones y recomenda-

ANEXO E: RESUMEN DE LAS ENTREVISTAS CON PERSONAL DEL BANCO

ciones. Dos DP que estaban familiarizados con más deuna EvAP hicieron una evaluación positiva de una omás de ellas, y una evaluación negativa de las demás.Siete DP tenían una opinión negativa y las impresionesde los otros cuatro fueron variadas. Los VPR entre-vistados tuvieron opiniones incluso menos positivasque los DP. Una de las constataciones principales deestas entrevistas y conversaciones con grupos de dis-cusión fue que generalmente las EvAP recibían unaevaluación positiva cuando se creía que producían unimpacto directo en la preparación de una EAP o enalgún otro estudio o actividad en curso, y viceversa.

Las opiniones de los DP no se dejabanguiar estrictamente por las calificacionessobre los efectos directos recibidas por suspaíses. Si bien hubo unos pocos casos en que seobservó una correlación directa entre las califica-ciones de los efectos directos y la evaluación de laEvAP, el panorama general era diferente. Los sieteDP que hicieron una evaluación positiva estuvieronrelacionados con tres EvAP que obtuvieron califica-ciones positivas sobre los efectos directos y cuatroque recibieron calificaciones negativas. Lo mismosucedió en el caso de los DP que evaluaron las EvAPen forma negativa. Por otra parte, las opiniones delos VPR estuvieran determinadas principalmentepor su experiencia con EvAP que recibieron califi-caciones negativas. Fue difícil establecer una rela-ción entre las calificaciones y las percepciones delos miembros de los equipos a cargo de los paísesen los grupos de discusión, excepto por el hechode que muchas de las críticas y sugerencias estu-vieron guiadas por las experiencias con EvAP queobtuvieron calificaciones negativas.

Utilización de las EvAPSe consideraba que algunas EvAP tenían unimpacto directo en la EAP o en el planteamien-to del Banco con respecto al país. Algunos par-ticipantes declararon que la evaluación de laasistencia a su país tuvo un impacto directo en laestrategia y en el programa de financiamiento, y unimpacto apreciable en la manera de pensar y reali-zar su trabajo. En un caso se declaró que “de hecho,después de aquello no otorgamos préstamos a Xdurante un largo tiempo”. Había más probabilida-des de que los participantes que se identificabancomo beneficiarios primarios de la EvAP hubieraninteractuado directamente con el equipo a cargo de

4 0


la misión, destacado el impacto positivo de las eva-luaciones (con la EAP y con posterioridad a ella),promovido una difusión más amplia de las consta-taciones a los beneficiarios y declarado que consul-taban las EvAP de otros países para realizar sutrabajo.

Sin embargo, muchas de las EvAP se consi-deraban de poco o ningún valor. Muchos en-trevistados reconocieron lo poco que valoraban yutilizaban las EvAP de sus países. Una vez conclui-dos el proceso formal y la reunión del CODE, estasEvAP solían descartarse e ignorarse. Sus críticos de-cían que las EvAP eran documentos superficiales sinninguna significación verdadera para la labor delpersonal del Banco; que no aportaban ningún co-nocimiento o enseñanzas que pudieran modificarla manera en que el Banco desarrollaba su labor;que no lograban comunicar la riqueza y compleji-dad de la situación de un país, y que no conteníannuevas ideas de las que el equipo a cargo de lasoperaciones en el país ya no tuviera conocimiento.

Atributos positivos de las EvAPLa valoración como instrumento de aprendi-zaje. Los participantes que evaluaron positivamentelas EvAP se concentraron en el impacto de las consta-taciones sobre estrategias y operaciones futuras, in-cluso cuando describían evaluaciones críticas de laestrategia del Banco o del equipo a cargo de las ope-raciones en el país. En cuanto al proceso de aprendi-zaje, la opinión era que éste se derivaba, en mayormedida, del proceso informal y constante a través delcual se recopilaban, comunicaban y difundían las con-stataciones de las EvAP, antes que de estas últimascomo documento independiente y autorizado.

Aspectos que se deben mejorar Competencia y experiencia de los jefes deproyecto. Una mayoría abrumadora de los DP (16 de20) y todos los VPR informaron que la competencia yexperiencia del jefe de proyecto es un factor funda-mental para determinar su confianza en una EvAP y lareceptividad que puede tener a este documento. Losatributos más citados de un buen jefe de proyecto fue-ron los siguientes: experiencia operacional previa;sensibilidad frente a las presiones y complejidades dela toma de decisiones y la aplicación de las estrategiassobre el terreno; conocimiento de la región y de lossectores pertinentes, y ausencia de prejuicios.

Grado de interacción con el equipo a cargode las operaciones en el país. Del grupo de DP en-trevistados para el estudio, seis de los ocho que hicie-ron una evaluación positiva de una o más EvAPsubrayaron el valor y la importancia del proceso a tra-vés del cual se generaba dicho documento. Los parti-cipantes que evaluaron positivamente las EvAP teníanmás probabilidades de describir este documento, asícomo su valor para la labor que desarrolla Banco, entérminos de un proceso de aprendizaje permanente,y en repetidas ocasiones manifestaron que las comu-nicaciones abiertas y periódicas entre el equipo acargo del país y el equipo responsable de la EvAP re-sultaban en discusiones fructíferas respecto de lasprincipales cuestiones que debían examinarse y de laspersonas y recursos adecuados a los que se debía re-currir durante la evaluación. En cambio, los partici-pantes que evaluaron las EvAP en forma negativadeclararon que existía muy poca interacción entre elequipo a cargo de las operaciones en el país y elequipo responsable de la EvAP.

Falta de sensibilidad en la toma de decisio-nes y los procesos operacionales. Participantesde todos los grupos (incluidos 12 DP, cuatro VPR yambos grupos de discusión) informaron que confrecuencia en las EvAP no se presta suficiente aten-ción al razonamiento en que se ha basado la for-mulación de las estrategias en el pasado ni alreconocimiento en debida forma del compromisoy profesionalismo de la administración y el perso-nal de operaciones. La utilidad incluso de la EvAPmás positiva a veces se ve disminuida por la inca-pacidad, durante la evaluación, de poner las deci-siones en el contexto en el que fueron tomadas ode tener en cuenta la disposición de quienes desa-rrollaron y pusieron en práctica la EAP. “No puedocreer que nuestra resistencia a las constataciones ya las situaciones hipotéticas se deban simplementea nuestra estrechez de mente y resistencia a la crí-tica y al cambio”, señaló uno de los entrevistados.“Lo que ocurre es que en el proceso no se reconocesuficientemente el profesionalismo de las personas”.

Cronología caprichosa de las EvAP. Inde-pendientemente de la evaluación que hicieron delas EvAP, los participantes de todos los grupos coin-cidieron en que, en la práctica, la cronología de lasevaluaciones es demasiado caprichosa e imprede-cible para ser un instrumento útil para la formula-ción de estrategias a nivel institucional. Incluso los

ANEXO E: RESUMEN DE LAS ENTREVISTAS CON PERSONAL DEL BANCO

4 1

participantes que describieron experiencias idealesrespecto de la cronología de las EvAP señalaron quesabían de casos en que una evaluación se había dis-tribuido cuando el proceso ya estaba demasiadoavanzado para servir de fundamento para la EAP,observación que generó escepticismo acerca de lautilidad de la EvAP en su labor en el futuro. La ma-yoría de los participantes indicó que, para quepueda servir de fundamento a la EAP, la EvAP de-bería estar disponible en las primeras etapas delproceso de formulación de la estrategia. En muchoscasos, las observaciones de los participantes res-pecto de la cronología y la distinta manera de en-tender la EvAP en el proceso y en el documentoestaban estrechamente relacionadas con el equiporesponsable de la EvAP.

Énfasis excesivo en la rendición de cuentasen contraposición al aprendizaje. Los partici-pantes que hicieron una evaluación positiva de lasEvAP rara vez emplearon la expresión “rendición decuentas”. Sin embargo, aquellos cuya evaluaciónfue negativa se quejaron en repetidas ocasiones delénfasis excesivo de la EvAP en la rendición de cuen-tas. El problema que se mencionó con mayor fre-cuencia en relación con el énfasis en la rendición decuentas que se pone actualmente en la CAE (y queresume la mayoría de las demás inquietudes seña-ladas) era que disminuía el valor y la utilidad —du-rante la formulación de la estrategia y a nivel delequipo a cargo de las operaciones en el país— delas enseñanzas y recomendaciones para el futuroque se supone que deben ofrecer las evaluaciones.Los participantes de todos los grupos manifestaronsu preocupación de que el énfasis actual en la ren-dición de cuentas monopoliza el contenido, la me-todología y la organización de las EvAP (y que lasrecomendaciones y constataciones más importan-tes quedan rezagadas al final del documento), y dis-minuye la receptividad de la administración y delpersonal a cargo de las operaciones en los paísesfrente a las recomendaciones formuladas.

En el caso de los participantes que trabajan en paí-ses grandes y complejos en los que el Banco tienegrandes inversiones, así como en el de los VPR de esasregiones, la credibilidad de las EvAP como indicadoresde la rendición de cuentas corre mayor peligro debidoa la incapacidad de las evaluaciones de abordar elpapel del Directorio y a las presiones externas de lospaíses del Grupo de los Siete para orientar las estrate-

gias del Banco. Esta cuestión —y su impacto en la cre-dibilidad de las EvAP para la administración y el equipoa cargo de las operaciones en el país— fue señalada di-rectamente por ocho DP y tres VPR, y se debatió abier-tamente en los dos grupos de discusión con directoresa cargo de países.

Falta de sensibilidad con respecto al per-juicio de las relaciones con los países. Más dela mitad de los participantes (ocho DP, tres VPR yvarios participantes en los grupos de discusión) se-ñalaron la necesidad de reparar los daños despuésde que se da a conocer públicamente una EvAP ne-gativa. Para la mayoría, el daño a la reputación delequipo a cargo de las operaciones en el país y a lasrelaciones que éste mantiene (con el gobierno yotros beneficiarios, otros donantes y el público engeneral) se considera la repercusión clave de unaevaluación negativa, mucho más importante que elimpacto en la carrera o avance profesional de un in-dividuo. Los participantes eran mucho más recepti-vos frente a constataciones negativas cuando elequipo responsable de la EvAP se daba cuenta de lanecesidad de entender y controlar el impacto quepodría producir una evaluación negativa en las ope-raciones en curso. En el mejor de los casos, a losparticipantes se les daba tiempo para asimilar y pre-pararse (mediante conversaciones informales conbeneficiarios clave) para la distribución pública deuna EvAP negativa.

Deficiencias del sistema de calificación. Losparticipantes también criticaron el sistema de califica-ción empleado en las EvAP. Las opiniones se dividie-ron entre quienes consideraban que las calificacionesdebían ignorarse o que debía restárseles importanciay quienes exigían un planteamiento más riguroso. Lasprincipales inquietudes expresadas fueron:

• Incoherencias entre las calificaciones y la partenarrativa de la EvAP

• Falta de claridad sobre el verdadero significadode las calificaciones

• Falta de coordinación con las medidas cuantita-tivas proporcionadas por otras organizacionesdonantes

• Dificultades inherentes a la aplicación de crite-rios uniformes en distintos países

4 2


• Resistencia general al concepto de calificacióndel desempeño al nivel de los países

• Incapacidad de medir las diferencias en distin-tas fases del proceso de desarrollo (y frustracióncon la práctica del DEO de combinar y prome-diar calificaciones de distintos períodos)

• Dificultades en atribuir los efectos directos enlos países al desempeño del Banco

• Desarrollo de una actitud defensiva indebidaentre el personal del Banco.

Deficiencias en la metodología y el enfoque.La mayoría de los participantes hizo comentariossobre la falta de una metodología clara, uniforme,coherente y racional para las EvAP que pudiera ap-licarse de manera eficaz en todas partes. Opinaronque su enfoque era demasiado amplio para ser útil.En lugar del actual alcance integral y multisectorialde las EvAP, varios entrevistados (ocho DP y dosVPR) sugirieron que las evaluaciones identificaranun número limitado de sectores específicos en losque pudieran producir el mayor impacto. Tambiénse observaban importantes deficiencias en las situa-ciones hipotéticas en ausencia de intervención, quese consideraban demasiado abstractas, con un én-fasis excesivo en el papel del Banco en el desarrollodel país, y, en retrospectiva, demasiado utópicas yprivilegiadas para ser útiles en la toma de decisio-nes en el futuro.

Deficiencias en la capacidad de investiga-ción. Los participantes señalaron que durante lapreparación de las EvAP se hacía un uso excesivo derecursos secundarios y consultas inadecuadas conbeneficiarios del país e integrantes del equipo acargo de las operaciones en el país. Se considerabaque el DEO sólo se hacía presente en el país espo-rádicamente y que la mayor parte de su labor se re-alizaba desde la ciudad de Washington. Muchaspersonas consideraban que eran dejadas de lado entodos los niveles (beneficiarios, otros donantes,equipo a cargo de las operaciones en el país, res-ponsables de las políticas dentro del Banco), enparticular quienes ocupaban puestos fundamenta-les en la época en que se formulaban las políticas.

Se emprendió un estudio documental de todos losmétodos de evaluación de países de conocimientopúblico que emplean las principales organizacionesdonantes de carácter bilateral y multilateral. Se envióesta información, junto con un breve cuestionario, alos departamentos de evaluación de cada organiza-ción donante a fin de que confirmaran las compro-baciones de dicho estudio y proporcionaran lainformación faltante. Todas las unidades de evalua-ción respondieron con detalles el cuestionario. En elanálisis no se incluyó al Banco Europeo de Recons-trucción y Fomento (BERF), al Fondo Monetario In-ternacional (FMI) ni a la Agencia de los EstadosUnidos para el Desarrollo Internacional (USAID),puesto que estos organismos aún no habían reali-zado ninguna labor importante sobre evaluacionesde países. En el presente resumen se incluye la in-formación disponible en septiembre de 2004.

4 3

El examen reveló que aproximadamente lamitad de las organizaciones cuentan con directricesformales para llevar a cabo evaluaciones de países yque los formatos empleados son similares a los delDEO. Por ejemplo, las evaluaciones incluyen capí-tulos sobre los antecedentes del país, la estrategia yla asistencia proporcionada al país, además de ca-pítulos sobre enseñanzas aprendidas y constatacio-nes, y luego recomendaciones. Al igual que en lasEvAP, se incluye una sección sobre las contribucio-nes de otros donantes y factores exógenos. Las eva-luaciones, al igual que las EvAP, también siguen loscriterios del Comité de Asistencia para el Desarro-llo, a saber, pertinencia, eficiencia, eficacia y soste-nibilidad. Además, algunos incluyen coherencia,impacto y desarrollo institucional.

Los donantes discrepan del DEO con respecto alas calificaciones, la atribución y el uso de situacio-

ANEXO F: RESUMEN DE LOS MÉTODOS DE EVALUACIÓN DE PAÍSES EMPLEADOS POR OTROS ORGANISMOS

U t i l i z a c i ó n d e l o s p r i n c i p a l e s i n s t r u m e n t o sm e t o d o l ó g i c o sC u a d r o F . 1

Situación Número Organización Calificaciones hipotética Atribución de países evaluados

Departamento de Evaluación de Operaciones (DEO) 70

Organizaciones multilaterales

Banco Africano de Desarrollo (BAfD) 6

Banco Asiático de Desarrollo (BAsD) a 7

Banco Islámico de Desarrollo (BIsD) 16

Programa de las Naciones Unidas para el Desarrollo (PNUD) 10

Fondo de las Naciones Unidas para la Infancia (UNICEF) 7

Organizaciones bilaterales

Organismo Danés de Desarrollo Internacional (DANIDA) 7

Departamento para el Desarrollo Internacional del Reino Unido (DFID) 3

Unión Europea/Comunidad Europea (UE/CE) 23

Sociedad Suiza para el Desarrollo 9

Organismo Sueco de Desarrollo Internacional (OSDI) 4a. Está elaborando un sistema de calificación.

nes hipotéticas en ausencia de intervención. A dife-rencia del DEO, por lo general otros donantes nocalifican explícitamente los efectos directos de susprogramas de asistencia (Cuadro F.1). Debido a lasdificultades metodológicas relacionadas con la atri-bución, solamente tres organizaciones intentanatribuir formalmente los efectos directos de susprogramas a una intervención a nivel nacional (elBAfD, el BID y el Departamento para el DesarrolloInternacional del Reino Unido (DFID), que reciénempieza a realizar evaluaciones de países). Sin em-bargo, la mayoría de las otras organizaciones in-tenta establecer una asociación creíble entre losinsumos y los efectos directos e impactos observa-dos. Solamente dos de las organizaciones examina-das —el BAfD y el BID— utilizan situacioneshipotéticas en sus evaluaciones. Los donantes opi-naban que en las EvAP es difícil conceptualizar laatribución y las situaciones hipotéticas.

4 4


A los donantes les inquietaba más la ausencia demetas claras y definidas y la inexistencia o inade-cuación de los indicadores de seguimiento en lasestrategias para los países que el análisis de la atri-bución y las situaciones hipotéticas. El Fondo de lasNaciones Unidas para la Infancia (UNICEF) está tra-tando de abordar esta cuestión mediante la adop-ción de un plan integrado de seguimiento yevaluación que se incorpora en el programa paracada país durante la etapa de preparación. Con-forme a dicho plan, los programas del UNICEF seconcentran en los resultados, el empleo de un mo-delo lógico para vincular los insumos con los resul-tados, y un sistema de seguimiento y evaluaciónpara vigilar el desempeño. La Unión Europea tam-bién está elaborando un diagrama lógico para susestrategias de asistencia a los países.

El 28 de febrero de 2005, el Subcomité informal delCODE se reunió para analizar el documento titu-lado “Country Assistance Evaluation (CAE) Retro-spective—OED Self-Evaluation”.

Comentarios del DEO. Los representantes delDEO señalaron que el informe de autoevaluación sebasa en un examen de EvAP terminadas reciente-mente, extensas entrevistas con miembros del CODEy del Subcomité del CODE, sus asesores y personal delas oficinas regionales del Banco, así como en evalua-ciones realizadas por evaluadores externos. En el es-tudio retrospectivo se abordan dos cuestionesprincipales: las enseñanzas aprendidas y maneras demejorar las EvAP como instrumento. En el informe seconcluye que una evaluación a nivel de países ofreceun panorama más completo que una simple agrega-ción de resultados de proyectos. Al preparar las EAP,el Banco necesita entender mejor el contexto nacionaly otorgar financiamiento para el desarrollo de políticasúnicamente cuando el gobierno se identifica plena-mente con los programas. En la retrospectiva tambiénse concluyó que se podría reforzar el marco metodo-lógico poniendo más énfasis en el impacto en el desa-rrollo y en los efectos directos logrados que en losinstrumentos del Banco y las cuestiones relativas alcumplimiento de reglas y normas.

En la evaluación del DEO se concluyó que en el fu-turo las EvAP deben basarse más en los resultados, vin-culando los instrumentos y los efectos directosconseguidos con los objetivos del Banco. En cuanto alas calificaciones de las EvAP y las relaciones con losequipos a cargo de las operaciones en los países y losbeneficiarios en cada país, los representantes del DEOsubrayaron que, de conformidad con el nuevo marco,ese departamento desagregará las calificaciones de losefectos directos por objetivo y hará un esfuerzo por re-alizar más consultas con los beneficiarios del país.Agregaron que si se llega a un acuerdo con la admi-nistración acerca de un sistema de calificaciones apro-piado para los informes de terminación de las EAP, esprobable que las calificaciones de las EvAP se eliminengradualmente.

4 5

Principales conclusiones y próximos pasos.Los miembros del Subcomité respaldaron amplia-mente las conclusiones del estudio retrospectivode las EvAP y sugirieron que se revisara el marco deestas últimas. Subrayaron el importante papel quecumple este instrumento para dar forma al próximociclo de estrategias para los países y para hacer másprecisas las discusiones del Directorio relativas a lasEAP. Al mismo tiempo, observaron que aún se pue-den hacer mejoras, y destacaron la importancia dela identificación del país con los programas, la con-tinua participación de los clientes y un mejor en-tendimiento de las condiciones específicas del paíspara elaborar informes creíbles de evaluación de laasistencia.

Entre las cuestiones específicas que planteó elSubcomité cabe mencionar las siguientes:

Enseñanzas aprendidas. Los miembros estu-vieron de acuerdo en que las EvAP presentan unpanorama más completo que las evaluaciones alnivel de los proyectos y subrayaron la importanciade que los países se identifiquen con los programasy de entender las complejidades de la economía po-lítica local.

A algunos les preocupaba que, según el informe,el Directorio —más que el personal del Banco—considerara que la EvAP es un instrumento útil. Losrepresentantes del DEO respondieron que, si bienel diálogo es algo positivo, es frecuente que haya di-ferencias de opinión acerca de un proceso de eva-luación. Agregaron que, a pesar de las diferencias,hay una creciente demanda de parte de las unida-des a cargo de los países para que el DEO realicemás evaluaciones al nivel de los países.

Algunos miembros estimaban que en las EvAPtambién se debería tener en cuenta la eficacia de laasistencia para el desarrollo proporcionada porotros donantes. Al mismo tiempo, reconocían lasdificultades para evaluar y distinguir las distintascontribuciones en proyectos conjuntos. A un parti-cipante le interesaba saber qué enfoque (atribucióno contribución) era más apropiado para la evalua-

APÉNDICE 1: RESUMEN DE LA DISCUSIÓN DEL SUBCOMITÉ DEL CODE

ción del impacto. Los representantes del DEO es-tuvieron de acuerdo en que atribuir las contribu-ciones individuales no es tarea fácil, pero señalaronque se debería tratar de documentar la relaciónentre los efectos directos y las contribuciones dedonantes individuales. De lo contrario, se podríacuestionar la justificación de la intervención de undonante individual. En el caso de iniciativas total-mente conjuntas, por ejemplo mediante fondos co-lectivos, la atribución sólo podría determinarse alnivel de la iniciativa conjunta.

Fortalecimiento de las EvAP. Los miembrosapoyaron el marco revisado para las evaluaciones alnivel de los países y subrayaron la importancia fun-damental de la cronología para entregar las EvAP:idealmente, seis a nueve meses antes de la presen-tación de la EAP. Observaron que era necesario ase-gurarse de que las EAP sean un reflejo de las EvAPanteriores y de que ambos documentos se basen enlos resultados.

A algunos miembros les interesaba que en lasEvAP se incluyeran las conclusiones de otros ins-trumentos, tales como las evaluaciones de las polí-ticas e instituciones nacionales y las encuestassobre el clima para los negocios. Los representan-tes del DEO contestaron que si bien las primerasson una herramienta útil, no siempre se relacionandirectamente con las calificaciones de las EvAP.

Los miembros subrayaron la importancia de asig-nar suficientes recursos para la preparación de laEvAP, incluida la participación de personal con cono-cimientos esenciales sobre las condiciones específicasdel país. Un miembro señaló que la continua partici-pación con el cliente a través del proceso de elabora-ción de la EvAP será un aporte significativo parafortalecer la capacidad a nivel local. Los representan-tes del DEO respondieron que el departamento recu-rre a grupos de expertos y a exámenes por los parespara mejorar la calidad de su labor, y que está explo-rando maneras de ampliar la participación tanto de losequipos a cargo de los países como de los clientes enlas distintas etapas de la evaluación.

Riesgos. Una persona subrayó la importanciade analizar cuidadosamente los riesgos (incluidoun examen en profundidad del verdadero historialy no de las intenciones declaradas) antes de em-prender una EAP. Ello podría ayudar a mejorar laeficiencia en función de los costos y a reasignar re-

4 6


cursos en situaciones en que las condiciones delpaís no son propicias para preparar una EAP com-pleta. Otro participante observó que algunas reco-mendaciones del informe podrían provocar unaactitud de mayor aversión al riesgo por parte de losequipos a cargo del país, en tanto que en algunoscasos, especialmente en situaciones de cambio ra-dical, el Banco debería estar preparado para asumirriesgos con miras a lograr ciertos progresos. Los re-presentantes del DEO respondieron que sería im-portante tomar medidas adecuadas de mitigaciónde riesgos para evitar que se acumulen deudas im-productivas, cuya carga al final de cuentas recaeríaen los prestatarios, y que, en situaciones de cambioradical, el financiamiento del Banco se debería cali-brar cuidadosamente conforme a los progresos enla implementación de las reformas.

Coordinación de los donantes. Algunos miem-bros estimaban que en el informe se deberían haberincluido las cuestiones relativas a la coordinación delos donantes, la armonización y la ventaja comparativadel Banco con respecto a otros donantes. Los repre-sentantes del DEO respondieron que el informe seconcentra en la eficacia del Banco para ayudar a lospropios países a asumir el liderazgo, no en la coordi-nación de los donantes, y que el DEO no evalúa la asis-tencia proporcionada por otros donantes. El DEO hatratado el tema de la coordinación de los donantes ensus evaluaciones del proceso relacionado con la estra-tegia de reducción de la pobreza, el marco integral dedesarrollo y una evaluación independiente de la coor-dinación de los donantes.

Muestra de países. Algunos miembros obser-varon que la muestra de EvAP incluía a pocos paísespequeños o de ingreso bajo en dificultades y pre-guntaron si ello podría haber afectado la objetivi-dad de las conclusiones finales. Los representantesdel DEO respondieron que con frecuencia la elec-ción de los sujetos para las EvAP se determina porlas EAP de próxima presentación, lo que deja fueraa muchos Estados “frágiles” y Estados de ingresobajo en dificultades que se incluyen en otros ins-trumentos, como las estrategias de apoyo durantela transición y las notas sobre la estrategia provisio-nal para un país. Señalaron que el DEO continúaprestando suficiente atención a los pequeños Esta-dos y también está preparando una evaluaciónsobre los países de ingreso bajo en dificultades.

1. Véase en el Anexo A una breve descripción del plan-

teamiento metodológico de la EvAP del DEO (esta des-

cripción puede encontrarse también en el sitio web del

DEO: http://www.worldbank.org/oed/oed_cae_metho-

dology.html).

2. Véase en el Anexo B una lista de las EvAP terminadas.

3. El DEO ha extraído enseñanzas de las EvAP en el pa-

sado. En el Examen anual de la eficacia en términos de

desarrollo se recogen algunas enseñanzas de las EvAP

más recientes terminadas en la fecha de redacción de

dicho examen. En 2002 se analizaron las enseñanzas

aprendidas en cuatro países africanos en un taller orga-

nizado por la Oficina Regional de África. Ese mismo año,

el DEO preparó una nota sobre las enseñanzas aprendi-

das en relación con los países de ingreso bajo en dificul-

tades (“Lessons for Low-Income Countries Under Stress”),

para presentarla al Comité sobre la eficacia en términos

de desarrollo. En 2003, las enseñanzas de las evaluacio-

nes realizadas en las economías en transición se sinteti-

zaron en un estudio del DEO sobre esos países.

4. En muchos de estos países, la estabilización ma-

croeconómica se vio obstaculizada por la falta de recau-

dación de ingresos, consecuencia de la debilidad del

sistema de administración de impuestos y aduanas. Su-

frió también la intermediación financiera porque se ne-

cesitó cierto tiempo para instaurar un sistema de pago

eficiente, y los nuevos bancos privatizados carecían de ca-

pacidad para tomar decisiones sobre créditos comercia-

les. Los bancos centrales no tienen los medios para

regular otros bancos. El desarrollo del sector privado se

ve frenado porque el poder judicial muchas veces no

puede aplicar medidas legislativas fundamentales para

ese fin, en particular los derechos de propiedad privada,

los derechos del acreedor, la legislación sobre situacio-

nes de quiebra, las leyes antimonopolio, etcétera.

5. El Banco ha establecido varios nuevos instrumen-

tos —préstamos programáticos para ajuste sectorial,

préstamos adaptables para programas, y préstamos para

aprendizaje e innovación— con el fin de respaldar las re-

formas que implican un largo proceso de aprendizaje y

4 7

que parecen responder bien a la situación de algunas

economías.

6. Cabría citar como ejemplo el fortalecimiento de las

secretarías estatales de educación, la puesta en marcha

de sistemas de información y evaluación para la enseñanza

primaria, y la instauración de normas operacionales mí-

nimas en todas las escuelas de Brasil; el establecimiento de

un marco jurídico reglamentario, los derechos de explo-

ración y desarrollo, y los reglamentos ambientales en

Perú; la introducción de un contrato de administración

privada basado en el desempeño para el abastecimiento

de agua en Jordania; el fortalecimiento de la Dirección

General de Caminos en Guatemala; el aumento de la ca-

pacidad en el Ministerio de Hacienda y el Banco Central

de Mongolia; la capacidad administrativa para adoptar las

tarifas de los servicios públicos, conseguir la recaudación

en efectivo y supervisar los resultados en Rusia, y el for-

talecimiento del Ministerio de Agricultura en Zambia.

7. Las intervenciones del Banco en Brasil en los sec-

tores de la salud, la educación y la infraestructura consi-

guieron resultados relativamente positivos, ya que el

gobierno incluyó la educación, la salud y la infraestruc-

tura entre las prioridades de desarrollo. Por el contrario,

en Marruecos el gobierno no había establecido todavía

prioridades claras ni un programa para el sector de la

educación. Dos proyectos de enseñanza, que se clausu-

raron en años recientes, tuvieron resultados poco satis-

factorios y efectos institucionales insignificantes.

8. En el examen de la AIF realizado por el DEO y en el

ARDE de 2003 se observó que la relación entre el desem-

peño normativo institucional de los países y los niveles

de financiamiento se ha reforzado. Según un estudio re-

trospectivo sobre el financiamiento para fines de ajuste,

en los últimos años la mayor parte —por no decir la to-

talidad— de dicho financiamiento se ha destinado a paí-

ses con desempeño normativo superior a la media, y para

sectores con un historial de progreso.

9. En Zambia, la retención de los desembolsos mien-

tras no se hubieran cumplido las condiciones previas

habría permitido situar antes en primer plano los proble-

NOTAS FINALES

mas relacionados con la gestión de gobierno, la reforma

estructural y la cancelación de la deuda. En Zimbabwe, si

el Banco hubiera optado en 1997–2000 por exigir la apli-

cación de las reformas en vez de una mera declaración de

buenas intenciones, se habría enviado un mensaje claro

a los dirigentes del país. En Rusia, si bien la adopción por

el Banco de medidas de financiamiento en apoyo de la re-

forma de políticas en 1996–97 tenía como objetivo la re-

forma sistémica, el mensaje enviado a las autoridades

rusas era que las consideraciones geopolíticas manten-

drían abierta la posibilidad de financiamiento de la co-

munidad internacional, independientemente de los

errores y vacilaciones en la adopción del programa de re-

formas.

10. Por ejemplo, en la estrategia del Banco de 1993

para el Paraguay se mostró demasiado optimismo acerca

del potencial de reforma y la capacidad de ejecución del

país, dado su escaso historial en esas áreas. En Zimbabwe,

las estrategias sobrevaloraron la receptividad y predispo-

sición del gobierno a emprender reformas de los servi-

cios paraestatales y de la administración pública. En Haití,

la estrategia de 1996 no reconoció adecuadamente los

riesgos planteados para el logro de los objetivos como

consecuencia de los problemas políticos y de gobierno

no resueltos, que minaron los intentos de promover el

desarrollo económico. En Lesotho, a pesar de lo ocurrido

en las elecciones de 1993, el Banco se mostró demasiado

optimista al suponer que la democratización y la estabili-

dad podrían conseguirse poco tiempo después de las

elecciones de mayo de 1998. En consecuencia, la estrate-

gia de asistencia del Banco no incluyó planes de emer-

gencia para el caso de que fracasara el proceso de

democratización, que es lo que ocurrió.

11. En Kenya, por ejemplo, el nombramiento de un

equipo de cambio en julio de 1999 y el comienzo de las

reformas del sistema de gestión económica y normativa,

propuestas ya mucho antes, fueron recompensadas con

un préstamo para fines de ajuste cuando se habían cum-

plido sólo parcialmente las condiciones para dicho apoyo

especificadas en la estrategia de 1998 para el país. En

Zambia, el excesivo optimismo dio lugar a condiciones

menos orientadas a los resultados o formuladas vaga-

mente en el financiamiento para el ajuste. En Marruecos,

el Banco ofreció un préstamo en apoyo de la reforma de

las políticas en los últimos años noventa con el fin de re-

compensar la evolución del país hacia un sistema político

más abierto y su compromiso con la reforma. El préstamo

era demasiado vago para conseguir una repercusión no-

table en ninguna de las esferas críticas de la reforma iden-

tificadas en la estrategia para el país. Muchas de las

acciones adoptadas antes de la presentación al Directo-

rio fueron medidas iniciales, algunas veces en forma de

estudios o planes, y muchas otras no consiguieron resul-

tados concretos.

12. La evaluación del DEO sobre la Iniciativa para los

países pobres muy endeudados (PPME) reveló que las

proyecciones de crecimiento poco realistas habían dado

lugar a problemas de deuda.

13. Véase “Best Practice in Country Program Evalua-

tion” (OCDE, Comité de evaluación del CAD). Allí puede

encontrarse un primer intento por uniformar las meto-

dologías para los donantes.

14. Véase DEO, 2002, pág. 28.

15. No se han preparado documentos de estrategia

para Lesotho, Zimbabwe ni Eritrea.

16. Véase un análisis completo de este examen en el

Anexo D.

17. En el Anexo A se incluye una descripción completa

de la actual metodología de las EvAP.

18. Véase el Anexo F.

19. En el Anexo A se incluye una descripción y una de-

finición de las calificaciones de las EvAP.

20. La expresión “programa de asistencia” se refiere a

los productos y servicios generados en apoyo del desa-

rrollo económico de un país cliente durante un período

determinado, y el término “cliente” se refiere al país que

recibe los beneficios de ese programa.

4 8


OED. 2004a. 2003 Annual Review of Development

Effectiveness: The Effectiveness of Bank Support

for Policy Reform. Washington, D.C.: BancoMundial.

———. 2004a. Economies in Transition: An

OED Evaluation of World Bank Assistance.Washington, D.C: Banco Mundial.

———. 2003. Debt Relief for the Poorest: An OED

Review of the HIPC Initiative. Washington, D.C.:Banco Mundial.

4 9

———. 2002. 2002 Annual Report on Operations

Evaluation. Washington, D.C.———. 1999. 1999 Annual Review of Development

Effectiveness. Washington, D.C.: Banco Mundial.OCDE (Organización de Cooperación y Desarrollo

Económicos), Comité de evaluación del CAD.2004. “Best Practice in Country Program Evalu-ation”. Paris.

REFERENCIAS

estudio retrospectivo sobre las evaluaciones - world bank · estudio retrospectivo sobre las...

Documents