remarks from the editor of the special issue · remarks from the editor of the special issue...

1

REMARKS fRoM thE EditoR of thE SpEciAl iSSuE

Suppose you’re an evaluator in a North American or European government department. or that you’re an independent evaluator with philanthropic foundations and nonprofits as your clients. or that you’re an evaluator who only works in canada or the united States. Why should you bother to read this special issue on the evaluation of the paris declaration on Aid Effectiveness? it’s ob-vious why a major international evaluation of aid effectiveness would interest those who do development evaluation. But why would others bother with what appears, at first glance, to be a highly specialized focus? let me suggest 10 reasons why this special issue should be relevant to any evaluation practitioner, theorist, trainer, scholar, professional, policy maker, or funder.

1. the evaluation’s substance is of global importance.2. Joint evaluation is a specific type of and approach to evalu-

ation that has significant and widespread implications for how evaluations are both funded and conducted.

3. Evaluating a set of principles offers important insights into new and emergent objects of evaluation (evaluands) beyond the traditional focus on projects and programs.

4. the evaluation demonstrates a rigorous approach to syn-thesis analysis in which a number of separate evaluations are examined and findings integrated to generate general, triangulated conclusions.

5. the evaluation exemplifies authentic engagement of a large number of diverse stakeholders in ways that increase the evaluation’s credibility and utility.

6. the governance structure, stakeholder processes, manage-ment mechanisms, and methods exemplify how to maintain evaluator independence while undertaking a highly political and high-stakes evaluation.

7. the evaluation adheres systematically, intentionally, com-prehensively, and visibly to the new oEcd development Assistance committee (oEcd/dAc) standards for evalua-tion quality, demonstrating how to take a standards-based approach to the conduct of an evaluation.

8. the evaluation demonstrates multiple dimensions of process use, and how and why process use can be as important as findings use.

The Canadian Journal of Program Evaluation Vol. 27 No. 3 Pages 1–8ISSN 0834-1516 Copyright © 2013 Canadian Evaluation Society

2 The Canadian Journal of Program evaluaTion2

9. the evaluation is an exemplar of utilization-focused evalu-ation, that is, making attention to intended use by intended users the focus of the evaluation from beginning to end.

10. the evaluation demonstrates the role of meta-evaluation to enhance credibility, accountability, and utility.

that’s your preview—or teaser. in the concluding article of this spe-cial issue, Lessons Learned and the Contributions of the Paris Decla-ration Evaluation to Evaluation Theory and Practice (dabelstein & patton, 2012), we discuss each of these contributions to evaluation practice and link the items to the specific articles in this special is-sue where each contribution is discussed. Before i proceed with the task of previewing the other articles, i want to introduce you to the authors.

pEoplE MAttER

A substantial body of research on evaluation credibility and use highlights the importance of “the personal factor”—the interest, commitment, engagement, and leadership of key individuals—as es-sential to conducting high-quality evaluations (patton, 2012). Much of evaluation focuses on procedures, protocols, measures, methods, and analytical techniques. But none of that happens without people.

Niels dabelstein, who headed the paris declaration Evaluation Sec-retariat, brought vision and experienced leadership to this enterprise, without which it would not have happened. Assembling resources, garnering the support of key institutions, using networks to negoti-ate critical agreements, and finding competent people to manage and implement the evaluation are leadership functions. it was at this level of visionary leadership that key decisions were made and com-mitments engendered to base the Evaluation of the paris declaration on the principles of the paris declaration, to adhere throughout to standards for quality evaluations, and to take on such a complex, controversial, and challenging initiative in the face of many, many naysayers who loudly declared that this could not be done.

his experience in joint international evaluations began when he organized and then served as chair of the Steering committee for Joint Evaluation of Emergency Assistance to Rwanda (dabelstein, 1996). the 1994 genocide and the ensuing relief operations provoked an unprecedented international collaborative evaluation process.

33la revue Canadienne d’évaluaTion de Programme

the joint evaluation was initiated under the auspices of the dan-ish government’s aid agency, Danida, where dabelstein headed the evaluation department, but ultimately involved a number of other international agency participants. he was also a leader in the joint evaluation of the international response to the indian ocean tsunami of 2004. former colleagues at the foreign Ministry in copenhagen, where dabelstein headed the aid evaluation unit between 1988 and 2007, describe him as being “cool and calm whatever the political earthquakes” (Development Today, 2012). in putting together this special volume, i asked him to reflect on the many joint evaluations he has been a part of, either directly or indirectly, and to comment about the relative importance of the joint evaluation of the paris dec-laration. he responded: “for the previous 10 years i had advocated joint evaluations and managed several. this was the ultimate joint evaluation.”

ted Kliest co-chaired the paris declaration Evaluation Management Group. he is a senior evaluator in the policy and operations Evalu-ation department of the Netherlands Ministry of foreign Affairs in the hague. he has worked with Niels dabelstein on a number of international joint evaluations and played a major leadership role in a joint evaluation of international assistance to darfur. As part of completing this special issue and his contribution as co-author of the article on on governance and management of the evaluation, i asked for his reflections:

for many years i have been a very strong believer in joint evaluations for the purpose of learning and accountabil-ity. the paris declaration is a subject of importance to all stakeholders involved in development. ultimately, it can also only be evaluated by donors, developing countries, and aid organizations working together.

the back story of the Evaluation of the paris declaration makes visible a critical evaluation role that is little understood and seldom visible: the leadership of those who commission evaluations and raise the funds to support their implementation. Niels dabelstein, head of the paris declaration Evaluation Secretariat, and ted Kliest, who provided leadership on the Management committee, played key roles in ensuring that the evaluation was undertaken at all and, when undertaken, done with sufficient resources, integrity, methodological rigour, credibility, and evaluator independence to be useful in accord-ance with international evaluation standards.


the third person you need to know about to understand and ap-preciate the paris declaration Evaluation is the head of the evalu-ation team, Bernard Wood, a canadian and British national. he set up a private consultancy practice in 1999 to provide excellence in analysis and advice on development aimed at economic, social, po-litical, and environmental sustainability by managing strategically in complex environments. his firm works with clients to distill and apply learning and best practices in targeted and linked areas of economic development, human security, and strategic management. prior to establishing his independent consultancy he worked on a variety of international initiatives, including serving, in 1985 and 1986, as personal representative of the prime Minister of canada in two rounds of special missions to the heads of Government of india, Nigeria, Bo tswana, lesotho, tanzania, Zambia, and Zimbabwe in preparation for commonwealth heads’ meetings on international measures to end apartheid in South Africa and related policies. the paris declaration Evaluation team he led was both diverse and in-ternational: Julia Betts, uK; florence Etta, Nigeria; dorte Kabell, denmark; Naomi Ngwira, Malawi; francisco Sagasti, peru; Mallika Samaranayake, Sri lanka; and Julian Gayfer, uK. i asked Bernard Wood to comment on the experience of leading the paris declaration Evaluation.

Experience before and since has convinced me how much this success depended on having a management group of such integrity and experience. for us on the team it was enormously challenging and rewarding. As team leader, i found myself calling on virtually every skill built up over a varied career of more than 40 years.

EditoR’S pERSpEctivE

Because i am the editor of this special issue, it is appropriate to disclose my history and relationship with the paris declaration Evaluation. Roughly midway in the implementation of the phase 2 Evaluation, i was approached about conducting a metaevaluation of the Evaluation. At that time i knew none of the people involved. hav-ing never conducted a metaevaluation, but interested in learning and writing about its implications from a utilization-focused evaluation perspective, i accepted the assignment. At that point i knew nothing about the paris declaration, the evaluation, or who was involved. the results of the metaevaluation are included in this special issue.


having studied for years the factors that distinguish high-quality, useful evaluations from those that are neither, i became impressed with the great extent to which the paris declaration Evaluation is an exemplar of the critical role played by committed and effective lead-ership at all levels of this evaluation. As i was privy to some of the background stories of things that had to be negotiated, problems that had to be solved, resources that had to be found, people who had to be engaged, crises that had to be handled, and challenges that had to be met, it is clear that a successful evaluation is about much, much more than systematic procedures, rigorous methods, careful analysis, and thoughtful, evidence-based judgements. the personal factor, exempli-fied in effective leadership, is at the core of this evaluation’s success.

ovERviEW of thiS SpEciAl iSSuE

in the first article, Niels dabelstein and i review the history and sig-nificance of the paris declaration on Aid Effectiveness. the number of countries and international organizations endorsing the decla-ration was unprecedented. the article explains and highlights the substance, importance, and challenges of the paris declaration as context for understanding the importance of the evaluation.

Next, Niels dabelstein and ted Kliest review how the paris decla-ration Evaluation was governed and managed. in evaluations with many stakeholders, as in the case of the paris declaration Evalua-tion, issues of power and influence can arise and the technical side of evaluation has to be reconciled with issues of governance. Stake-holder involvement was organized and facilitated at both national and international levels. the article describes and discusses this complex governance and management system that was critical to the evaluation’s independence, transparency, and credibility. the challenges faced and resolutions generated are presented as well.

in the third article, Julia Betts and Bernard Wood from the core Evaluation team present the evaluation’s processes, design, and methods. the paris declaration Evaluation addressed three main questions:

1. What are the factors that have shaped and limited the im-plementation of the declaration reforms and their effects?

2. What improvements have been made in aid effectiveness as targeted in the declaration?


3. What contributions have improvements in aid effectiveness made to sustainable development results?

the core international evaluation team facilitated more than 50 studies in 22 partner countries and across 18 donor agencies, and then synthesized the findings. the article describes the evaluation’s multilayered and mixed methods design, the data collection and analysis processes, the overall evaluation framework, and the syn-thesis process. Methodological challenges faced and trade-offs man-aged are also described and discussed.

Bernard Wood and Julia Betts, who co-authored the final Synthesis Report of the paris declaration Evaluation, summarize the eval-uation’s findings in the next article, addressing the three major questions identified above. the report also assessed progress made against the 11 intended outcomes specified in the declaration as solutions to the main problems with development aid.

in the next article, Bernard Wood and Niels dabelstein turn to dissemination, use, and stakeholder involvement. the evaluation planned for and supported an unusual variety of dissemination strat-egies. the final Synthesis Report and major documents were dissem-inated in three languages: English, french and Spanish. All reports and support documents were made openly available on the oEcd website. twenty-two country and 18 international development aid agency reports were made openly available and widely disseminated. A documentary film was produced on the process. video file clips on various topics and of various lengths were produced. four policy briefs were written and distributed, highlighting particular findings. in-person presentations were made by key evaluation participants in a wide range of countries and to the key policy staff planning the 4th high level forum on development Aid Effectiveness held in Busan, Korea, in december 2011. Each participating country also implemented a dissemination strategy of its own country-level find-ings as well as the synthesis findings. these and other dissemination and use strategies involved a large number of diverse stakeholders around the world.

in the next article, i present the metaevaluation, that is, the inde-pendent evaluation of the paris declaration Evaluation. Given the importance of the evaluation, the Evaluation Management Group commissioned an independent assessment to determine whether the evaluation met generally accepted international standards of


quality. that is what the metaevaluation did, using the relatively re-cently adopted oEcd/dAc evaluation standards. the article reviews the methods, processes, and findings of the metaevaluation. Both strengths and weaknesses of the evaluation are presented.

in the concluding article, Niels dabelstein and i discuss overall les-sons learned and 10 contributions of the paris declaration Evalua-tion to evaluation theory and practice. the article concludes by noting that the paris declaration Evaluation received the 2012 American Evaluation Association (AEA) outstanding Evaluation Award. At the award ceremony, the chair of the AEA Awards committee, frances lawrenz, summarized the merits of the evaluation that led to the award selection and recognition:

the success of the paris declaration phase 2 Evaluation required an unusually skilled, knowledgeable, and com-mitted evaluation team; a visionary, well-organized, and well-connected Secretariat to manage the logistics, inter-national stakeholder meetings, and financial accounts; and a highly competent and respected Management Group to provide oversight and ensure the Evaluation’s independence and integrity. this was an extraordinary partnership where all involved understood their roles, carried out their responsibilities fully and effectively, and respected the contributions of other members of the collaboration. thus, the 2012 AEA outstanding Evalua-tion is for all major participants in the Joint Evaluation collaboration.

this special issue of CJPE tells the story of the paris declaration Evaluation and takes readers into the trenches and behind the scenes of this outstanding evaluation.

Michael Quinn pattonSpecial issue Editor, CJPE

REfERENcES

dabelstein, N. (1996). Evaluating the international humanitarian sys-tem: Rationale, process and management of the joint evaluation of the international response to the Rwanda genocide. Disasters, 20(4), 287–294. Retrieved from http://onlinelibrary.wiley.com/doi/10.1111/j.1467-7717.1996.tb01044.x/abstract


dabelstein, N., & patton, M. Q. (2012). lessons learned and the contribu-tions of the paris declaration Evaluation to evaluation theory and practice. Canadian Journal of Program Evaluation, 27(3), 171–198.

Development Today. (2012). international recognition for Niels dabelstein, october 30. Development Today. Retrieved from http://www.develop-ment-today.com/magazine/2012/dt_12/news/international_recogni-tion_for_niels_dabelstein

patton, M. Q. (2012). Essentials of utilization-focused evaluation. thousand oaks, cA: Sage.

9

UN MOT DU RÉDACTEUR DU NUMÉRO spÉCiAl

supposons que vous êtes un évaluateur au sein d’un ministère ou service gouvernemental en Europe ou en Amérique du Nord. Ou que vous êtes un évaluateur indépendant ayant comme principaux clients des organisations sans but lucratif et des fonda-tions philanthropiques. Ou encore que vous êtes un évaluateur qui travaille exclusivement au Canada ou aux États-Unis. pourquoi devriez-vous prendre la peine de lire ce numéro spécial sur l’évalua-tion de la Déclaration de paris sur l’efficacité de l’aide? il est évident qu’une évaluation internationale importante sur l’efficacité de l’aide intéresserait ceux qui contribuent à l’évaluation en matière de déve-loppement. Mais pourquoi les autres experts prendraient-ils la peine de s’attarder à ce qui semble, à première vue, être une étude haute-ment spécialisée? laissez-moi suggérer dix raisons pour lesquelles ce numéro spécial devrait être pertinent à tout spécialiste, théoricien, formateur, étudiant, professionnel, preneur de décision, ou bailleur de fonds en évaluation.

1. la substance de l’évaluation est d’importance internatio-nale.

2. l’évaluation conjointe se veut un type et une approche spécifiques de l’évaluation comportant des implications si-gnificatives et répandues autant sur le financement des évaluations que sur la façon dont ces évaluations sont me-nées.

3. l’évaluation d’un ensemble de principes offre des points de vue importants sur de sujets nouveaux et émergents d’éva-luation (des questionnements) au-delà des accents tradition-nels mis sur les projets et les programmes.

4. l’évaluation démontre une approche rigoureuse de l’analyse de synthèse dans laquelle un certain nombre d’évaluations séparées sont examinées et des résultats sont intégrés pour produire des conclusions générales et triangulées.

5. l’évaluation illustre l’engagement véritable d’un grand nombre d’intervenants de telle façon que cela a permis d’augmenter la crédibilité et l’utilité de l’évaluation.

6. la structure de gouvernance, les processus des interve-nants, les mécanismes de gestion, et les méthodes illustrent comment maintenir l’indépendance des évaluateurs tout en entreprenant une évaluation fortement politique et compor-tant des enjeux élevés.

The Canadian Journal of Program Evaluation Vol. 27 No. 3 Pages 9–17ISSN 0834-1516 Copyright © 2013 Canadian Evaluation Society


7. l’évaluation adhère systématiquement, intentionnellement, complètement, et visiblement aux nouvelles normes du Co-mité d’aide au développement (CAD) de l’Organisation de Coopération et de Développement Économiques (OCDE) concernant la qualité des évaluations, démontrant comment adopter une approche basée sur les normes dans la conduite d’une évaluation.

8. l’évaluation démontre les dimensions multiples de l’usage des processus, ainsi que comment et pourquoi l’usage des processus peut être aussi importante que l’utilisation des résultats.

9. il s’agit d’un modèle exemplaire d’une évaluation mettant l’accent sur l’utilisation, c’est-à-dire, portant une attention particulière à l’utilisation attendue par les utilisateurs pré-vus en tant que l’accent principal de l’évaluation du début jusqu’à la fin.

10. l’évaluation démontre le rôle de la méta-évaluation dans l’amélioration de la crédibilité, de la responsabilité, et de l’utilité.

Voilà pour l’aperçu—ou l’avant-goût. Dans l’article concluant ce nu-méro spécial, Lessons Learned and the Contributions of the Paris De-claration Evaluation to Evaluation Theory and Practice (Dabelstein & patton, 2012), nous discutons de chacune de ces contributions à la pratique en matière d’évaluation et relions les sujets aux articles spécifiques contenus dans ce numéro spécial et où chaque contribu-tion est discutée. Avant de poursuivre la tâche visant à donner un aperçu de chacun des autres articles, j’aimerais vous présenter les auteurs.

l’aspect humain

Un corpus substantiel de recherche sur la crédibilité et l’utilisation de l’évaluation accentue l’importance « du facteur personnel »—l’in-térêt, l’engagement, l’investissement, et le leadership des principaux individus—comme essentiel à la conduite d’évaluations de qualité (patton, 2012). Une grande partie de l’évaluation se concentre sur les procédures, les protocoles, les mesures, les méthodes, et les tech-niques analytiques. Mais rien de cela ne s’effectue sans l’implication d’êtres humains.

Niels Dabelstein, qui a dirigé le secrétariat de l’Évaluation de la Déclaration de paris, a apporté une vision et un leadership éprouvé


à cette entreprise, sans quoi elle n’aurait pas été rendue possible. Réunir les ressources, recueillir l’appui des principales institutions, utiliser les réseaux pour négocier des ententes primordiales, et trou-ver les personnes compétentes pour administrer et mettre en oeuvre l’évaluation sont des fonctions faisant appel au leadership. C’est à partir d’un niveau de leadership visionnaire que des décisions im-portantes ont été prises et des engagements ont été inspirés pour baser l’Évaluation de la Déclaration de paris selon les principes de la Déclaration de paris, adhérer en tout temps aux normes visant à livrer des évaluations de qualité, et prendre en charge une initiative si complexe, controversée, et remplie de défis face à tellement de sceptiques et de détracteurs qui ont déclaré haut et fort que cela ne pouvait être fait.

son expérience des évaluations internationales conjointes a débuté quand il a organisé puis été nommé président du comité directeur de l’Évaluation conjointe de l’aide d’urgence au Rwanda (Dabelstein, 1996). le génocide de 1994 et les activités de soutien qui s’en sont suivi ont mené à un processus d’évaluation international axé sur une collaboration sans précédent. l’évaluation conjointe a été lan-cée sous les auspices de l’agence danoise d’aide gouvernementale, Danida, où Dabelstein dirigeait le département d’évaluation, mais a finalement fait s’impliquer un certain nombre d’autres organismes internationaux participants. il était également un des acteurs clés de l’évaluation conjointe de la réponse internationale au tsunami de 2004 dans l’océan indien. D’anciens collègues au ministère des Affaires étrangères du Danemark à Copenhague, où Dabelstein di-rigeait l’unité d’évaluation de l’aide entre 1988 et 2007, le décrivent comme étant quelqu’un de « réfléchi et calme peu importe les bou-leversements politiques » (Development Today, 2012). En élaborant ce numéro spécial, je lui ai demandé de réfléchir sur les nombreuses évaluations conjointes dont il a fait partie, soit directement ou in-directement, et de commenter l’importance relative de l’évaluation conjointe de la Déclaration de paris. Voici ce qu’il m’a répondu : « Au cours des 10 dernières années, j’ai préconisé des évaluations conjointes et j’en ai géré plusieurs moi-même. Celle-ci fut l’évalua-tion conjointe ultime. »

Ted Kliest a co-présidé le groupe de gestion de l’Évaluation de la Déclaration de paris. il est évaluateur principal au sein du départe-ment de l’évaluation des politiques et des opérations du Ministère néerlandais des Affaires étrangères à la Haye. il a travaillé avec Niels Dabelstein sur un certain nombre d’évaluations conjointes internationales et a joué un rôle important de leader dans une éva-


luation conjointe d’aide internationale au Darfour. Afin de compléter ce numéro spécial et en raison de sa contribution comme co-auteur de l’article sur la gouvernance et la gestion de l’évaluation, je lui ai demandé de nous faire part de ses réflexions :

Depuis de nombreuses années, je crois fermement aux évaluations conjointes à des fins d’apprentissage et de responsabilité. la Déclaration de paris est un sujet d’im-portance pour tous les intervenants impliqués dans le développement. Ultimement, elle ne peut également être évaluée que seulement par des donneurs, des pays en voie de développement, et des organismes humanitaires travaillant de concert.

l’histoire de l’Évaluation de la Déclaration de paris met en évidence un des rôles critiques dans une évaluation, rôle qui est peu compris et rarement apparent : le leadership de ceux qui commandent des évaluations et amassent les fonds pour soutenir leur mise en œuvre. Niels Dabelstein, directeur du secrétariat de l’Évaluation de la Dé-claration de paris, et Ted Kliest, qui a apporté son leadership sur le comité de gestion, ont été des acteurs clés en s’assurant que l’évalua-tion a été entreprise au départ et, une fois entreprise, effectuée avec les ressources suffisantes, une intégrité, une rigueur méthodologique, une crédibilité, et une indépendance d’évaluation, le tout selon des normes internationales d’évaluation.

la troisième personne que vous devez connaître pour comprendre et apprécier l’Évaluation de la Déclaration de paris est le chef de l’équipe d’évaluation, Bernard Wood, de nationalité britannique et canadien. il a mis sur pied une firme de consultation privée en 1999 afin de fournir des services d’excellence en analyse et conseil en matière de développement axé sur la durabilité économique, sociale, politique, et environnementale en gestion stratégique dans des en-vironnements complexes. sa firme travaille avec des clients afin de compiler et d’appliquer l’apprentissage et les meilleures pratiques dans des secteurs visés liés au développement économique, à la sécu-rité humaine, et à la gestion stratégique. Avant de fonder son bureau de consultation indépendant, il a travaillé à une variété d’initiatives internationales. il a notamment occupé le poste, en 1985 et 1986, de représentant personnel du premier ministre du Canada dans deux séries de missions spéciales auprès des chefs de gouvernement de l’inde, du Nigéria, du Botswana, du lesotho, de la Tanzanie, de la Zambie, et du Zimbabwe en vue des réunions des chefs de gouverne-ment des pays du Commonwealth portant sur les mesures interna-


tionales à prendre afin de mettre fin à l’apartheid en Afrique du sud et à ses politiques connexes. l’équipe d’Évaluation de la Déclaration de paris qu’il a dirigée était diversifiée sur le plan international : Julia Betts, R-U; Florence Etta, Nigéria; Dorte Kabell, Danemark; Naomi Ngwira, Malawi; Francisco sagasti, pérou; Mallika samara-nayake, sri lanka; et Julian Gayfer, R-U. J’ai demandé à Bernard Wood de présenter ses observations concernant l’expérience d’avoir dirigé l’Évaluation de la Déclaration de paris.

les expériences vécues précédemment et depuis m’ont convaincu de la valeur de pouvoir compter sur un groupe de gestion aussi intègre et expérimenté afin d’obtenir un tel succès. pour nous, au sein de l’équipe, notre travail était énormément demandant et gratifiant. En tant que chef d’équipe, j’ai dû faire appel à pratiquement toutes les compétences que j’avais accumulées au cours d’une carrière diversifiée de plus de 40 ans.

la perspective du rédacteur

En tant que rédacteur de ce numéro spécial, il serait approprié de révéler mon histoire et mon lien avec l’Évaluation de la Déclaration de paris. À environ mi-étape de la mise en oeuvre de la phase 2 de l’Évaluation, on m’a demandé de conduire une méta-évaluation de l’Évaluation. À cette époque, je ne connaissais aucune des personnes impliquées. N’ayant jamais effectué de méta-évaluation, mais étant intéressé à en apprendre davantage et à écrire sur ses implications à partir d’une perspective d’évaluation centrée sur l’utilisation, j’ai ac-cepté le mandat. À ce moment-là je n’étais au courant de rien concer-nant la Déclaration de paris, son évaluation, ou qui était impliqué. les résultats de la méta-évaluation sont inclus dans ce numéro spécial.

Ayant étudié pendant des années les facteurs qui distinguent les évaluations utiles et de grande qualité, de celles qui ne sont ni l’une ni l’autre, j’ai été impressionné de constater jusqu’à quel point l’éva-luation de la Déclaration de paris est un modèle exemplaire du rôle critique joué par un leadership impliqué et efficace à tous les niveaux de cette évaluation. Étant au courant du contexte de certains des as-pects qui ont dû être négociés, des problèmes qui ont dû être résolus, des ressources qui ont dû être trouvées, des personnes qui ont dû être engagées, des crises qui ont dû être gérées, et des défis qui ont dû être relevés, il est clair qu’une évaluation réussie dépend de bien d’autres choses que seulement les procédures systématiques, les méthodes


rigoureuses, une analyse soignée, et des jugements réfléchis fondés sur des faits et des données. le facteur personnel, mis en évidence par un leadership efficace, est au coeur du succès de cette évaluation.

sURVOl DU NUMÉRO spÉCiAl

Dans le premier article, Niels Dabelstein et moi passons en revue l’histoire et la signification de la Déclaration de paris sur l’efficacité de l’aide. le nombre de pays et d’organismes internationaux ap-puyant la Déclaration était sans précédent. l’article explique et met en lumière la substance, l’importance, et les défis de la Déclaration de paris afin d’expliquer le contexte permettant de comprendre l’im-portance de l’évaluation.

Ensuite, Niels Dabelstein et Ted Kliest passent en revue comment l’évaluation de la Déclaration de paris a été régie et gérée. lors d’éva-luations comprenant d’intervenants multiples, comme dans le cas de l’Évaluation de la Déclaration de paris, des questions de pouvoir et d’influence peuvent surgir et le côté technique de l’évaluation doit être réconcilié avec des questions de gouvernance. la participation des intervenants a été organisée et facilitée aux niveaux national et international. l’article décrit et discute ce système complexe de gouvernance et de gestion qui était primordial à l’indépendance, à la transparence, et à la crédibilité de l’évaluation. les défis relevés et les résolutions produites sont également présentés.

Dans le troisième article, Julia Betts et Bernard Wood de l’équipe principale de l’Évaluation présentent les processus, la conception, et les méthodes de l’évaluation. l’Évaluation de la Déclaration de paris a abordé trois questions fondamentales :

1. Quels sont les facteurs qui ont forgé et limité la mise en œuvre des réformes de la Déclaration ainsi que leurs effets?

2. Quelles améliorations ont été apportées à l’efficacité de l’aide telles que visées par la Déclaration?

3. Quelles contributions les améliorations à l’efficacité de l’aide ont-elles apporté aux résultats du développement durable?

l’équipe principale de l’Évaluation d’envergure internationale a faci-lité plus de 50 études dans 22 pays partenaires et par le biais de 18 organismes donneurs, puis a procédé à la synthèse des résultats. l’ar-ticle décrit la conception à méthodes mixtes et à multiples niveaux de l’évaluation, les processus de collecte de données et d’analyse, le


cadre général de l’évaluation, et le processus de synthèse. les défis méthodologiques relevés et la gestion des compromis sont également décrits et discutés.

Bernard Wood et Julia Betts, qui ont co-écrit le Rapport de synthèse final de l’Évaluation de la Déclaration de paris, récapitulent les ré-sultats de l’évaluation dans l’article suivant, abordant les trois ques-tions fondamentales identifiées ci-dessus. le rapport a également évalué le progrès accompli par rapport aux 11 résultats prévus in-diqués dans la Déclaration comme solutions aux problèmes majeurs de l’aide au développement.

Dans l’article qui suit, Bernard Wood et Niels Dabelstein examinent la diffusion, l’utilisation, et la participation des intervenants. l’éva-luation a planifié et soutenu une panoplie peu commune de stra-tégies de diffusion. le Rapport de synthèse final et les documents principaux ont été diffusés en trois langues : anglais, français, et espagnol. Tous les rapports et documents complémentaires ont été rendus accessibles sur le site Web de l’OCDE. Vingt-deux (22) rap-ports nationaux et 18 rapports d’organismes internationaux d’aide au développement ont été rendus accessibles et largement diffusés. Un film documentaire portant sur le processus a été produit. Des clips vidéos de diverses durées et portant sur des sujets divers ont été produits. Quatre notes d’orientation sur les politiques ont été rédigées et distribuées pour mettre en vedette des résultats parti-culiers. Des présentations en personne ont été effectuées par des participants clés à l’évaluation dans un large éventail de pays et devant le personnel clé chargé des politiques planifiant le quatrième Forum de haut niveau sur l’efficacité de l’aide, tenu à Busan, Corée, en décembre 2011. Chaque pays participant a également mis en œuvre une stratégie de diffusion de ses propres résultats au niveau national, de même que les résultats de la synthèse. Celles-ci ainsi que d’autres stratégies de diffusion et d’utilisation ont impliqué un grand nombre d’intervenants divers autour du monde.

Dans le prochain article, je présente la méta-évaluation, c’est-à-dire, l’évaluation indépendante de l’Évaluation de la Déclaration de pa-ris. Étant donné l’importance de l’évaluation, le Groupe de gestion de l’Évaluation a commandé une évaluation indépendante afin de déterminer si l’évaluation a répondu aux normes internationales de qualité généralement acceptées. C’est ce qu’a fait la méta-évaluation en utilisant les normes d’évaluation récemment adoptées par le CAD/OCDE. l’article passe en revue les méthodes, les processus, et les


résultats de la méta-évaluation. Autant les forces que les faiblesses de l’évaluation sont présentées.

Dans le dernier article, Niels Dabelstein et moi discutons des leçons générales apprises et des 10 contributions de l’Évaluation de la Dé-claration de paris à la théorie et à la pratique en matière d’évalua-tion. l’article conclut en notant que l’Évaluation de la Déclaration de paris a reçu en 2012 le Outstanding Evaluation Award de l’American Evaluation Association (AEA). lors de la cérémonie de remise des prix, la présidente du Comité des prix de l’AEA, Frances lawrenz, a récapitulé les mérites de l’évaluation qui ont menés à la sélection pour le prix et à la reconnaissance :

le succès de l’Évaluation de la Déclaration de paris - phase 2 a nécessité une équipe d’évaluation exceptionnel-lement chevronnée, compétente, et totalement engagée; un secrétariat visionnaire, bien organisé et bien réseauté afin de gérer la logistique, les réunions internationales des intervenants, et la comptabilité; et un Groupe de gestion hautement compétent et respecté pour assurer le suivi, ainsi que l’indépendance et l’intégrité de l’éva-luation. De ceci a découlé un partenariat extraordinaire où tous les acteurs impliqués comprenaient leurs rôles, prenaient leurs responsabilités de manière complète et efficace, et respectaient les contributions des autres membres qui collaboraient à l’évaluation. Ainsi, le prix de l’« Évaluation Exceptionnelle » 2012 de l’AEA appartient à tous les participants principaux ayant collaboré à cette évaluation conjointe.

Ce numéro spécial de la RCÉP raconte l’histoire de l’Évaluation de la Déclaration de paris et amène les lecteurs à suivre le parcours et à visiter les coulisses de cette évaluation exceptionnelle.

Michael Quinn pattonRédacteur du numéro spécial, RCÉP

RÉFÉRENCEs

Dabelstein, N. (1996). Evaluating the international humanitarian system: Rationale, process and management of the joint evaluation of the international response to the Rwanda genocide. Disasters, 20(4),


287–294. Repéré de http://onlinelibrary.wiley.com/doi/10.1111/j.1467-7717.1996.tb01044.x/abstract

Dabelstein, N., & patton, M. Q. (2012). lessons learned and the contribu-tions of the paris Declaration Evaluation to evaluation theory and practice. Canadian Journal of Program Evaluation, 27(3), 171–198.

Development Today. (2012). international recognition for Niels Dabelstein, October 30. Development Today. Repéré de http://www.development-today.com/magazine/2012/dt_12/news/international_recognition_for_niels_dabelstein

patton, M. Q. (2012). Essentials of utilization-focused evaluation. Thousand Oaks, CA : sage.

remarks from the editor of the special issue · remarks from the editor of the special issue...

Documents