which future for impact evaluation in the belgian … · which future for impact evaluation in the...
TRANSCRIPT
Which future for impact evaluation in the Belgian NGO sector ?
Lessons from four case studies
Annexes
inpu
ts o
utputs
outcomes impact
KINGDOM OF BELGIUM
Federal Public Service
Foreign Affairs,Foreign Trade andDevelopment Cooperation
Office of the Special Evaluator for Belgian Development Cooperation
AFP
/Bel
gaIm
age
KINGDOM OF BELGIUM
Federal Public ServiceForeign Affairs,Foreign Trade andDevelopment Cooperation
Office of the Special Evaluator for Belgian Development Cooperation
Editor: Dirk AchtenPresident of the ExecutiveGraphic Production: www.mediaprocess.be
Egmont • Rue des Petits Carmes 15, B-1000 Brussels • + 32 2 (0)2 501 38 34 www.diplomatie.belgium.be • www.dg-d.be • [email protected]
Dépôt légal n° 0218/2016/016
Wh
ich fu
ture
for im
pact e
valu
atio
n in
the B
elgia
n N
GO
secto
r ? - Lesso
ns fro
m fo
ur ca
se stu
die
s
Federal Public Service Foreign Affairs, Foreign Trade and Development Cooperation
Office of the Special Evaluator of the Belgian Development
Cooperation
What does the future hold for impact
evaluation in the Belgian NGO sector?
The lessons from four case studies
Synthesis Report
Volume II
January 2016
This evaluation has been produced by ADE (www.ade.eu) in collaboration with Focus Up, supported by a steering committee.
The opinions expressed in this document represent the authors' views and do not necessarily reflect those of the FPS Foreign Affairs, Foreign Trade and Development Cooperation.
© FPS Foreign Affairs, Foreign Trade and Development Cooperation.
January 2016
Graphic design: www.mediaprocess.be
Printing: FPS printing Service
Evaluation No. S4/2014/02
Legal deposit: 0218/2016/016
This document is available in French, Dutch and English on the website: http://diplomatie.belgium.be/en/policy/development_cooperation/how_we_work/special_evaluation_office/reports and www.dgcd.be, or from the Special Evaluation Office. Annexes and management answers are available on the aforementioned websites as well.
This report should be cited as follows: Special Evaluation Office/SEO (2016), What does
the future hold for impact evaluation in the Belgian NGO sector? The lessons from four case studies. Foreign Affairs, Foreign Trade and Development Cooperation, Brussels.
Table des matières
VOLUME I : RAPPORT PRINCIPAL
VOLUME II : ANNEXES DU RAPPORT PRINCIPAL
Annexe A : Calendrier
Annexe B : Comparaison de l’ancien et du nouveau cadre légal
Annexe C : Liste des 22 interventions initialement proposées
Annexe D : Outils pour la sélection des 4 interventions
Annexe E : Lexique
Annexe F : Cahier spécial des charges
VOLUME III : RAPPORTS D’ÉVALUATION DES 4 INTERVENTIONS SÉLECTIONNÉES
Intervention 1: Rice project in Boyolali district in Indonesia (VECO)
Intervention 2: Value chain of chicken and sunflower project in two districts in Northern
Tanzania (TRIAS)
Intervention 3 : Accès à l’eau potable dans deux communes de Huánuco au Pérou (Iles de Paix)
Intervention 4: Right to health intervention in the Philippines (TWHA)
Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas Annexe A - 5
Annexe A : Calendrier
Phase Dates Activités Rapports
1. Début Septembre 2014 Workshop de démarrage Note méthodologique
2. Etude Octobre 2014 à Mars 2015
- Sélection des 4 interventions Analyse des documents
+ rencontres des ONG + workshop
- Préparation de l’analyse d’impact Logique d’intervention +
rencontre des ONG + présentation de la méthodologie
- Mission préparatoire / données de 2ème main (Pérou et Indonésie) Préparation du
questionnaire (Tanzanie et Philippines
Rapport 1
Rapport 2
Rapport 3
3. Terrain Mars à Juin 2015 Visite de terrain (4 interventions)
Contact
4. Analyse Juin à Septembre 2015
- Nettoyage des données - Analyses quantitatives et
qualitatives
Rapport 4 (4 rapports sommatifs)
5. Synthèse Octobre à Décembre 2015
Résumé des analyses sommatives et formatives (Workshop avec les ONG)
Rapport 5 (1 rapport de synthèse)
6. Restitution Février 2016 Communication autour de l’évaluation
Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas Annexe B - 7
Annexe B : Comparaison de l’ancien et du
nouveau cadre légal
Ci-dessous, le tableau présente une comparaison relativement sommaire de l’ancien et du nouveau cadre légal. Il reprend les caractéristiques principales de ces deux cadres légaux qui influencent les interventions des ONG/ACNG dans les pays du Sud.
Tableau 1: Comparaison des deux cadres légaux régissant
le travail des ONG/ACNG
Objectifs Loi du 25 mai 1999 (et ses AR et AM)
Loi du 19 mars 2013 (modifiée par la loi du 9 janvier 2014)
Développement humain durable
Art 3 :
- Lutte contre la pauvreté - Consolidation de la
démocratie et de l’état de droit
- Respect de la dignité humain, des droits de l’homme et des libertés fondamentales
- Lutte contre toute forme de discrimination
- Le développement socioéconomique et socioculturel
- Le renforcement de l’assise sociétale des pays partenaires1,
- la sensibilisation de l’opinion publique belge.
Art 3- 4 :
- Croissance économique durable et inclusive pour une amélioration des conditions de vie de la population et de leur développement socioéconomique et socioculturel
- Eradication de la pauvreté, de l’exclusion et des inégalités.
- Renforcement des capacités des partenaires en matière de développement à tous les niveaux.
- Consolidation de la démocratie et de l’état de droit, en ce compris la bonne gouvernance
- Respect de la dignité humaine, des droits humains dans toutes leurs dimensions et des libertés fondamentales, portant une attention particulière à la lutte contre toute forme de discrimination
Cohérence AR 24-09-2006 : Collaboration entre ONG
Art 8 : Cohérence maximale entre les différents domaines de la politique belge en faveur du développement
Synergie
Art 3 : synergie avec les coopérations communales, provinciales, régionales, communautaires et européennes
Art 13 :
- synergie entre la coopération gouvernementale, non-gouvernementale et multilatérale
- harmonisation avec l’Union Européenne
- coordination avec les régions et communautés de l’Etat belge
Art 27 para 3 : subvention des synergies entre ACNG
1 Voir également l’Art 2 de l’AR du 24 septembre2006 relatif à la subvention des programmes et projets des
ONG.
Annexe B : Comparaison de l’ancien et du nouveau cadre légal
Annexe B - 8 Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas
Domaine de couverture
Coopération gouvernementale, non gouvernementale et multilatérale
L’ensemble des interventions fédérales entrant dans le cadre des critères de l’aide tels que définis par l’OCDE
Nouveauté : financement de la société civile locale
Cadre et normes internationales
Critères CAD Art 9-10 : principes, déclarations et conventions des Nations Unies concernant le développement, l’environnement et les droits humains
(les principes de la Déclaration de Paris)
Thèmes prioritaires
Art 7 para 1er : (pour la coopération bilatérale) soins de santé de base, enseignement et formation, agriculture et sécurité alimentaire, infrastructure de base, bonne gouvernance
Art 11 : les droits humains (y compris les droits des enfants), le travail décent et durable, la consolidation de la société
Axes transversaux
Art 8 para 1er : l’équilibrage des droits et des chances des femmes et des hommes; le respect de l’environnement et l’économie sociale
Art 11 : dimension genre et la protection de l’environnement
Couverture géographique
Art 6 para 1er : 25 pays pour la coopération bilatérale
Art 16 : 18 pays partenaires pour la coopération bilatérale (et 5 organisations régionales)
AR dd 10 avril 2014 : 52 pays pour les programmes ; 23 pays pour les projets des ACNG
Collaboration avec les ONG
AR du 14 décembre 2005 et du 24 septembre 2006 :
Modes de subventions/rapportage différents pour ONG-projets & ONG -programmes
Art 26: conditions pour l’agrément comme ONG (para 1), comme fédération (para 2), comme coupole (para 3), comme partenaire de la coopération non-gouvernementale (para 4) ou comme ONG Programme (para 5)
Subventions des ONG
AR du 24-09-2006 (Art 9 et 16) :
- Intégré dans le plan stratégique de l’ONG
- Budget précis
- Critères CAD
- Approché axée sur les résultats
- …
AR du 24 -09-2006(Art 10 et 17) :
80% du coût des projets et programmes
Art 27 : conditions de subvention des programmes (para 1er) et des projets des ONG (para 2)
Idem Loi 1999 + Prendre en compte l’analyse contextuelle commune
Art. 29. §1er. Pour les programmes introduits par des ONG et par des partenaires de la coopération non gouvernementale fondés par les syndicats et les organisations patronales, la subvention s'élève à 80 % du coût réel du programme.
Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas Annexe D - 9
Annexe C : Liste des 22 interventions
initialement proposées
ONG intervention pays / couverture géographique
1 11.11.11 klimaatbeleid van de Indonesische regering met focus op energiebeleid en het inperken van boskap ten voordele van palmolieplantates
Indonesië
2 G3W Recht op gezondheid voor jongeren Palestina: (Oost-) Jeruzalem, Hebron en Bethlehem
3 G3W Recht op Gezondheid Filipijnen: enkele stedelijke gebieden zoals Metro Manilla, het hoofdstedelijk gebied, provinciale (semi-rurale) steden als General Santos City, Roxas City, Iloilo City en bepaalde arme regio's in de Visayas zoals Samar /Leyte en Negros. Daarnaast afgelegenere provincies als Palawan, Zambales, Agusan, Surigao, Sorsogon.
4 Handicap International
Réadaptation à base communautaire dans la province du Guangxi en chine
chine
5 Handicap International
Réadaptation à base communautaire Kinshasa République Démocratique du Congo
République Démocratique du Congo
6 Iles de Paix Eau Potable Hanuco Perou
7 Oxfam Solidariteit
Toegang tot Sociale Basisvoorziening. Partnerorganisaties versterken basisgroepen om zich te organiseren en hun recht op toegang tot de voorziening af te dwingen.
Mali
8 Oxfam
Solidariteit
Toegang tot Sociale
Basisvoorziening. Partnerorganisaties versterken basisgroepen om zich te organiseren en hun recht op toegang tot de voorziening af te dwingen.
El Salvador
Annexe C : Liste des 22 interventions initialement proposées
Annexe D - 10 Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas
ONG intervention pays / couverture géographique
9 Protos De lokale partnerorganisatie, CIDRI, is een klein team dat in de Ituri provincie een zeer sterke naam heeft opgebouwd in het opzetten en ondersteunen van watersystemen.
RDC, Ituri
10 Protos Het Driejarenprogramma 2008-2010 in Madagascar betrof: (a) de aanleg van drinkwaterinfrastructuur (b) sensibilisatie rond hygiëne en sanitatie naar bevolking en scholen (c) ontwikkeling van innoverende modellen voor het duurzaam beheer van drinkwatersystemen (d) technische en vooral organisatorische versterking van de betrokken lokale watercomités, 6 gemeentebesturen, koepelorganisaties en professionele watergebonden dienstverleners (e) versterking van lokale partner Fikrifama (f) kapitalisatie, netwerking en beleidsbeïnvloeding
Madagascar, Andrombavallei
11 SOS-Faim Soutien aux producteurs ruraux de l'office du Niger
Mali
12 SOS-Faim Accès au financement rural au Pérou Perou
13 Trias Verbetering diensten bedrijfsbeheer en productieve ketens (aardappel, guarango, zuivel, cavia,..), o.a. door vorming, opmaken en monitoren van bedrijfsplan & aanbieden van innovatieve technologieën, door interne versterking en duidelijke taakverdeling management & politiek bestuur (beweging) Verhoging bereik en verbetering kwaliteit van de microfinanciële diensten gericht op de noden van de productieketens
Ecuador
14 Trias Ondersteuning van de waardeketens
van zonnebloem- en kippenproductie; en bedrijfsontwikkelingsdiensten voor landbouwers
Tanzania
15 Vredeseilanden Koffieketen in Tana Toraja Indonesië, Provincie Zuid Sulawesi; District: Tana Toraja
Annexe C : Liste des 22 interventions initialement proposéesl
Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas Annexe D - 11
ONG intervention pays / couverture géographique
16 Vredeseilanden Rijstketen in Centraal Java Indonesië, Provincie Centraal Java; District: Boyolali
17 Vredeseilanden Safe Vegetables in Lang Son province
Vietnam, Provincie Lang Son, Mai Pha Commune
18 VSF/DZG Développement de l’Elevage Koulikoro-Kita-Koumantou
Mali
19 VSF/DZG service vétérinaire privé de proximité au Sud Rwanda
Rwanda
20 WWF « Ndjamba Djale» - Projet d’appui à la cogestion des ressources halieutiques sur le lac Mai Ndombe (Bandundu): 500 pêcheurs (H/F) s’organisent et amél en respectant les ressources naturelles
RDC, Bandundu
21 Bevrijde Wereld (Solidagro)
versterking van de voedselzekerheid van de bevolking van 15 gemeenschappen in de regio Caraga in de Filippijnen
Filippijnen
22 Bevrijde Wereld (Solidagro)
versterking van de voedselzekerheid van de bevolking van verschillende gemeenschappen in de gemeente Presto
Bolivia
Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas Annexe D - 13
Annexe D : Outils pour la sélection des 4 interventions
D1.1. Grille de lecture
La grille de lecture comporte un ensemble de questions réparties en 9 catégories : questions générales, questions sur la pertinence, questions sur l’atteinte des « outputs », questions sur évaluer l’atteinte des « outcomes » ; questions sur l’atteinte de l’impact ; questions sur la durabilité ; questions sur les thèmes transversaux ; questions sur l’apprentissage, questions logistiques.
Cette grille a été remplie pour chaque intervention par un évaluateur sur base de lecture de documents reçus par les ONG. Elles ont ensuite servi de base à la discussion en équipe pour préparer les entretiens avec les représentants des ONG. Ci-dessous, une grille de lecture vierge est présentée.
INTERVENTION n° …. / ONG: …………….. / PAYS: ……………..
QUESTIONS GENERALES
Disponibilité des documents demandés par mail
Existe-il des évaluations de cette interventions (mi-parcours / finale - interne / externe)
type(s) d'intervention (service/plaidoyer/renforcement des capacités/renforcement de la société civile)
secteur de l'intervention
champ géographique de l'intervention (national; régional; communal ou plusieurs communes, spécifiez la
zone d'intervention) champ temporel effectif (indiquez la date de début et de fin)
depuis la fin de l'intervention, y-a-t-il eu une catastrophe naturelle, une guerre, des conflits, une catastrophe
sanitaire dans la zone, une crise économique et financière importante (précisez) depuis la fin de l'intervention, l'ONG continue-t-elle à intervenir dans ce secteur dans cette zone
d'intervention? nombre de partenaires locaux
rôle du partenaire
autres bailleurs financent une partie de l'intervention (via le partenaire)
Annexe D : Outils pour la sélection des 4 interventions
Annexe D - 14 Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas
QUESTIONS sur la PERTINENCE
existence d'une analyse contextuelle de la zone et du secteur d'intervention AVANT l'intervention
existence d'une analyse de risques (facteurs externes et internes susceptibles
d'influencer les résultats de l'intervention)
explication donnée sur comment l'intervention s'insère dans la stratégie locale de réduction de la pauvreté
amélioration des conditions de vie (alignement avec les politiques locales) QUESTIONS sur l'ATTEINTE OUTPUT
existence d'un cadre logique (CL) pour l'intervention en question / inclus dans le CL
du programme
la chaine causale est pertinente / réaliste?
informations précises sur les moyens financiers mis en œuvre pour l'intervention (INPUT)
informations précises sur les activités mises en œuvre pour l'intervention (INPUT)
y a-t-il eu obstacles à la mise en œuvre ?
y-a-t-il eu des retards d'exécution / annulation de certaines actions prévues ?
indicateurs d'OUTPUT' à atteindre sont clairement identifiés et définis
informations détaillées disponibles sur les 'OUTPUT' réalisés
appréciation du niveau d'atteinte des 'OUTPUT'
QUESTIONS sur l'ATTEINTE OUTCOME
qui sont les bénéficiaires directs? Nombre?
qui sont les bénéficiaires finaux et leur nombre? Y a-t-il des bénéficiaires intermédiaires?
les 'OUTCOMES' attendus pour les bénéficiaires DIRECTS sont clairement identifiés et définis -
type d'indicateurs qualitatifs et quantitatifs précision d'une valeur de base et d'une valeur cible par indicateur OUTCOME bénéficiaires directs
les 'OUTCOMES' attendus pour les bénéficiaires FINAUX sont clairement
identifiés et définis - type d'indicateurs qualitatifs et quantitatifs
précision d'une valeur de base et d'une valeur cible par indicateur OUTCOME bénéficiaires FINAUX
Obstacles (matérialisation de risque pré-identifié ou non) sont-ils apparus pouvant
influencer les « outcomes » quel que soit le type de bénéficiaires
précisez le type de données disponibles pour la période de référence "baseline"
Annexe D : Outils pour la sélection des 4 interventions
Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas Annexe D - 15
quels types de données produit le système de suivi (monitoring) ? Quali/quanti-
type bénéficiaires-nombre- fréquence...
mode de mise en œuvre de l'intervention - en une fois ou de façon séquentielle?
idée de contrefactuel crédible?
potentiel de biais de sélection ?
potentiel de biais de contagion -contrefactuel est aussi influencé par l'intervention?
potentiel problème d'attribution, càd que les effets sont difficilement différentiables (intervention)
financée par d'autres bailleurs, interventions similaires dans la zone pendant ou après l'intervention étudiée, synergie forte entre l'intervention et d'autres volets du programme)
potentiel problème d'observabilité des effets (évaluation vient trop tôt)
appréciation sur l'atteinte des "outcomes" sur les bénéficiaires directs - techniques/outils utilisés
appréciation sur l'atteinte des "outcomes" sur les bénéficiaires FINAUX - techniques/outils utilisés
QUESTIONS sur l'ATTEINTE IMPACT
l'impact de l'intervention est clairement identifié (par ex il est différent de l'atteinte
des outcomes, …)
pour quel type de bénéficiaires ? impact semble réaliste en rapport aux moyens mis en œuvre, activités réalisées et le contexte
appréciation général de l'atteinte de l'impact - techniques/outils utilisés
potentiel problème d'observabilité de l'impact (évaluation vient trop tôt)
QUESTIONS sur la DURABILITE
processus de mise en œuvre rendant l'appropriation par les bénéficiaires DIRECT possible
bénéficiaires DIRECT ont les moyens techniques et financiers de faire perdurer les effets du projet
processus de mise en œuvre rendant l'appropriation par les bénéficiaires FINAUX possible
bénéficiaires FINAUX ont les moyens techniques et financiers de faire perdurer les effets du projet
Obstacles à la durabilité identifiés ?
Annexe D : Outils pour la sélection des 4 interventions
Annexe D - 16 Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas
QUESTIONS sur les THEMES TRANSVERSAUX
genre (HOMME/FEMME; JEUNES/VIEUX)
Environnement
QUESTIONS sur APPRENTISSAGE
en termes d'apprentissage (par ex, ça reflète des caractéristiques propres à plusieurs
ONG)
en termes d'apprentissage pour l'ONG / partenaire (Utilité/usage)
QUESTIONS LOGISTIQUES
enclavement
niveau de sécurité de la zone d'intervention
accès à l'électricité facilement
accès à internet facilement
autorisation nécessaire des gouvernements locaux pour réaliser des enquêtes
Annexe D : Outils pour la sélection des 4 interventions
Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas Annexe D - 17
D1.2. Guide d’entretien pour ONG
A. Indiquez le numéro, nom de l’ONG et titre de l’intervention
B. Indiquez le nom + fonction des personnes rencontrées
C. Posez les questions suivantes pour commencer l’entretien 1. Intérêt/attente de l’ONG sur cet exercice en général
2. Utilité d’évaluer l’intervention qu’il propose / valeur ajoutée pour l’ONG
3. Reproduire ce genre d’intervention là ou ailleurs ?...)
4. Disponibilité de l’ONG ici en Belgique et sur le terrain pour collaborer dans
cet exercice
5. Attitude du partenaire face à cet exercice d’évaluer l’impact (donc leurs actions) ;
6. Évaluer l’impact de votre intervention, cela signifie quoi pour vous/votre
ONG ?
7. objectif de l’évaluation de vos interventions en général (à hiérarchiser) :
rendre compte au bailleur/capitalisation interne/prise de décision
8. Qu’avez-vous envie d’apprendre de plus que ce qui se trouve dans les évaluations existantes de cette intervention ?
D. Posez les questions suivantes en vous basant sur les réponses déjà disponibles
dans la grille de sélection – ces points sont tous abordés dans la grille
1. Qui sont les bénéficiaires de votre intervention ? (s’il parle des partenaires,
demandez si autre type de bénéficiaires visés ; s’il parle de bénéficiaires
finaux, demandez en quoi le partenaire est également un bénéficiaire)
2. Genèse du projet : identification des objectifs / input (Logique d’action/ «
theory of change » ou Cadre logique, quel est votre usage ? outil pour
formuler/suivre/évaluer ou simple formalité administrative / Définition des
éléments du cadre logique : output=réalisation ;
outcomes=résultats/objectif spécifique ; impact=objectif global / La
définition de ces éléments pour une intervention pose problème ? quel type
de problème ? /distinction des effets par types de bénéficiaires dans le CL?
Est-ce intéressant pour vous / formulation des indicateurs de
suivi/évaluation but poursuivi : évaluer les outputs/les outcomes/autres ?
3. Mise en œuvre : obstacles ; Les réalisations ont-elles été atteintes avec
succès ? si problème dans l’atteinte des réalisations problème pour
observer les effets de l’intervention sur les bénéficiaires ?
4. Evaluation : Effets déjà observables au niveau de quel type de bénéficiaires
? /Mesures de sécurité actuelles dans la zone ? /
Effets mesurables sur les bénéficiaires directs/finaux ? / Existence
d’une baseline ? en quoi consiste pour vous une baseline ? / critère de choix
du groupe de bénéficiaires finaux ? possibilité de trouver un contrefactuel
crédible ? baseline dans contrefactuel / ONG continue à travailler dans ce
secteur à cet endroit ? autres acteurs dans le secteur ? résultats sont-ils liés
à des synergies avec d’autres interventions dans la zone ? compétence des
partenaires (capacités de collecter des données).
E. Ont-ils des questions sur la présentation/le processus/autres
F. Indiquez s’il faut prendre contact avec des gens du terrain pour d’autres
informations complémentaires et renseigner leur contact.
Annexe D : Outils pour la sélection des 4 interventions
Annexe D - 18 Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas
D1.3. Fiche par intervention
C1.3.1. Critères pour l’utilisation de méthodes mixtes
# Critères Constats
1 Le nombre de bénéficiaires finaux est important
2 La majorité des indicateurs d’« outcomes » sur les bénéficiaires finaux peuvent être quantifiables et disponibles
3 Une partie substantielle des « outputs » et des « outcomes » au
niveau des partenaires ont été atteints.
4 L’accès aux bénéficiaires finaux est relativement aisé
5 Des données fiables sur la situation de référence (« baseline ») sont
disponibles
6 Un contrefactuel crédible est identifiable et interrogeable
D1.3.2. Critères liés au contexte
# Critères Constats
1 Relations avec le partenaire se sont bien passé.
2 Aucun évènement sécuritaire – sanitaire – économique – politique – environnemental sévère ne s’est produit, pendant ou depuis la fin de l’intervention
3 Le(s) partenaire(s) sont disponibles et coopératifs pour l’évaluation
Annexe D : Outils pour la sélection des 4 interventions
Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas Annexe D- 19
# Critères Constats
4 Le contexte sécuritaire – sanitaire – politique – environnemental
est propice à des visites sur le terrain
5 Au moment de l’évaluation, la majeure partie des effets sur les bénéficiaires sont observables
D1.3.3. Critères liés à la valeur ajoutée
# Critères Constats
1 Bénéfices importants en termes d’apprentissage sur l’atteinte des
effets sur bénéficiaires finaux et sur les effets au niveau global pour l’ONG
2 Bénéfices en termes d’apprentissage méthodologique pour le secteur ONG sont importants
3 Les coûts sont raisonnables en termes de déplacement, en termes
de mobilisation de moyens pour collecter des données de première main le cas échéant, en termes de coût de traduction/décalage culturel
Annexe D : Outils pour la sélection des 4 interventions
Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas Annexe E- 21
Annexe E : Lexique
Ce lexique donne une définition brève de différents concepts souvent utilisées dans cette étude.
Programme ONG Un ensemble cohérent d’actions de développement poursuivant un objectif global commun. Cela peut être des actions similaires mises en œuvre dans différentes régions du monde ou encore être un ensemble d’interventions différentes mises en œuvre dans une même zone d’intervention.
Projet ONG Une intervention d’une ONG qui ne fait pas partie d’un
programme.
Volet d’un programme Une intervention d’une ONG mise en œuvre dans une certaine zone géographique qui fait partie d’un programme plus large.
Intervention ONG Action de développement qui est, soit un projet, soit un volet d’un programme.
« Outcome » Tel que défini dans cette étude, ce niveau de résultat
correspond à tous les effets d’une intervention au niveau des différents types de bénéficiaires résultant de l’utilisation des outputs.
Impact Tel que défini dans cette étude, ce niveau de résultat correspond aux effets à un niveau global : effet au niveau d’un secteur, d’une zone géographique (proportion de la population directement touchée, et l’effet ‘tache d’huile’), effet sur la réputation de l’ONG et de ses partenaires, contribution d’un volet d’un programme à l’impact global du programme.
Evaluation d’impact Evaluer les résultats d’une intervention au niveau des bénéficiaires finaux, en répondant aux questions suivantes : « What works, why and how ? » ; et évaluer les effets à un niveau global.
Contrefactuel Situation qui aurait prévalu pour la population
bénéficiaire, sans l’intervention.
Groupe témoin / Groupe de contrôle Groupe d’individus qui n’a pas accès à l’intervention, qui
était similaire au groupe des bénéficiaires avant l’intervention et qui aurait évolué tel que le groupe des bénéficiaires si ces derniers n’avaient pas eu accès à l’intervention.
Approche contrefactuelle Méthode d’évaluation qui consiste à aller interroger un groupe témoin. Cette approche permet de dire avec un certain degré de précision en quoi les effets sont attribuables à l’action de développement mise en œuvre.
Annexe D : Outils pour la sélection des 4 interventions
Quel avenir pour l’évaluation d’impact dans le secteur ONG belge ?
Leçons de quatre études de cas Annexe F - 23
Annexe F : Cahier spécial des charges
Which future for impact evaluation in the Belgian NGO sector ?
Lessons from four case studies
Annexes
inpu
ts o
utputs
outcomes impact
KINGDOM OF BELGIUM
Federal Public Service
Foreign Affairs,Foreign Trade andDevelopment Cooperation
Office of the Special Evaluator for Belgian Development Cooperation
AFP
/Bel
gaIm
age
KINGDOM OF BELGIUM
Federal Public ServiceForeign Affairs,Foreign Trade andDevelopment Cooperation
Office of the Special Evaluator for Belgian Development Cooperation
Editor: Dirk AchtenPresident of the ExecutiveGraphic Production: www.mediaprocess.be
Egmont • Rue des Petits Carmes 15, B-1000 Brussels • + 32 2 (0)2 501 38 34 www.diplomatie.belgium.be • www.dg-d.be • [email protected]
Dépôt légal n° 0218/2016/016
Wh
ich fu
ture
for im
pact e
valu
atio
n in
the B
elgia
n N
GO
secto
r ? - Lesso
ns fro
m fo
ur ca
se stu
die
s