evaluation et qualitÉ
DESCRIPTION
Journée d’étude FEBISP 7 octobre2010. EVALUATION ET QUALITÉ. Réflexions sur les enjeux et outils à partir du débat du monde de la coopération au développement. Marc Totté [email protected]. LES ENJEUX. Constats de départ - PowerPoint PPT PresentationTRANSCRIPT
EVALUATION ET QUALITÉRéflexions sur les enjeux et outils à partir du débat du monde de la coopération au développement
Journée d’étude FEBISP 7 octobre2010
Marc Totté [email protected]
LES ENJEUX Constats de départ
La ‘culture’ de l’évaluation : plus une obligation qu’une demande Et un besoin partiel
La ‘culture’ de la qualité : autant un souci interne qu’une réponse à des pressions diverses de plus en plus manifestes de « résultats » et « d’économies » budgétaires
Mais des représentations très différentes de la qualité
Enjeux – Questions -Risques Enjeu : La reconnaissance de la qualité (à travers charte, labels, ou
autre) pourrait limiter l’inflation de contrôle et d’évaluation Question : A quelles conditions ? Risques : Comment éviter les risques de renforcement de la
concurrence entre associations ?
L’EVALUATION
UN ESPACE PARTICULIER
Une articulation entre
Un système de pouvoir
Un objet à évaluer
Un dispositif d’analyse
2. Commandite
1. S’interroge
3. Apprécie
4. Rend compte
5. Décide
LES DIFFÉRENTES FORMES D’ÉVALUATION (SUITE)
Selon les époques (4 générations)
Tendance vers plus de croisement entre des appréciations différentes
GENERATIONS
Mesurer
Décrire les forces et faiblesses
Juger et recommander
Apprendre
FONCTIONS / PRIORITES
LOGIQUES/MODELES de Développement
Technicistes, déterministes
Systémiques, Interactionnelles ?
Négocier, discuter
G1
G2
G3
G4
LES LIMITES DE L’ÉVALUATION (DANS LA COOPÉRATION)
Processus limité dans le temps et avec peu de moyens Avec une attention particulière sur les « résultats » et
donc sur l’efficacité et l’efficience (au détriment d’enjeux de pertinence et d’impacts)
Reste perçu comme un contrôle Centré sur la figure du projet !!! N’intervient que peu sur l’organisation, son système de
gouvernance Or, la capacité interne de tirer parti d’une évaluation
n’est pas évidente et dépend de l’organisation
LA QUALITÉ : DÉFINITIONS, ENJEUX, OUTILS
LA QUALITÉ CLASSIQUE : CONCERNE L’ACTION ET L’ORGANISATION ISO 9000 : « L’aptitude d’un ensemble de caractéristiques à satisfaire des exigences ».
LA QUALITE EN SOLIDARITÉ INTERNATIONALE
Problèmes, défis, enjeux,
situations
De l’action
Qualité = Aptitudes à faire ces liens
De l’organisation
Normes Ethiques
EXIGENCES
CARACTERISTIQUES
De l’action
De l’organisation
NormesEthiques
CARACTERISTIQUES
LE MODÈLE EFQM
LES LIMITES ET ENJEUX Centrée sur l’organisation plus que son environnement Autour de trois champs plus particuliers :
Gouvernance Gestion financière Gestion des processus
Une notion de « satisfaction » ambigüe mais importante et extensible
Enjeux La sortir de ces ancrages (monde de l’entreprise) Lui permettre d’être réellement en prise avec la société
DEUX REPRÉSENTATIONS OPPOSÉES
La qualité « finalisante », axée sur les performances, technique
La qualité « propensive », ouverte, politique
Centrée sur elle-même
Articulée et articulante
ELARGIR LA LOGIQUE DE RATIONALITÉ INTERNE
Dans la logique projet
MOYENS
OBJECTIFSRESULTATS
ELARGIR LA LOGIQUE DE RATIONALITÉ INTERNE Dans la démarche qualité « classique » (l’organisation)
COMMENT ? RELIER AUX DYNAMIQUES SOCIÉTALES, QUI PRODUISENT DES EFFETS ET FONT SENS (BLAIRON 2008)
Ou impact
QUELQUES OUTILS ET LEUR ADAPTATION
La boucle de la qualité La roue de Deming
Système des « producteurs »
LA BOUCLE DE LA QUALITÉ DES SERVICES PUBLICS
DécisionChoix
stratégi-que
Mesure de satisfaction
Qual. attendue
Qual. perçue
I. de satisfaction
Usagers
Mesure des
résultats
Mesure du
fonction-nement
Qual. voulue
Règles du fonction-nement
Qual. fournie
I. de conformité I. de processus
Service
Ecarts de délivrance ?Ecarts de satisfaction
Décalages de conception ?
Décalages de perception ?
système des « utilisateurs »
Fournit 3 types d’Indicateurs
internes◦ Satisfaction◦ Processus◦ Conformité
ADAPTATIONS POSSIBLES
QUALITE ATTENDUE
Q1
Q2
Qn
Q3
CONTEXTES
CONFRONTATION
I.de confrontation ?
« Bénéficiaires »
LA ROUE DE L’AMÉLIORATION CONTINUE (DEMING)
PDCA Planifier/Plan Développer/Do Contrôler/Check Améliorer, Ré-Agir /Act
Mais : Tendance de l’homme à faire toujours plus la même chose (la roue ne permet pas en soi de sortir de nos systèmes de valeurs pour changer)
• L’accent sur le processus d’apprentissage au moins autant que le résultat
• La nécessité de coller aux réalités
• Quatre types de questions clefs :– Quels processus de changement – internes, externes - avons-nous déclenchés ?– Quels apprentissages en avons-nous capitalisés ? – Comment arrive-t-on à faire mieux avec plus de parties prenantes? – Quelles sont les opérations sur ce processus de transformation qui posent le plus
de problèmes ? ...
IMPORTANCE DE CES OUTILS
ARTICULATIONS AVEC LES AUTRES EXIGENCES (IMPACT, GESTION AXEE
RÉSULTATS)
LIENS AVEC L’IMPACT
Deux modèles de l’impact « tir à l’arc » (déterministe, linéaire, contexte peu « actif ») « ronds dans l’eau » (aléatoire, interactionnel-systémique,
contexte important) La qualité sera :
Soit, la capacité à tendre, viser, atteindre (force, vision, capacité à modéliser la courbe balistique ? Donc à planifier, programmer rigoureusement et à gérer les risques, etc.)
Soit, la capacité à anticiper, s’adapter, accentuer, faire résonner, amplifier, accompagner, suivre… l’existant (Donc à en connaitre suffisamment sur les personnes, les organisations, leurs relations, les motivations à changer, etc.)
OUTIL-BOUSSOLE pour penser le suivi, l’évaluation, la qualité
Mieux Apprendrecollectivement(renforcement compétences)
Mieux Gérer
Mieux rendre compte
(redevabilité)
« Technique »
« Administratif »« Conceptuel »
« Politique »Mettre en processus du changement social, économique et politique
Logique de l’IMPACT
Démarche axée sur les RESULTATS
Démarche de la QUALITE
Evaluation des « produits » agit sur les « autres » (cibles uniques du chgt)?
Evaluation des « processus »
Interpelle «son» organisation, soi
avec les « autres » ?
AméliorationGlobale du
système sociétal
EN RÉSUMÉ La qualité peut améliorer les conditions d’évaluation :
Diminuer la fréquenceSimplifier les critères et indicateurs
A conditions de la concevoir comme :Diverse et spécifique : La "qualité clef sur porte" n'existe
pas. Une source d'interpellation dirigée sur soi et son contexteUne « Préoccupation » plutôt qu’une obligationUn « processus » d’apprentissage au moins autant que la
recherche de « résultats »Un horizon toujours perfectible plutôt que la perfection
performative
POUR ÉVITER LES FAUSSES ALTERNATIVES…
MERCI DE VOTRE ATTENTION