![Page 1: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/1.jpg)
29/11/05 JPB AEU FMC v1.0
Méthodologie de l’évaluation
Jean-Pierre Boissel
UCBL
![Page 2: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/2.jpg)
Evaluer
• Signification ?
![Page 3: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/3.jpg)
Les points clés• Pourquoi évaluer ?• L’hypothèse et l’objectif • Les facteurs confondants• Les indicateurs• La méthode : une comparaison
– sans biais lorsque l’objectif est la mise en évidence d’une relation causale
– biaisée dans tous les autres cas• La puissance et le nombre d’unités
statistiques à inclure• La randomisation• Le rôle de l’analyse statistique• Le résultat• L’interprétation
![Page 4: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/4.jpg)
Rappel : les deux principes de la méthode expérimentale (Claude
Bernard)• Premier principe: l'expérience destinée
à confirmer une hypothèse de relation causale est une comparaison et pour qu'elle soit interprétable il faut que tous les facteurs confondants, connus ou inconnus, jouent de la même manière sur les deux termes de l'expérience
• Second principe: l'hypothèse doit être formulée avant le début de la collecte des données
![Page 5: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/5.jpg)
Pourquoi évaluer les formations ?
• Pour mesurer leur efficacité vis-à-vis de l’objectif général :– Transférer les connaissances– Modifier les pratiques dans le sens de :
• Des soins plus proches du référentiel• De meilleurs chances pour les patients• Des professionnels plus heureux• …/…
• Comme toute mesure, celle-ci doit être juste et sans biais
• S’ajoute à cette exigence un impératif éthique propre au champ de l’objectif
• Que doit-on évaluer ?
![Page 6: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/6.jpg)
Une hypothèse, un objectif, des indicateurs
• Hypothèse– La formation selon telle modalité X transfert
des connaissances utiles pour la pratique• Objectif
– Montrer que la formation que nous allons réaliser selon la modalité X va modifier les pratiques telles qu’on peut les apprécier (évaluer – oh ambiguïté !) grâce aux indicateurs I
– Retour sur la question : que doit-on évaluer ?• Les indicateurs
– Sont-ils pertinents vis-à-vis de• L’hypothèse• L’objectif
![Page 7: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/7.jpg)
Indicateurs• Directs ou « cliniques »
– Meilleurs soins donc meilleurs pronostics (quantité et qualité de vie)
• Indirects ou « intermédiaires » :– Modification des prescriptions
• Explicatifs– Changement des connaissances– Modification des attitudes
![Page 8: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/8.jpg)
… et une bonne méthodologie
• Sans bonne méthodologie les résultats (= la quantité d’évolution des indicateurs causée par la formation) seront ininterprétables
• Bonne méthodologie =– Cohérente avec l’objectif– Éliminant les facteurs confondants– Tenant compte de l’aléas– Conduisant à un résultat transposable
(cad généralisable)
![Page 9: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/9.jpg)
Évolution des indicateurs avant-après
Recueil des indicateurs AVANT
Recueil des indicateurs APRES
Formation
Effet de la formation = différence avant-après ?
comparaison
![Page 10: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/10.jpg)
Comparaison avant-après
évolution spontanée des pratiques
effet « placebo » de la formation
régression à la moyenne (à partir des besoins ressentis)autres facteurs confondants (les autres sources de transfert)FORMATION
état initial
état final
A quoi est due la différence entre l’état final et l’état initial ?
![Page 11: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/11.jpg)
Régression à la moyenne (1)
![Page 12: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/12.jpg)
Régression à la moyenne (2)
• baisse observée: données du graphique précédent
• baisse théorique: calculs fondés sur une loi normale (Gauss)
sous-groupe baisseobservée
baissethéorique
A 17 % 15,3 %B 12 % 13,6 %C 8 % 12,6 %
![Page 13: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/13.jpg)
Effet placebo
-80-70
-60-50
-40-30
-20-10
0pré-traitement 6 semaines 6 mois
nombre moyen de crises
10,3
-48%
-77%
p<0,0001
p<0,0001
%
![Page 14: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/14.jpg)
Evolution spontanée (1)
évolution du cholestérol total sérique
0
1
2
3
4
5
6
7
0 4 8 12 16 20 24 28 32 36 40 44mois
CT
(g/l
)
![Page 15: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/15.jpg)
Observance au placebo et mortalité
Observance Décès (%) RR
Beta Blocker Heart Attack TrialObservance < 75% 19,0Observance > 75% 6,8 0,36
Coronary Drug ProjectObservance < 75% 25,8Observance > 75% 16,4 0,64
(Petiti, 1994)
![Page 16: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/16.jpg)
évolution au cours du temps de l'incidence annuelle des événements
thromboemboliques
• Le graphique représente les incidences annuelles des accidents thrombo-emboliques dans les groupes contrôles traités par un anticoagulant oral des essais randomisés d’antiagrégants plaquettaires chez les porteurs de valves cardiaques artificielles
0 2 4 6 8 10 12 14
19711976197719771978198019821985
Evolution spontanée (4)
%
![Page 17: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/17.jpg)
Comparaison avant-après
évolution spontanée des pratiques
effet « placebo » de la formation
régression à la moyenne (à partir des besoins ressentis)autres facteurs confondants (les autres sources de transfert)FORMATION
état initial
état final
A quoi est due la différence entre l’état final et l’état initial ?
![Page 18: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/18.jpg)
Annuler les effets des facteurs confondants
Facte
urs
con
fon
dan
ts
état initial
état final
contrôle testX
Yc Yt
effet de l’intervention = (X-Yc) - (X-Yt) = Yt-Yc
FORMATION
![Page 19: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/19.jpg)
Évolution des indicateurs avant-aprèsFormation
Contrôle
comparaison
![Page 20: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/20.jpg)
Randomisation ou allocation aléatoire
2 traitements, A et B
permutations de n = 6
permutations traitements patients n°1 A 1
5 A 22 B 34 B 43 A 56 B 6
3 A 72 B 84 B 96 B 101 A 115 A 12
A 1, 3, 5B 2, 4, 6
att
rib
uer
![Page 21: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/21.jpg)
Nombre d’unités statistiques...
• En général : une US = un médecin• Doit être calculé au préalable pour
assurer une puissance suffisante à l’essai
• Il dépend :– Du risque de faux positif que l’on accepte de
prendre (rejet à tort de l’hypothèse nulle H0)– De la puissance (complément à 1 du risque de
passer à côté de l’effet)– De l’intensité prévisible de l’effet (renvoie au
modèle et à l’hypothèse que l’essai doit tester)– De l’effet grappe
![Page 22: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/22.jpg)
Effet “grappe”• Un groupe de médecin
– En formation– Une association de FMC– Un cabinet
• La clientèle d’un médecin• Constitue des réunions d’intérêts
communs• La variabilité de leurs réponses n’est pas
la même que si ils étaient complétement indépendants les uns des autres
• Il faut en tenir compte :– Dans le calcul du nombre d’US– Dans l’analyse statistique
![Page 23: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/23.jpg)
Analyse statistique• Prendre en compte les fluctuations
d ’échantillon:– Évolution du contrôle = effets des facteurs
confondants + aléas– Évolution sous traitement = effet du traitement
+ effets des facteurs confondants + aléas– Évolution du contrôle - évolution sous
traitement = effet du traitement + aléas
• Le « p » exprime les chances que le résultat ne soit du qu’au hasard
• Hypothèse nulle H0 et hypothèse alternative...
![Page 24: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/24.jpg)
Le problème• La bonne méthodologie :
– Deux groupes– Dont un contrôle– Randomisation
• Comment constituer le groupe contrôle ?– Les médecins– La “formation”
• À ces difficultés s’ajoutent :– La question du nombre d’unités statistiques– Celle de l’effet groupe– La lourdeur de cette approche (coût, énergie,
durée)• Impossible pour “une” formation• À réserver à l’évaluation des modalités et
techniques de formation
![Page 25: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/25.jpg)
Alors que faire pour “une” formation ?
• Adapter la méthode aux possibilités et donc changer la question :– Constate-t-on une “amélioration” des
pratiques suite à la formation ?– On ne documente pas la relation causale– L’enjeu :
• En l’absence d’amélioration, on cherche à savoir pourquoi le résultat est contraire à l’attente
• En présence d’une amélioration on ne conclut pas que la formation a conduit à une amélioration des pratiques
• On cherche aussi à savoir si les besoins pour la satisfaction desquels la formation a été construite sont satisfaits
![Page 26: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/26.jpg)
Interprétation
• En quoi ce résultat doit modifier la prochaine formation ?
• Cette réflexion doit faire l’objet d’un compte-rendu
![Page 27: 29/11/05JPB AEU FMC v1.0 Méthodologie de l’évaluation Jean-Pierre Boissel UCBL](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9dc9497959293b8e3f96/html5/thumbnails/27.jpg)
Points clés
• Distinguer l’évaluation « causale » des évaluations « descriptive », « formative », « normative »,…
• La première impose la prise en compte des principes de la méthode expérimentale
• Toute évaluation se conçoit par rapport à une référence (appelée aussi « contrôle »)
• Et nécessite un ou des indicateur(s)• Dont la première (mais pas la seule) propriété
est la pertinence