evaluer les démarches d’interventions des risques...

Evaluer les démarches d’interventions des risques psychosociaux : une

approche pluridisciplinaire D Chouanière, P Douillet, S Boini

Equipe projet

INRS JJ Atain-Kouadio, A Aublet-Cuvelier, S Boini, D Chouanière, A Cuny, E Drais, V Langevin, MA Gautier,

M Lapoire-Chasset, C Trontin

ANACT P Douillet, AM Gallet, B Grandjacques, J Pelletier

�Plan de la présentation

�Enjeux � Sociétaux� Scientifiques� Vis-à-vis de la prévention

�Périmètre du domaine étudié�Objectifs et démarche du projet �Premiers résultats �Discussion

2

� Enjeux sociétaux

�L’évaluation est à la mode � Depuis 80 l’évaluation s’est étendue aux

politiques publiques, gestion/projets, etc.

�L’efficacité/efficience de la prévention est + questionnée en période économique difficile

�Les intervenants (institutionnels ou consultants) s’interrogent pour leurs projets sur : � Des aspects déontologiques � La bonne gouvernance 3

� Enjeux scientifiques

�Complexité des objets et des interventions� RPS, TMS : objets multifactoriels, avec

composantes subjectives � Interventions multi-acteurs, multi-activités, …� Evaluation difficile

• contexte instable• effet de l’intervention modéré et progressif, différé

et/ou localisé (en + ou en -) • méthodologie, outils et critères d’évaluation peu

connus • modèle dominant : Essai Randomisé Contrôlé (ERC)

inadapté aux interventions psychosociales4


5

Population de

l’intervention

Interventions sur le

lieu du travail

Groupe

cible

Groupe

contrôle

Randomisation

Goldenhar LM et al.,2001

Mesures

Avant

Mesures

Après

�Multiplicité des cadres théoriques de l’évaluation� 4 disciplines académiques principales

• Économie• Ergonomie• Sociologie • Epidémiologie

� Autres disciplines ou domaines très impliqués• Sciences de l’éducation• Sciences de gestion• Démarche projet • Etc.

6


�Prise en compte de la complexité des interventions RPS/TMS et de leur évaluation

�Élargissement du champ de l’évaluation � Plus complet que les seuls indicateurs de santé� Plus large que l’évaluation quantitative

�Etude de la possibilité de « métisser » les différents cadres théoriques existants

7


� Enjeux pour la prévention

�Doter les acteurs de terrain d’outils pour objectiver l’efficacité, l’efficience, etc. des démarches menées sur RPS et TMS

�Développer la pratique de l’évaluation� Pour faire progresser les pratiques� Pour confirmer l’efficacité de la prévention

primaire encore non démontrée pour RPS [INSERM, Expertise collective, 2011]

8

� Périmètre du domaine étudié

�Un périmètre d’interventions restreint dans un premier temps� de quelles interventions/actions de

prévention parle-t-on ?

�Qu’est que l’on évalue ? Pour qui ? Dans quel contexte ? Etc.� De quel type d’évaluation parle-t-on ?

9

� Types d’interventions �Actions visant l’amélioration des CDT

� Si Risques Psychosociaux (RPS) et/ou Troubles MusculoSquelettiques (TMS)

� Par une transformation de l’organisation • Actions de prévention primaire

• selon les principes généraux de prévention (directive

89/391/EEC du 12/6/1989 transposée en droit français)

– Adapter le travail à l’Homme

– Agir le plus en amont possible sur les facteurs collectifs du travail pour préserver la santé/sécurité

• Interventions pour changer une activité, construire une réalité, modifier le système de relations, valeurs, etc.

10

� Types d’interventions

�Action de prévention/intervention � Temporellement et géographiquement définie

• Menée directement dans une entreprise ou un collectif d’entreprises

• D’une durée significative vis à vis d’un changement organisationnel

� Dont le commanditaire est 1acteur de l’entreprise

11

� Types d’interventions�Recourant à des méthodes diverses

� constructivistes : cliniques du travail (psychodynamique, clinique de l’activité, etc.), ergonomie de l’activité*, modèle sociologique**, etc.

� positivistes : ERC, démarche de type projet, plans d’actions, etc.

Approches spécifiées RPS . *ergonomie de l’activité (Dugué et Petit). **modèle sociologique « Conception et dynamique des organisations de JC Sardas » : modèle diagnostic de la santé psychique DIGA et SPSR de re-conception de l’organisation des activités

12

� Quel type d’évaluation ?

�Evaluation du point de vue de l’intervenant� Qui est portée par des

préventeurs/intervenants internes ou externes à l’entreprise : consultant, IPRP, etc.

� Qui souhaitent mettre en place un dispositif d’évaluation

� = celui qui met en place le dispositif d’évaluation est celui qui intervient

13

� Objectifs du projet

14

Objectif généralProduire et diffuser des repères pour l’évaluation

des interventions de prévention RPS et TMS

Objectifs spécifiques . (terminé) définir le périmètre de l’évaluation pour des actions prévention TMS et RPS

(En cours) . Conceptualiser les typologies d’intervention. Compiler les modèles théoriques et les pratiques d’évaluation existantes . Identifier les attentes, besoins des préventeurs . Elaborer un cadre général pour l’évaluation de ces interventions en métissant

les différents modèles théoriques et en s’appuyant sur les pratiques déjà mises en œuvre

� Démarche mise en place

�De type « expertise collective » �Groupe projet pluridisciplinaire et pluri-

institutionnel (ANACT/INRS) � Un sous-groupe « Modèles et démarches

théoriques » (élaboration d’un ouvrage didactique sur le sujet)

� Un sous-groupe « Outil pour les intervenants / préventeurs » (guide pratique à l’intention des préventeurs/intervenants)

15

16

�Modèle dominant : ERC�Limites : déjà signalées�Intérêt : jugement de significativité et de

causalité�Evolution de la discipline

� Prise en compte des « actions complexes »� Extension du type de mesures : résultats,

processus, dose d’intervention …� Modalités « assouplies » de l’évaluation : essais

observationnels, évaluation « réaliste »

�Epidémiologie évaluative

17

�2 types d’études � Analyses Coûts-Avantages (issues des

sciences économiques), pertinentes mais nécessitent de qualifier et quantifier un lien de causalité

� Analyses par les Coûts cachés (issues des sciences de gestion), moins adaptées à l’évaluation d’une action de prévention

� Evaluation économique

18

�Intervention en ergonomie � Point de vue retenu : ergonomie comme

résolution d’un problème mal défini� Objectif et stratégie se construisent au fil de

l’intervention � Qualité d’une intervention : qualité des

ajustements, écarts = témoins de la qualité

� Évaluation en ergonomie

19

�Evaluation doit tenir compte de la� Théorie sous-jacente� Stratégie d’implantation

�Objets de l’évaluation � Contexte� Diagnostic� Processus y inclus changements d’objectifs� Résultats

� Évaluation en ergonomie

20

�Finalité de l’intervention �Créer les conditions de transformation de l’organisation par les acteurs eux-mêmes�Construire le problème et non le résoudre�… permettre « aux acteurs et au jeu d’acteurs de passer d’une ignorance ou négation d’un problème (TMS ou RPS) vers des formes d’élaboration du problème » Ughetto, fev 2013

�Evaluation en sociologie

21

�Finalité de l’évaluation �dispositif politique relevant d’une construction sociale�comprendre les conditions de l’évaluation : temporelle, sociale (qui commandite ? Élabore ? Réalise ?), matérielle ou technologique (questionnaire, statistiques, etc.), etc. �Interroge le sens, les usages et les critères dans un contexte donné


22

�Trois niveaux de l’évaluation � objectif et finalité � processus de transformation � dispositif d’intervention


�Un modèle intégrateur : l’évaluation réaliste

�Définition � « l’évaluation réaliste ne répond pas à la

question de ce qui marche ou non mais à la question de ce qui marche pour qui ? dans quel contexte ? Sur quels aspects ? Comment ? »

�« L’évaluation réaliste est plus une « logique de pensée » qu’un modèle »

�« L’évaluation réaliste dépasse le cadre des modèles théoriques de l’évaluation »

23Westhorp G. and al., Realist Evaluation: an overview, report froman expert seminar . Centre for Development Innovation, 13 p.

24

Positivisme Réalisme Constructivisme

Ontologie La réalité objective

existe

indépendamment de

nous

La réalité est sociale et

matérielle. Nous

interagissons avec la

réalité

La réalité est

subjective. Nous

« créons » la réalité

Epistémo-

logie

La vérité et la

connaissance ultime

existent

Il n’y a ni vérité ni

connaissance ultime

mais l’amélioration des

connaissances est

possible

Impossible de choisir

entre les

interprétations. La

croyance co-construite

est vraie

Causalité Relation constante,

causalité linéaire.

Les programmes

entrainent toujours

les mêmes résultats

Les mécanismes

agissent différemment

selon les contextes,

générant des types de

résultats liés à ceux-ci

Les interprétations co-

construites conduisent

aux actions et aux

résultats

Implications

pour

l’évaluation

Les évaluateurs

« disent les faits ».

On peut faire

abstraction du

contexte

Les évaluateurs

expliquent comment et

où les programmes

génèrent des résultats.

Les évaluateurs

décrivent les

interprétations des

parties prenantes.

Outils

d’évaluation

ERC, méthodes casi-

expérimentales

Les méthodes sont

mixtes : qualitatives

et/ou quantitatives

Les méthodes sont

qualitatives

Epidémiologie

Economie

Ergonomie

Sociologie

Evaluation

Hybride

� Discussion sur l’évaluation réaliste

�Première tentative de « métisser » les cadres théoriques

�Intérêt � Richesse : sommation des approches� Répond à l’objectif d’un cadre élargi

�Limites � Résistance des tenants des 2 approches

originelles� Lourdeur de la démarche

25

Merci de votre attention

26

� Un modèle intégratif possible : le réalisme

27

evaluer les démarches d’interventions des risques...

Documents