kris magnusson lynne bezanson reginald savard

Évaluation de l’impact de l’information sur le marché du

travail : progrès et défis

Modèle et exemple d’une méthodologie de recherche

Kris MagnussonLynne BezansonReginald Savard

Évaluation de l'impact de l'IMT 2

Un défi posé par les décideurs canadiens :

« Vous n’avez pas justifié l’impact et l’utilité des services de développement de carrière. »

• Une équipe de recherche formée en 2004 pour faire le suivi des recommandations découlant du programme « Établir le contact » :– Groupe de recherche canadien sur l’impact des services de

développement de carrière


Qu’est-ce que le Groupe de recherche canadien?

• Un groupe pan-canadien de chercheurs (8 chercheurs; 6 universités; coordonné par la FCDC)

• Établi suite à des recommandations découlant du Symposium pan-canadien sur le développement de carrière, la formation continue et le développement de la main-d’œuvre .

• Élabore des projets visant à faire avancer la pratique fondée sur les preuves en matière de développement de la carrière

• Parti d’un réseau international sur la pratique fondée sur les preuves


Premier projet : état du sondage sur les pratiques

• Quel est l’impact des services de développement de carrière?

• De quels éléments de preuve disposons-nous à pareil égard?


Un problème de terminologie• Les bailleurs de fonds, dont les

gouvernements, agissent souvent comme si le placement était le seul critère de mesure du développement de carrière

• La plupart des praticiens croient au développement carrière et offrent un tel service

• Exemple : Mesurons l’impact des bibliothèques sur le système scolaire


Défi

• Le but général des services de développement de carrière est d’opérer un changement chez le client

• Il existe une multitude de facteurs susceptibles d’entraîner un tel changement

• Très peu d’entre eux sont directement mesurés


Quels sont les résultats non rapportés ni mesurés?

– Autonomisation du client– Acquisition d’habiletés (p. ex., savoir-être),– Meilleure estime de soi – Changements d’attitude (p. ex., par rapport à l’avenir ou à la nature

du travail) – Gains de connaissances– Autonomie financière– Création de réseaux de soutien– Possibilités accruesEt, de façon marginale : – Avantages pour la collectivité – Satisfaction du client; demandes d’information plus nombreuses – Démarchage politique (organismes)


Qu’avons-nous appris?1. Organismes, praticiens, décideurs et

employeurs conviennent des points suivants :– l’évaluation de l’impact est importante– les méthodes d’évaluation actuelles sont

inappropriées– les résultats importants ne sont ni mesurés ni

rapportés– il existe un besoin de méthodes d’évaluation poussées

2. L’importance de l’évaluation est liée au type d’organisme qui offre les services


Question clé pour l’IMT …

• Quel rôle joue l’IMT dans l’atteinte de résultats « mesurés » et comment influence-t-elle les résultats « non rapportés » et « non mesurés »?

Réponse no 1 du Groupe de recherche canadien :

Créer un cadre de travail pour l’évaluation


Approche générale de la pratique fondée sur les preuves

Apport Processus Résultat

Contexte




Indicateurs de changements chez le client1. Résultats d’apprentissage2. Résultats du point de vue des qualités personnelles3. Résultats du point de vue de l’impact




Indicateurs de changements chez le client1. Résultats d’apprentissage

Connaissances et compétences liées à l’intervention2. Résultats du point de vue des qualités personnelles

Changements d’attitude Variables intrapersonnelles (estime de soi, motivation)

3. Résultats du point de l’impact Impact des points 1 et 2 sur la vie du client, p. ex., position dans la profession, inscription à une

formation, etc. Impact social et relationnel Impact économique




Ressources disponibles1. Employés

• nombre d’employés, niveau et type de formation2. Financement

• Budget3. Lignes directrices concernant le service

• Mandat de l’organisme




Activités liées aux produits ou résultats attendus1. Programmes offerts par l’organisme

• Nombre d’employés • Niveau de formation • Type de formation

2. Interventions utilisées par les prestataires de services• Compétences utilisées par les prestataires de services• Pratique à domicile effectuée par les clients

3. Participation de tiers4. Qualité des indicateurs de service

• Satisfaction des parties concernées



Apport Processus RésultatIntervention

= Processus + Résultat




Impact =

Qualité de l’apport + Efficacité de la mise en œuvre

Réponse no 2 du Groupe de recherche canadien :

Exemple de projet visant la mise en œuvre du cadre de travail :

méthodologie de recherche sur l’impact de l’IMT


Contexte de la participation du Groupe de recherche canadien au projet de l’IMT

• Évaluation des produits et services en matière d’IMT de RHDSC (RHDSC, janvier 2005)

• Impact de l’IMT sur l’analyse documentaire du processus de prise de décision dans le choix de carrière (Université de Sherbrooke, septembre 2005)

• Recommandations précises découlant de l’analyse documentaire

• Rencontre de deux membres du Groupe de travail sur l’IMT du FMMT et du Groupe de recherche canadien (Calgary, février 2006)


Question de recherche générale du Groupe de recherche canadien :

Quels clients utilisent et/ou bénéficient de quelle IMT, et en quelles circonstances?

• Qui effectue des recherches et pourquoi?• Comment l’IMT est-elle transformée en de

l’information pertinente sur le plan personnel?• Comment l’information personnalisée est-elle

utilisée?• Quels sont les impacts (sur l’apprentissage,

l’attitude, le comportement) de l’application de l’information personnalisée?


Axe de recherche :• Connue :

– IMT non assistée (sauf pour l’IMT informatisée) semble n’avoir que peu d’impact sur la prise de décision dans le choix de carrière

– IMT accompagnée d’une intervention d’un conseiller (y compris l’IMT informatisée) semble avoir un impact significatif sur la prise de décision dans le choix de carrière

• Inconnue :– Quelle est la combinaison gagnante d’IMT et

d’intervention de conseillers (sur les plans de la qualité et de la quantité) qui a un impact positif significatif sur la prise de décision dans le choix de carrière et qui offre le meilleur rendement?


Trois concepts fondamentaux de recherche :

1. Cerner les dimensions de l’employabilité• Quel type de cadre de travail peut être utilisé pour

cerner les besoins des clients et en faire le tri? Quelles ressources en matière d’IMT sont disponibles pour répondre à chacun des besoins (apport)?

2. Mettre en œuvre un cadre de travail en matière d’évaluation• Quels résultats spécifiques peuvent être utilisés pour

mesurer le « succès »?3. Processus d’intervention : continuum d’aide

• Quel impact a le niveau d’aide offert aux clients?


Concept no 1 : Dimensions de l’employabilité et

besoins des clients

Besoins des clients en matière d’IMT peuvent être cernés au moyen du cadre du travail, notamment grâce à :– Exploration des carrières et prise de décision– Perfectionnement des compétences– Amélioration de la recherche d’emploi/de travail– Maintien de l’emploi


Aligner l’IMT avec les besoins :• Prise de décision et exploration en matière de carrière :

– www.emploiavenir.ca : Jeu-questionnaire « Te connais-tu vraiment? »– www.cibletudes.ca : Conseiller en orientation professionnelle en ligne– www.Jobset.ca : 10 étapes vers une meilleure prise de décisions– www.ALIS.gov.ab.ca : OCCInfo : Information sur plus de 530 professions– www.careerccc.org : Information sur les professions nécessitant des études

postsecondaires autres que des études universitaires• Perfectionnement des compétences :

– www15.hrdc-drhc.gc.ca : Compétences essentielles : études de cas de plus de 150 professions

– www.cibletudes.ca : Recherche de programmes; recherche d’écoles• Rercherche d’emploi/de travail :

– www.Jobset.ca : Site sur l’emploi – Banque d’emplois et conseils en matière d’emploi– www.Monster.ca : Guides pour les entrevues, préparation d’un cv

• Maintien en poste :– www.Monster.ca : Centre des carrières : gestion de vos articles de carrière– www.CCDF.ca : Modules de Circuit Coach : conseils sur le maintien en poste; ajouter

de la valeur à votre employeur; compétences en matière d’employabilité; comment rester employé.

http://www.emploiavenir.ca/

http://www.cibletudes.ca/

http://www.jobset.ca/

http://www.alis.gov.ab.ca/

http://www.careerccc.org/

http://www.cibletudes.ca/

http://www.monster.ca/

http://www.ccdf.ca/


Concept no 2 : Application de ces dimensions au modèle d’évaluation

• Pour chaque dimension, quels résultats devraient/pourraient être mesurés?


Lier les résultats à chacune des dimensions :Prise de décisions dans le choix de carrière :

– Établir des priorités et des préférences, et utiliser l’expérience pour éclairer les décisions courantes (K)

– Identifier les compétences transférables (K)– Reconnaître et évaluer avec précision les occasions d’emploi (B)– Comprendre les forces personnelles et les compétences, et établir

des liens avec les choix de carrière (K+A)Recherche d’emploi :

– Démontrer ses connaissances et ses compétences dans de nombreuses stratégies de recherche d’emploi (K+B)

– Démontrer ses compétences en ce qui concerne l’identification des possibilités et des occasions d’emploi (K+B)

– Gérer le stress de la recherche d’emploi/de travail (A)


Lier les résultats (suite) : Perfectionnement des compétences :

– Comprendre les exigences et comment accéder à de la formation professionnelle particulière et y être admissible (K)

– Explorer et entreprendre des activités d’apprentissage pour soutenir l’apprentissage et améliorer l’employabilité (K+B)

– Explorer et identifier les compétences et les connaissances transférables d’un emploi à un autre (K+B)

Maintien en poste :– Démontrer des façons de surmonter efficacement le stress (A+B)– Comprendre comment les changements (technologie, demande)

influent sur les exigences en matière de réussite en emploi (K+A)

– Démontrer ses compétences non techniques dans les périodes de transition (quarts de travail, chômage imprévu) (B)


Concept no 3 : Processus d’intervention

• Deux catégories de service :– IMT non assistée et peu assistée; – IMT assistée;

• Les clients « libre-service » ne sont pas inclus dans la méthodologie

• L’IMT n’est pas considérée comme une variable isolée; plutôt, l’élément expérimental est le « traitement » de l’IMT


Variables :• Variables psychosociales et

sociodémographiques (p. ex., niveaux d’éducation, attachement au travail, raisons motivant la recherche d’aide, niveau de prise de décision, optimisme, compétences avec information)

• Besoins en matière d’employabilité (p. ex., des dimensions)

• Variables en matière de critères (p. ex., mesure des résultats)


Concept expérimental général

• Pré-test et post-test répétés (impact de l’utilisation de l’IMT au fil du temps )

• Différences au sein d’un groupe et entre groupes (assisté par rapport à non assisté)

• Mise à l’épreuve des liens entre les variables en matière de démographie/besoins, et les variables en matière de critères

• Grand N (400 à 600)


Collecte de données et intervention : les deux groupes

• Questionnaire : cerner les variables psychosociales et sociodémographiques afin de fournir des indicateurs de complexité cognitive (p. ex., niveaux d’éducation, attachement au travail, raisons motivant la recherche d’aide, niveau de prise de décision, optimisme, compétences avec information)

• Évaluation des besoins en matière d’employabilité pour déterminer les besoins en matière d’IMT

• Affectation aléatoire à des groupes assistés et non assistés

• Livret à rapporter chez soi contenant une liste de ressources et de sites Web sur l’IMT établie selon les besoins cernés

• Orientation pour utiliser les services d’information libre-service• Entrevue semi structurée au téléphone 72 heures

après l’orientation (première collecte de données sur les mesures des résultats)


Collecte de données et intervention : groupe non assisté

• Entrevues semi structurées de suivi (un et trois mois après la première entrevue téléphonique) pour recueillir de l’information sur les changements chez les clients (processus et résultats)

(p. ex., comment les clients utilisent les ressources/sites Web en matière d’IMT; impact de l’IMT; les autres mesures que prennent les clients en plus d’utiliser l’IMT à des fins précises; changements en matière d’apprentissage, d’attitude et de comportement; progrès en fonction de dimensions spécifiques de l’employabilité; progrès en vue de la réalisation d’objectifs de carrière/d’études/d’emploi)


Collecte de données et intervention : groupe assisté

• Dans le mois qui suit l’entrevue initiale, effectuer deux interventions de suivi avec un conseiller – Continuer à travailler en vue de l’atteinte des objectifs, – Utiliser de manière optimale l’IMT en fonction des

dimensions de l’employabilité,– Faire de la résolution de problèmes/fournir un encadrement

concernant des questions liées à l’utilisation optimale des ressources en matière d’IMT

– Entrevues semi structurées de suivi (un et 3 mois après la première entrevue téléphonique) pour recueillir de l’information sur les changements chez les clients (processus et résultats)


Sommaire du concept de recherche

Évaluation des besoins

en IMT

Traitement de l’IMT

Résultats T1 (72 heures)

Résultats T2 (1 mois)

Résultats T2 (3 mois)

Questionnaire Livret sur les besoins en IMT

Entrevue Entrevue Entrevue

Affectation aléatoire

Non assisté

Décision, Compétences, Recherche d’emploi, Maintien en poste

Décision, Compétences, Recherche d’emploi,Maintien en poste


Assisté par un conseillé





Des inférences peuvent être faites au sujet de ce qui suit :

• Impact des variables des clients y compris le niveau de compétences cognitives, et utilisation et pertinente de l’IMT;

• Information sur les raisons qui motivent la recherche de l’IMT;• Information sur comment les adultes utilisent l’IMT;• Information précise sur les façons dont les utilisateurs d’IMT assistée et

non assistée emploient l’IMT;• Impact de deux niveaux d’IMT assistée et non assistée sur les

différentes dimensions de l’employabilité;• Impact de l’IMT sur les résultats en matière d’apprentissage, d’attitude

et de comportement, notamment des indicateurs économiques et sociaux précis à court terme (un et trois mois) (p. ex., temps consacré à la recherche d’un emploi; inscription aux programmes de formation et achèvement de celles-ci; emploi; temps consacré aux avantages sociaux).

Merci!

Kris [email protected]

kris magnusson lynne bezanson reginald savard

Documents