séminaire internet et santé: l'évaluation des informations de naitre et grandir par les...

L’évaluation des informations de Naitre et grandir par les parents

Pierre Pluye, Professeur agrégé, Dept. Médecine familiale, Université McGillGeneviève Doray, Directrice Naître et grandir, Fondation Lucie et André Chagnon

Reem El Sherif, Étudiante MSc, Dept. Médecine familiale, Université McGill.

François Lagarde, Fondation Lucie et André Chagnon; Vera Granikov, Paula Bush, Mathieu Bujold, Gillian Bartlett, David Li Tang & Roland Grad, Université McGill

ComSanté, UQAM, jeudi 9 avril 2015

PLAN

CONTEXTE• Naitre et grandir (N&G)• Méthode d’évaluation des informations (MEI)

3 QUESTIONS• Effets des informations N&G?• Validité du questionnaire MEI?• Apprentissage organisationnel?

CONTEXTENaître et grandir

Objectifs et contenuUsagers & notoriété

Objectifs de Naître et grandir

Valoriser, informer, éduquer et outiller les parents• l’ensemble des parents avec enfants de 5 ans et moins• persona principal : parents de milieux défavorisés• famille élargie et toutes les personnes qui ont pour

responsabilité de prendre soin d’un enfant

Sensibiliser l’ensemble de la société à l'importance du développement précoce des enfants afin de créer des conditions et des environnements propices à la réussite éducative.

4

Attributs du contenu

• CRÉDIBLE: Révisé par des spécialistes et mis à jour en continu;• RÉALISTE: Met en valeur des gestes simples et des conseils pratiques sur la

façon d’élever un enfant;• RESPECTUEUX: Encourage les parents à prendre leurs propres décisions;• COMPRÉHENSIF: Reconnaît et valide les différents points de vue des

parents, et reconnaît qu’ils s’efforcent à faire de leur mieux;• POSITIF: Convaincu que les parents peuvent apporter des changements

positifs dans leur vie et dans celle de leurs enfants;• COOPÉRATIF: Garde en tête les lecteurs et tient compte de leurs

commentaires;• AXÉ SUR LE JEU: Privilégie l’apprentissage actif dans tous les domaines du

développement de l’enfant.

6

Portée

SITE WEB1er janv. - 31 déc. 2014

MONDE(millions)

QUÉBEC(millions)

Nombre de pages web vues 33.8 13.3

Nombre de visites au site web 17.3 6.1

Nombre de visiteurs uniques 8.5 2.2

INFOLETTRE: 110 210 parents abonnés (janvier 2015)

Enquête transversale SOM

• Sondage web du 10 au 20 octobre 2014• Internautes québécois francophones• Parents d’enfants âgés 0 à 7 ans• Taux de réponse = 38,8 %• 1009 répondants: – RMR de Montréal (n=394)– RMR de Québec (n=356)– Ailleurs au Québec (n=259)


Naitre et grandir (n=1009)

Connu Consulté


Quelles sont les sources d'information sur le rôle de parent et le développement des enfants que vous consultez le plus?

CONTEXTEMéthode d’évaluation des informations

Évaluation systématique (imbrication)4 niveaux d’effet des informations

Évaluation développementaleValidation de contenu initiale

Développements méthodologiques en évaluation de programmes (combinaison des arguments normatifs, objectifs et subjectifs)

•Experts (jugement de valeur)

+ •Experts (mesure)

+ •Experts et intervenants (participation)

+ •Experts et intervenants (évaluation qualitative)

+ •Experts, intervenants et usagers (méthodes mixtes)

Pluye P (2012). Les méthodes mixtes. Dans V. Ridde & C. Dagenais (Eds.), Approches et pratiques en évaluation de programme (pp. 125-143). Montréal Presses de l’Université de Montréal.

Pluye P & Hong QN (2014). Combining the Power of Stories and the Power of Numbers: Mixed Methods Research and Mixed Studies Reviews. Annual Review of Public Health, 35, 29-45.

Méthode d’évaluation des informations

Imbrication: Évaluation systématique des objets d’informations (pages web et alertes)• Cadre conceptuel ‘Push-pull’

La ‘valeur’ des informations: Évaluation de 4 niveaux d’effet des informations (modèle théorique ‘ACA-LO’)• Pertinence • Impact cognitif • Utilisation• Effets sur le bien-être et la santé

Évaluation développementale des informations par les usagers (application bidirectionnelle des connaissances)

Différentes versions du questionnaire pour les cliniciens, les patients et les consommateurs d’information (IAM4all)• www.mcgill.ca/iam

http://www.mcgill.ca/iam

User: For each potentially relevant information object 4 levels of outcomes of information receiving/seeking (ACA-LO)

Information Assessment Method (IAM)Relevance, cognitive impact, information use, expected benefits

Clinical Information Channel(information delivery)

Subscription Passive acquisitionInformation receiving

Search queryActive acquisition Information seeking

PUSH

PULL database(information retrieval)

Latent period

Directly

Push-Pull stimulation

Pluye et al. 2011 Journal of Evaluation in Clinical Practice

In a social context (e.g., continuing education)

Cognition

Application

Acquisition

The ACA cycle

Human information interaction process depicted by the ACA cycle

Relevance

Cognitive Impact

Use

Expected benefits

is associated to 4 Levels of Outcomes

Outcomes captured in the Information Assessment Method (IAM) questionnaire

ACA-LO Theoretical Model

Pluye et al. 2013 Journal of the American Society for Information Sciences and Technology (JASIST)

Évaluation développementale par les usagers Application des

connaissances unidirectionnelle

Application des connaissances bidirectionnelle

Rôle clé Fournisseur d’information: Expertise ‘contributive’ (par ex., chercheur) et interactive (éditeur)

Utilisateur d’information:Expertise expérientielle

Processus # Fournisseur: Effectue la synthèse des connaissances et diffuse ces informations # Utilisateur: Trouve et/ou reçoit les informations

# Utilisateur: Envoit des commentaires constructifs# Fournisseur: Intègre ces commentaires dans les informations# Utilisateur: Trouve et/ou reçoit les informations

Utilisation des informations

La meilleure information pour les patients (« best available evidence »)

Mieux que la meilleure information?

Pluye et al. 2014 Canadian Family Physician Journal

Évaluation développementale par les usagers (exemple*)

• 51 APhC ‘Highlights’ (e-Therapeutics+)• Courriel hebdomadaire à 17,000 membres du CMFC• 5,346 MFs ont évalué au moins 1 Highlight avec la Méthode

d’évaluation des informations (version clinicien):– 31,429 questionnaires complétés (apprentissage réflexif)– 4,166 (13.3%) commentaires (stimulation)– 682 (2.2%) commentaires ‘potentiellement constructifs’

sélectionnés par McGill et envoyés à APhC.– 126 (0.4%) commentaires constructifs: changement du contenu

informationnel de e-Therapeutics+

*Plus de 10.000 médecins et pharmaciens utilisent la Méthode d’évaluation des informations dans différents programmes de formation continue au Canada (par ex., AMC, APhC, CMFC) et au Brésil (Ministère de la santé).

Méthode d’évaluation des informations par les consommateurs (checklist)- Origine des questions- Développement- Validation initiale• Modèle théorique et versions

antérieures du questionnaire• Revue de littérature (online

consumer health information)• Entrevues avec 16 personnes:

expérience avec les informations sur la santé; pertinence et représentativité des questions

• Panel de 20 experts: 12 spécialistes en information et 8 chercheurs en santé

Pluye et al. 2014 Journal of Medical Internet Research - Protocols (JMIR)

Pertinence7 questions

Impact cognitif8 questions

Utilisation5 questions

Bénéfices attendus7 questions

Évaluation des informations de Naitre et grandir par les parents• Informations du site web et de l’infolettre de

Naitre et grandir (pages web = fiches)

• Objectifs généraux: évaluer et améliorer la valeur des informations de Naitre et grandir du point de vue des parents

• Évaluation développementale par les parents

Évaluation des informations de Naitre et grandir par les parents

3 objectifs spécifiques• Faire participer les parents à une brève activité d'auto-

apprentissage fondée sur une réflexion individuelle qui peut contribuer à accroître leur utilisation des informations de Naitre et grandir (N&G) – Réflexion stimulée par le questionnaire de la Méthode d’évaluation des

informations (MEI)

• Évaluer le contenu informationnel de N&G en utilisant les évaluations quantitatives obtenues avec la MEI

• Améliorer N&G en utilisant les commentaires constructifs des parents obtenus via la MEI

Évaluation des informations de Naitre et grandir par les parentsCycle de gestion des connaissances (itératif)1. Naitre et grandir produit des informations pour les

parents.2. Les informations sont diffusées via le site web et

l’infolettre.3. Les parents sont invités à évaluer les informations

avec la Méthode d’évaluation des informations.4. McGill analyse les évaluations et transmet les

résultats à Naitre et grandir qui peut les utiliser pour améliorer N&G au besoin.

Évaluation des informations de Naitre et grandir par les parents

TROIS QUESTIONS

EFFETS DES INFORMATIONS?VALIDITÉ DU QUESTIONNAIRE?

APPRENTISSAGE ORGANISATIONNEL?

1

Effets des informations de Naitre et grandir?

Effets des informations de Naitre et grandir

1er juin 2014 – 31 janvier 2015 SITE WEB INFOLETTRE

Nombre de réponses 17545 4862

Nombre de participants na 4007

Nombre moyen de réponses par

participant (minimum-maximum)na 1.2 (1-11)

Nombre moyen de réponses par

fiche (minimum-maximum)25.8 (1-502) 9.3 (1-63)

Effets des informations de Naitre et grandir

QUATRE NIVEAUX D’EFFET DES INFORMATIONS

N = Nombre de réponses

SITE WEB

N=17545

INFOLETTRE

N=4862

Niveau 1 : Pertinence situationnelle 89.5% 93.7%

Niveau 2: Impacts cognitifs et affectifs positifs 84.4% 92.9%

Niveau 3: Intention d’utiliser les informations 74.9% 85.7%

Niveau 4: Bénéfices attendus (bien-être/santé) 72.3% 82.4%

Site web et infolettre:Titre de la fiche (top 10)

% ‘information utilisée pour mon enfant’

% ‘bénéfice attendu pour mon enfant’

Nombre de réponses

6 mois: développement social 98.0% 98.0% 51


3 mois: développement affectif 94.4% 90.5% 126


3 mois: motricité fine 93.4% 92.1% 76

7 à 9 mois: développement social 93.3% 86.7% 60

Le rhume et la grippe 92.9% 92.9% 70

Laryngite 92.8% 92.8% 83

Prendre soin de bébé 91.9% 83.8% 99

4 mois: motricité globale 90.7% 89.3% 75

InfolettreANALYSE 1: Statistiques descriptives• Toutes les réponses: N=4862

ANALYSE 2: Test statistiqueN=3175 réponses2437 participants (au moins 1 fiche N&G évaluée, et questionnaire démographique complété): • 2326 (95,4%) sont des femmes• 2187 (89,7%) sont âgés entre 25 et 44 ans• 2296 (94,2%) vivent avec un conjoint• 2101 (86,2%) vivent avec leur enfant• 306 (12,5%) ont un revenu familial annuel inférieur à $40 000• 185 (7,6%): diplôme du secondaire (DES) ou aucun diplôme

Infolettre: participants

<25 25-29 30-34 35-39 40-44 45-49 50-54 55-59 >60

N 35 409 923 643 212 45 42 49 79

50

150

250

350

450

550

650

750

850

950

Age


Aucun diplôme Diplôme du secondaire Diplôme du collégial Diplôme universitaire

QC 4.61280566686591 21.5446932087159 25.5863036973407 48.2561974270787

N&G 1.8 5.7 34.9 57.5

5.0

15.0

25.0

35.0

45.0

55.0

65.0

Niveau Scolarite

%


0 $ - 20 000 $ 20 000 $ - 40 000 $ 40 000 $ - 60 000 $ 60 000 $ - 80 000 $ 80 000 $ - 100 000 $ Plus de 100 000 $

QC 0.1045 0.1877 0.1988 0.1721 0.1415 0.1954

N&G 0.0359624029423784

0.0890886800163465

0.148344912137311 0.20065386187168 0.206375153248876 0.319574989783408

2.5%

7.5%

12.5%

17.5%

22.5%

27.5%

32.5%

Revenu Familial Annuel

Infolettre: effets des informations

• Résultats descriptifs présentés par niveau d’effet (N=4862)

• Inférences fondées sur le test du Chi-carré de Pearson (N=3175)

– 1 population et 2 variables catégorielles

– Y a-t-il une différence significative entre les variables?

– Conclusion: rejet de l’hypothèse nulle (aucune différence)

– Analyse effectuée avec le logiciel SAS

Niveau 1: Pertinence situationnelle (N=4862)

Q1. Pourquoi avez-vous regardé cette information? N (%)Pour me renseigner sur les enfants en général 2797 (57.5)Pour répondre à une question/problème qui touche mon enfant 1912 (39.3)Pour lire l'opinion d'un spécialiste 1437 (29.6)Pour compléter/vérifier les informations reçues d’un professionnel 270 (5.6)Pour répondre à une question/problème qui touche l’enfant de quelqu'un d'autre (par ex., ma nièce ou l’enfant d’une amie) 229 (4.7)

Pour m'aider à décider si je dois consulter un professionnel (médecin, pharmacien, orthophoniste, psychologue ou autre) 152 (3.1)

Pour me préparer avant de parler à un professionnel 96 (2.0)

Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).

Niveau 1 (participants): Pertinence situationnelle (N=3175 )

Q1. Pourquoi avez-vous regardé cette information?

Faible revenu et niveau d’éducation

N (%)

Autres réponses

N (%)

Pour répondre à une question/problème qui touche l’enfant de quelqu'un d'autre **12 (0.4) 135 (4.3)

Nombre total de réponses 100 (3.1) 3075 (96.9)

** p < 0.0001

Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000; et DES ou aucun diplôme) regardent 2.7 fois plus souvent l’information N&G pour quelqu’un d’autre.

Note: Résultat convergent avec Q4 ‘j’utiliserai cette information pour quelqu’un d’autre’.

Niveau 2: Impact cognitif/affectif (N=4862)Q3. Que pensez-vous de cette information? N (%)

Maintenant je sais quelque chose de nouveau 1887 (38.8)

Cette information dit que je fais ou j'ai fait la bonne chose 1774 (36.5)

Maintenant je suis rassuré(e) 1300 (26.7)

Je me suis souvenu(e) de quelque chose que je savais déjà 1264 (26.0)

Maintenant je veux en apprendre plus sur ce sujet 638 (13.1)

Je ne suis pas satisfait(e) de cette information 69 (1.4)

Je pense qu'il y a un problème avec cette information 12 (0.2)

Je pense que cette information peut provoquer des dommages 7 (0.1)

- Q3 posée lorsque les participants ont compris l’information (N=4555; 93,7%)- Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).

Niveau 2 (participants): Impact cognitif/affectif (N=3175)

*Participant avec un revenu annuel familial < $40000, et DES ou aucun diplôme.

Q3. Que pensez-vous de cette information?

*Faible revenu et niveau d’éducation

N (%)

Autres réponsesN (%)


Aucune différence statistiquement significative quelque soit le type d’impact.

Niveau 3: Intention d’utiliser (N=4862)

Q4. Est-ce que vous utiliserez cette information pour vous-même et votre enfant? N (%)

Je savais déjà quoi faire, et j'utiliserai cette information pour être plus sûr(e) de ce que je fais pour mon enfant 2679 (55.1)

Cette information m'aidera à mieux comprendre une question ou un problème qui touche mon enfant 1835 (37.7)

Je ne savais pas quoi faire, et cette information m'aidera à prendre une décision qui touche mon enfant 405 (8.3)

Je faisais ou pensais faire quelque chose pour mon enfant, et j'utiliserai cette information pour le faire autrement 399 (8.2)

J'utiliserai cette information pour discuter avec un professionnel (médecin, pharmacien, orthophoniste, psychologue ou autre)

120 (2.5)

- Q4 posée quand les participants ont l’intention d’utiliser l’information (N=4167; 85,7%)- Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).

Niveau 3 (participants): Utilisation des informations (N=3175)

Q4. Est-ce que vous utiliserez cette information pour vous-même et votre enfant?


N (%)

Autres réponses

N (%)

Non, mais je vais utiliser cette information pour quelqu’un d’autre **17 (0.5) 167 (5.3)


** p < 0.0001

Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000; et DES ou aucun diplôme) ont 3.1 fois plus souvent l’intention d’utiliser l’information N&G pour quelqu’un d’autre.

Note: Résultat convergent avec Q1 ‘J’ai regardé cette information pour répondre à une question/problème qui touche l’enfant de quelqu'un d'autre’.

Niveau 3 (participants): Utilisation des informations (N=3175)

Q4. Est-ce que vous utiliserez cette information pour vous-même et votre enfant?


N (%)

Autres réponses

N (%)

Je savais déjà quoi faire, et j'utiliserai cette information pour être plus sûr(e) de ce que je fais pour mon enfant

*36 (1.1) 1759 (55.4)


* 0.0001 < p < 0.01

Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000, et DES ou aucun diplôme) utilisent 1.6 fois moins souvent l’information N&G pour valider ce qu’ils font.

Niveau 4: Bénéfices attendus (N=4862)Q5. En utilisant cette information, espérez-vous des bénéfices pour votre enfant? N (%)

Cette information m'aidera à améliorer le bien-être/santé de mon enfant 2196 (45.2)

M'aidera à être moins inquiet (inquiète) pour un problème qui touche mon enfant 1308 (26.9)

M'aidera à mieux gérer un problème qui touche mon enfant 1043 (21.5)M'aidera à prévenir un problème qui touche mon enfant (ou en empêcher l’aggravation) 790 (16.2)

Je serai plus impliqué(e) dans les décisions pour mon enfant 776 (16.0)Me rendra plus satisfait(e) des services ou des soins que je reçois 347 (7.1)Me permettra de mieux discuter avec un professionnel 229 (4.7)Autre benefice 324 (6.7)Aucun benefice 163 (3.4)

- Q5 posée quand les participants ont l’intention d’utiliser l’information (N=4167; 85,7%)- Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).

Niveau 4 (participants): Bénéfices attendus (N=3175)

Q5. En utilisant cette information, espérez-vous des bénéfices pour votre enfant?

Faible revenu et niveau

d’éducationN (%)

Autres réponses

N (%)

Cette information m'aidera à améliorer le bien-être ou la santé de mon enfant *27 (0.9) 1504 (47.4)


* 0.0001 < p < 0.01

Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000, et DES ou aucun diplôme) espèrent 1.8 fois moins souvent que l’information N&G les aidera pour améliorer le bien-être ou la santé de leur enfant.

Niveau 4 (suite): Bénéfices attendus (N=3175)Q5. En utilisant cette information, espérez-vous des bénéfices pour votre enfant?


N (%)

Autres réponses

N (%)

Cette information m'aidera à être moins inquiet(e) pour un problème de mon enfant *31 (1.0) 784 (24.7)

Grâce à cette information, je serai plus impliqué(e) dans les décisions pour mon enfant

**25 (0.8) 495 (15.6)


*0.0001 < p < 0.01 ; ** p < 0.0001

Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000; et DES ou aucun diplôme) ont 1.2 fois plus souvent répondu que l’information N&G les aidera à être moins inquiets, et 1.6 fois plus souvent que l’information N&G les aidera à être plus impliqués dans les décisions concernant leur enfant.

2

Validité du questionnaire?

Validation écologique du contenu des questionsMéthodes mixtes (devis convergent*)

Composante quantitative longitudinale (pertinence des questions)• 22 407 questionnaires MEI complétés• Ratio de pertinence

R = N réponses (question) / N réponses (niveau)

Composante descriptive qualitative (représentativité des questions)• 121 (0.5%) commentaires sur le questionnaire (49+ 72-)• 19 entrevues (maximum variation sampling)

– Participants variés (âge, éducation et revenu)• Analyse qualitative de contenu

Résultats: Clarification et simplification du questionnaire

*Pluye & Hong 2014 Annual Review of Public health

3

Apprentissage organisationnel?

Apprentissage organisationnel Routinisation du cycle de gestion des informations

Analyse de contenu: Étapes• Discussion et compréhension partagée de la version V1 des codes• Codage de 50 commentaires avec V1 (PR & PB indépendants) • Discussion du codage des commentaires «difficiles» (PR & PB) : V2• Discussions et modifications (PR & PB) du manuel de codage (ajustements)

au fur et à mesure du codage des 410 premiers commentaires issus de 7019 questionnaires MEI complétés ( juin-septembre 2014): V3 (codes, définitions, exemples).

• 50 derniers commentaires (PR & PB indépendants) : accord 84%• Codage indépendant de 191 commentaires issus de 7605 questionnaires

MEI complétés (novembre 2014 – janvier 2015) par 2 nouveaux codeurs (REL et PP): Accord inter-juge (kappa de Cohen)

Résultat: Manuel de codage fidèle (évaluation développementale)

DISCUSSION ET CONCLUSION

Effets des informations de Naître et grandir

• Évaluation systématique des objets d’information (fiches N&G)• Perception des parents: Effets positifs des informations N&G• Spécifiquement pour les parents à faible niveau de revenu et d’éducation

(hypothèses à confirmer: voir ‘Future évaluation’)o Utilisation des informations N&G pour les enfants des autreso Diminution de l’inquiétude o Amélioration de l’engagement

• Forceso Grand nombre de réponses (sans incitatif)o Test du Chi-carré: Contrôle des limites

Résultats similaires avec les ‘réponses uniques’• Limite

o Volontaires (sur-estimation des statistiques descriptives)

Validation écologique de contenu

Questionnaire MEI validé et simplifié

Contenu validé par les parents qui utilisent N&G• Pertinence des questions• Représentativité pour chaque niveau d’effet

Prochaines étapes• Validation logique en cours (experts McGill et N&G)• Implantation du questionnaire révisé (été 2015)• Validation de construit (2016)– Item Response Theory– Generalisabilité (Messick)

Apprentissage organisationnel

La routinisation du cycle de gestion des informations• Processus permettant l’évaluation développementale des

informations de N&G par les parents

Prochaine étape (après l’implantation du questionnaire validé)• Système de gestion des commentaires*

– Base de données ACCESS partagée de manière sécuritaire via les serveurs de Naitre et grandir

– Sélection hebdomadaire des commentaires (McGill)– Utilisation des commentaires pour améliorer le contenu

informationnel ou aider les parents (Naitre et grandir)*Tang et al. Journal of the American Society for Information Science and technology (JASIST) 2015

Conclusion

Évaluation unique des effets des informations de N&G

Future évaluation: étude de cohorte (soumise aux IRSC)

– Environ 500 parents volontaires

– Méthodes mixtes: mesures et histoires de vie

Merci

Commentaires et questions

séminaire internet et santé: l'évaluation des informations de naitre et grandir par les...

Education