7. méthodes d’évaluation ergonomique des...

57
Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric Brangier Professeur des universités Université Paul Verlaine - Metz [email protected] ergonomique des usages

Upload: others

Post on 07-Sep-2020

4 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Ergonomie – Licence 3

7. Méthodes d’évaluation ergonomique des

1

Éric BrangierProfesseur des universitésUniversité Paul Verlaine - [email protected]

ergonomique des usages

Page 2: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Que faut-il évaluer?

2

• « You know it won't work because you form a conceptual model of the device and mentallysimulate its operation. »D. Norman.

Page 3: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Objectifs du chapitre

• Cerner les objectifs de l’évaluation.

• Présenter des techniques d’enquêtes.

• Expliquer les techniques d’inspection.

3

• Détailler les procédures de test dans un laboratoire d’utilisabilité.

Page 4: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Plan

• 1. Principes généraux de l’évaluation– Généralités

– Objectifs

– Variables

• 2. Les méthodes d’évaluation

4

• 2. Les méthodes d’évaluation– Les enquêtes d’usage

– Les techniques d’inspection

– Les tests

Page 5: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

1. Principes d’évaluation

• Un nouveau produit se présente à vous. – beau, bon marché et remplit les

fonctionnalités que vos attendez. – Mais que représente-t-il à vos yeux? Aux

yeux du concepteur? est-il facile à utiliser ?

• Critères scientifiques :– Identification des objectifs de l’évaluation ;

5

• Critères scientifiques :– Identification des objectifs de l’évaluation ;– Les formes d’évaluation ;– Les modalités de constitution de

l’échantillon ;– La représentativité des situations ;– Et les méthodes d’évaluation choisies.

• Selon les objectifs, les types utilisateurs, les situations d’utilisation et les méthodes d’évaluation, les résultats d’une évaluation varieront et conduiront à des interprétations qui pourront s’avérer insuffisantes voire erronées.

Auguste Herbin, 1882-1960« Femme Nue »

Page 6: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les objectifs de l’évaluation

• Dimensions de l’utilisabilité que l’on souhaite évaluer– « ISO 9241-11 » : un système est utilisable lorsque

l’utilisateur peut accomplir sa tâche (efficacité), avec un minimum de ressources pour le faire (efficience) et que le système est estimé agréable à utiliser (satisfaction).

– la facilité d’apprentissage

6

– la facilité d’apprentissage

– la tolérance du système aux erreurs de l’utilisateur.

• Cycle de développement d’un produit

• Type de besoins que le produit doit satisfaire

• Caractéristiques des utilisateurs ciblés par le produit

• Contexte global d’usage du produit

• Contraintes de coûts ou de temps.

Page 7: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Préciser les dimensions de l’utilisabilité à évaluer (1)

• Efficacité– Examiner si les buts visés par l’utilisateur sont atteints.– Vérifier la capacité du système à satisfaire les intentions.

• Efficience– Mesurer les ressources nécessaires pour atteindre les objectifs. – Quantifier le nombre de fonctions utilisées.– Comptabiliser le nombre de modes opératoires effectués pour accomplir

7

– Comptabiliser le nombre de modes opératoires effectués pour accomplir une tâche donnée.

– Calculer le temps mis par l’utilisateur pour réaliser la tâche.

• Satisfaction– Apprécier si le système est agréable à utiliser.– Mesurer le nombre de fois qu’un utilisateur exprime de la frustration ou

de la satisfaction.– Comptabiliser les remarques positives et/ou commentaires négatifs, à

travers un questionnaire ou par l’intermédiaire d’un entretien. – Observer et comptabiliser les attitudes physiques favorables et/ou

défavorables de l’utilisateur (gestes, mimiques, signes d’énervement ou d’agacement…).

Page 8: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Préciser les dimensions de l’utilisabilité à évaluer (2)

• Facilité d’apprentissage– Mesurer la capacité du produit à être découvert naturellement.

– Mesurer le temps de latence entre la consigne de l’évaluateur et le début d’une utilisation correcte.

– Compréhension correcte et assimilation rapide du mode de fonctionnement.

• Tolérance aux erreurs

8

• Tolérance aux erreurs– Comptabiliser le nombre d’erreurs commises par l’utilisateur et le

nombre de récupérations.

– Quantifier le nombre de bonnes ou de mauvaises applications mentionnées par l’utilisateur.

– Mesurer les temps nécessaires à la correction des erreurs.

– Évaluer le système d’aide (compréhension de la documentation, facilité d’usage de l’aide informatisée…).

Page 9: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Types d’évaluation

• Moments de l’évaluation– Évaluer pour prévoir : l’évaluation prospective.

• anticiper les modes d’usages de produits à partir de l’analyse d’une situation donnée de manière à prévoir de nouveaux usages en concevant de nouveaux objets.

– Évaluer pour valide : l’évaluation consécutive.• confirmer ou infirmer les orientations prises par la conception.

9

• confirmer ou infirmer les orientations prises par la conception.

– Évaluer pour améliorer en continu : l’évaluation itérative.• les processus de conception et d’évaluation sont liés et

mutuellement dépendants

• Évaluation et cycle de vie• lors de la première phase de la conception. • maquettage ou du prototypage. • conception définitive (comparaison avec le cahier des charges) • sur des produits existants à des fins comparatives(concurrence).• du produit et sa maintenance.

Page 10: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Connaître les utilisateurs cibles et les besoins à satisfaire

• Besoins des utilisateurs : – l’accessibilité physique, l’apprentissage, l’audition, la

vision, la cognition, la communication, l’écriture, la lecture, la mobilité, leur profession, leur santé et soins personnels ou encore leurs besoins récréatifs…

• La connaissance des besoins à satisfaire qui

10

• La connaissance des besoins à satisfaire qui orientera l’évaluation. – Quel est le degré d’importance de l’amélioration

apportée à l’utilisateur final ?

– Quel est de degré de satisfaction du besoin par la technologie ?

– Quels nouveaux besoins peuvent apparaître ?

Page 11: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Maîtriser les biais et attitudes de l’évaluateur

• L’évaluateur ne biaise-t-il pas les résultats ? – Neutralité, bienveillance…

• Qui évalue ?– Par soucis de validité et de fidélité, l’évaluation de

l’utilisabilité doit-elle être réalisée par des

11

l’utilisabilité doit-elle être réalisée par des spécialistes désengagés de la conception.

• Que doivent indiquer les évaluations?– Que le produit satisfait l’utilisateur?

• NON!

– Que le produit n’est pas satisfaisant. • flatter le narcissisme des concepteurs ?

• proposer des recommandations qui l’amélioreront.

Page 12: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

2. Les méthodes d’évaluation

• La source du savoir collecté : utilisateurs ou experts ?• La situation d’évaluation : artificielle ou réelle ?

La s

ituati

on d

’évalu

ati

on

Réelle

LES ENQUETES

12

La s

ituati

on d

’évalu

ati

on

Artificielle

ExpertUtilisateurLa source du savoir collecté

LES INSPECTIONS

ENQUETES D’USAGE

LES TESTS

CREATIVES

Page 13: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les grandes catégories de méthodes d’évaluation.

• Analyser la situation réelle avec l’utilisateur : les enquêtes d’usage.– déterminer les objectifs et les tâches d’utilisateur,

interpréter les conduites et élaborer des préconisations

• Examiner l’utilisabilité sans utilisateur : les techniques d’inspection.– examiner, selon des critères éprouvés, l’utilisabilité d’un

13

d’inspection.– examiner, selon des critères éprouvés, l’utilisabilité d’un

produit, mais sans utilisateur. – récapituler les sources d’inutilisabilité et proposer des

solutions correctrices.

• Impliquer l’utilisateur pour améliorer ou valider : les tests d’utilisabilité– effectuer des tâches représentatives avec le produit testé.– rédiger un rapport énumérant les problèmes et énonçant

des recommandations basées sur les résultats des expériences.

Page 14: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les enquêtes d’usage

• Découverte de données sur les usages• Double objectif:

– D’innovation– D’aménagement

• A la différence des autres méthodes

14

• A la différence des autres méthodes d’évaluation, les enquêtes d’usage insistent sur :– Le rôle du contexte dans l’apparition d’un

comportement d’un utilisateur. – L’observation de la réalité telle qu’elle est – L’idée que la technologie n’existe pas en soi, mais se

réfère toujours à un usage.

Page 15: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

L’analyse de la situation d’utilisation

• Prend en compte l’ensemble des variables techniques et sociales liées à l’usage– le contexte de travail des utilisateurs ;– l’environnement de travail influence la manière dont les

personnes utilisent ou pas un produit ;– pratiques de travail des domaines ignorés– informations subjectives sur l’activité des utilisateurs (vécu,

15

– informations subjectives sur l’activité des utilisateurs (vécu, ressenti…).

• Caractéristiques– sur le terrain– recherche monographique– négliger aucun paramètre, – l’analyse recense :

• Caractéristiques des utilisateurs, de la technique, des informations, de l’ambiance physique de travail, des actions effectuées, du contexte social…

Page 16: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Et si les difficultés d’usage provenaient d’un problème de

culture ?

16

Page 17: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Observations anthropologiques des usages

• La culture permet de comprendre les produits et leurs usages.– Utilisé avec efficacité– Adapté à l’environnement– Permettra l’intégration des utilisateurs à une communauté– Permettra une différenciation sociale entre les utilisateurs et

les non-utilisateurs.

17

les non-utilisateurs.

• « Ethnologue » : s’immerger dans une culture se décentrer de sa culture d’origine.– attention portée sur le produit et ses valeurs :

• Compatibles avec la culture du groupe d’utilisateurs cible• Tolérantes vis-à-vis des valeurs du groupe• Capables d’aider pour résoudre les problèmes posés• Conciliables avec les référents symboliques• Assimilables sans être une source d’anxiété• Proches de l’environnement culturel cible et à même de favoriser

l’intégration des utilisateurs-cibles à cet environnement

Page 18: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les groupes de discussion

• « focus group »– 10 utilisateurs (ou de consommateurs)– 1 animateur du groupe– Expression libre sur un produit, un logiciel, un

service…, – 2 heures environ

18

– 2 heures environ– généralement enregistrée

• L’objectif de ce type de méthode – recueillir des données sur la manière dont les

utilisateurs s’échangent des informations et parlent des produits.

– obtenir leur feedback, leurs réactions initiales– examiner leurs préférences.

Page 19: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

L’entretien structuré

• Quelques caractéristiques de l’entretien de recueil des connaissances– Situation de conversation entre deux ou plusieurs

acteurs, où l’un exerce la fonction d’interviewer et l’autre (ou les autres) celle d’interviewé.

19

l’autre (ou les autres) celle d’interviewé.

– Construire une représentation du monde et gérer leurs incompréhensions mutuelles.

– Traces précieuses du fonctionnement mental de l’interviewé.

– Créer une situation de production de discours de laquelle émane des indicateurs de ce que les individus ont dans la tête et qui guide leurs usages des choses.

Page 20: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

La conduite d'entretiens

• Trois types d’entretiens : – l’entretien non-directif, directif, semi-directif.

– Toujours: Non-inductif.

• L’entretien non-directif repose sur un registre d’attitudes de l’interviewer.

20

d’attitudes de l’interviewer.– L'empathie

– L'acceptation inconditionnelle

– L’attitude non-directive .

– But utopique d'annuler les effets de l'interaction.

• L’entretien directif : structuré, consignes, corpus homogène.

Page 21: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les propriétés de l’entretien

• L’entretien non-inductif permet :– l’étude de variables complexes comme le traitement

de l’information symbolique, car il est souple à utiliser ;

– l’analyse des variables de la connaissance qui ne peuvent être saisies qu'à travers l'élaboration d'un

21

– l’analyse des variables de la connaissance qui ne peuvent être saisies qu'à travers l'élaboration d'un discours ;

– à l’utilisateur de s'exprimer dans ses termes avec le type de raisonnement qui est le sien ;

– d’appréhender la partie inconsciente, confidentielle ou clandestine de “l’expertise” en abaissant le seuil de la conscience par l'utilisation d'une relation affective plus ou moins transférentielle.

Page 22: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Objectifs de l’entretien de recueil des connaissances

• Il vise à faire expliciter les concepts et raisonnements de l’opérateur (techniciens, experts, ménagères, etc.).

• Buts :– la constitution d’un glossaire des termes de l’utilisateur ;– la création d’un répertoire de raisonnements ;– la détermination des principes ou processus qui régissent

22

– la détermination des principes ou processus qui régissent l’activité de l’utilisateur ;

– la définition des enchaînements logiques suivis par l’utilisateur ;

– l’élaboration d’une modélisation ;– la validation empirique de la modélisation des

connaissances ;– Analyse des besoins de l’utilisateur en matière d’aide au

travail (palliatif ou coopératif).

Page 23: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Questionnaire

• Objectifs : Expliquer vs comprendre (entretien)• Problèmes

– Manipulation de variables figées a priori. – Remplir à tête reposée, hors du déroulement d’un

entretien. – Rassembler un grand nombre de connaissances.

23

– Rassembler un grand nombre de connaissances.– Faire le point sur les connaissances développées dans

les entretiens. – Niveau du vécu, de l’opinion– La confection d’un questionnaire est toujours délicate.– Échantillon important

• Traitement statistique (Logiciels)• Critiques de « l’école francophone »

Page 24: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Le questionnaire : exemple

• Les utilisateurs devraient répondre sur une échelle de huit points allant de « Non, pas du tout » à « Oui, Beaucoup ».– Personnellement, pensez-vous qu’il soit facile de saisir des

données avec votre ordinateur ?– Une fois des données saisies, les temps de réponses de

l’ordinateur sont-ils satisfaisants ?– Lorsque vous commencez une procédure est-il facile de

l’interrompre ou de l’arrêter ?

24

l’interrompre ou de l’arrêter ?– Les écrans permettent-ils de saisir les données dans n’importe

quel ordre ?– Globalement, estimez-vous que les informations sont bien

disposées sur les écrans ?– Trouvez-vous que certains écrans soient difficiles à lire ?– Avez-vous le sentiment que les informations que vous cherchez

soient perdues au milieu d’informations inutiles ?– Vous arrive-t-il d’avoir besoin, au même moment, d’informations se

trouvant sur plusieurs écrans différents ?– Selon vous, le logiciel vous oblige-t-il à visualiser des écrans qui

ne vous servent pas directement ? …

Page 25: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

L’observation

• Principes : “consiste à observer le phénomène que l’on étudie dans les lieux et l’instant ou il se produit”.

• Annuler les biais liés aux techniques d’évocation.

25

d’évocation.

• Objectifs– Repérer les opérations effectuées

– Relever toutes les activités

– Observer les relations entre l’activité physique et mentale

– Recueil des communications dans les systèmes hommes-machines

Page 26: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Méthode d’observation

• Quelques recommandations :– maîtriser les effets de l’observation ;– échantillonner les sujets et durées d’observation ;– grille d’observation, mise au point d’une terminologie des

faits observés (Logiciels)

• Résultats des observations permettent :

26

• Résultats des observations permettent :– de quantifier les comportements, – de repérer des séquences comportementales,– et de construire un graphe des comportements observés.

• Indicateurs: fréquence, durée, manière de les réaliser, variations, incidents, séquences opératoires, enchaînement des activités mentales, etc.

• Compléter les observations (provoquées, consécutives, tri, etc…)

Page 27: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Le monitoring de l’utilisation

• « Tracer » l’utilisateur par des mouchards électroniques.

• Quantifier les durées d’utilisation– Évaluer les fonctionnalités

utilisées ou non– Recenser les difficultés à

27

– Recenser les difficultés à partir de la connaissance des opérations qui ne sont pas ou mal faites par l’utilisateur

– Mesurer le taux global d’utilisation

– Visualiser les séquences réelles d’action problèmes

• Problèmes– déontologique– interprétatif

0

10

20

30

40

50

60

Appel du

personnel

soignant

Lire/Ecrire Regarder TV Ecouter CD Verbaliser

environnement digital de téléactions pour handicapés

Page 28: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les techniques d’inspection

• Porter un jugement sur ses capacités à être efficace, efficient, tolérant aux erreurs, facile à apprendre et satisfaisant pour ses utilisateurs.

• Évaluateurs experts en facilité d’usage – l’inspection dépend de la qualité et de la quantité d’évaluateurs. – à privilégier pour dégrossir les problèmes d’utilisabilité et préparer

des tests

28

des tests

• Les techniques d’inspection reposent sur une conception classique de l’ergonomie– n’intègre ni l’analyse du travail, ni les dimensions

organisationnelles, sociales ou culturelles du travail.– « machine humaine »

• Techniques relatives– Aux connaissances de l’évaluateur– A des outils pour appréhender l’utilisabilité du produit– A des modèles et théories de la performance humaine.

Page 29: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Illustration des types d’inspection

29

Page 30: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Objectifs du chapitre 6

• Énoncer des principes de la conception centrée sur l’utilisateur.

• Présenter un cadre pour concevoir l’utilisabilité des produit.

• Centrer l’analyse de l’utilisateur autour de la détermination de ses caractéristiques propres et de ses besoins spécifiques.

30

besoins spécifiques.• Expliquer l’analyse de la tâche et de l’activité et

présenter des modélisations des tâches centrées sur la description du système ou sur l’utilisateur.

• Montrer le rôle joué par les métaphores dans la spécification de l’utilisabilité.

• Indiquer divers moyens d’engager la concrétisation du produit : dessin, maquettage et prototypage.

Page 31: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les tests d’utilisabilité

• Mesure expérimentale de l’adéquation d’un dispositif aux utilisateurs cibles– Méthode pour évaluer un dispositif qui permet :

• D’observer directement la manière dont des utilisateurs s’en servent ;• D’identifier les difficultés qu’ils rencontrent ;• De recueillir leurs verbalisations ;• De recenser leurs attitudes à l’égard du produit ;• D’impliquer d’autres partenaires que les utilisateurs.

Méth

odes

31

• De recenser leurs attitudes à l’égard du produit ;• D’impliquer d’autres partenaires que les utilisateurs.

• Déroulement– Fixer et justifier les objectifs du test d’utilisabilité– Préparer le test d’utilisabilité (empiriques et théoriques)– Constituer un échantillon d’utilisateurs

• 5 utilisateurs d’une catégorie donnée suffisent à détecter 80% des problèmes, MAIS parfois 5 utilisateurs ne sont pas suffisants… En prévoir 49 !

• Choisir des utilisateurs représentatifs• Veiller à la représentativité des situations d’utilisation

Page 32: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Architecture de Pergolab

Welcomarea

Technicalarea

Win

dow

s

Corr

idor

Labora

toir

e

32

• 4 pièces séparées par des miroirs sans tain

• Dispositifs d’enregistrement et d’analyse

Observ

ation a

rea

Testing a

rea

Win

dow

s

Page 33: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Zone d’accueil

• Réception

• Explications

• Présentation du laboratoire

Labora

toir

e

33

• Présentation du laboratoire

• Déontologie

• Consentement éclairé

Page 34: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Zone de testLabora

toir

e

34

Page 35: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Zone d’observation et zone technique

• Observation des utilisateurs et des observateurs

Labora

toir

e

35

observateurs

•Local technique (audio-vidéo)

Page 36: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Récolter et analyser des données sur l’humain

• Films • Interviews• Focus group• Questionnaires• Observations

TACHE (but)

Sous-t‰che(sous-but)

PROCEDURE 1 PROCEDURE 2

Contraintes temporelles

ET

OU

conditions(prˇrequis matˇriels)

prˇrequis

(autre t‰che)

EVENEMENTPROCEDURAL

Post-requis

Action Etat Source Agent instrument Etat Rˇsultat

ET ET ET

I.

ET

I.1.

Sous-t‰che(sous-but)

Sous-t‰che(sous-but)

I.2. I.3.

Labora

toir

e

36

• Observations• Monitoring…

Action Etat Source Agent instrument Etat Rˇsultat

Page 37: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Techniques participatives et créatives

• Associer les utilisateurs/consommateurs à la conception même de leurs produits et systèmes.

• Pas considéré comme une simple source d’information, mais comme un acteur à part entière du système.

Cré

ati

vit

é

37

entière du système. – Dessiner ses interfaces, – Participer à la conception,– Tester et les faire évoluer les produits.– Scénario à base de cas.

• « Usability Through Storytelling » – Apporter la communication des

consommateurs/utilisateur dans l’esprit des concepteurs

– Raconter des histoires personnelles– Récits d’usages

Page 38: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Rappels historiques

• Naissance des méthodes participatives– Années 1970 – Pays scandinaves sous le nom de

« Participatory design »• Mouvance « culture militante »

– Défense de la démocratisation des lieux de travail

38

lieux de travail– Pouvoir plus important donné aux

ouvriers dans les processus décisionnels de l’entreprise

• Actuellement– Méthode participative connaît à

l’heure actuelle un regain d’intérêt– Se développe en France à partir de

2000– Utilisée pour le développement des

nouvelles technologies.

Page 39: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Postulats de la conception participative (1/2)

• Idées d’atelier pour – Travailler ensemble pour concevoir

une solution. – Donner aux utilisateurs de la voix

dans le processus de conception– Augmenter la probabilité d'une

conception utilisable

39

conception utilisable– Augmenter l’acceptation de la solution– Permettre à tous les participants de

s’exprimer de façon égale– Donner l'occasion aux développeurs

• de rencontrer « des utilisateurs futurs probables »,

• de travailler et de comprendre leurs utilisateurs.

– Fournir un forum pour l'identification des problèmes

L’atelier de Picasso

Page 40: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Postulats de la conception participative (1/2)

• Intérêts– Améliorer l’usage par la participation

et l’implication des acteurs– Amélioration des conditions de

travail des utilisateurs– Techniques très productives– Techniques faciles à apprendre et à

appliquer

40

appliquer– Maintient la motivation en cours de

projet– Augmentation de la satisfaction

finale– Reconnaissance de

l’utilisateur/consommateur/expert– Facilite le changement

organisationnel

Page 41: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Qu’est-ce que la méthode participative ?

• Elle consiste – A associer de manière

• Directe (ils participent réellement)• Formelle (ils s’engagent effectivement)• Légitime (ils sont reconnus compétents)• Négociée (écoute réciproque et

ajustement)– Des personnes

41

– Des personnes• Utilisateurs directs/indirects• Concepteurs

– Dans la conception et le développement • D’un produit• D’un service.

• La conception participative s’appuie sur une démarche de conception centrée sur l’utilisateur.

Page 42: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Mise en oeuvre de la conception participative

• Décider en amont des– Éléments du projets qui seront participatifs

– Budget et limites budgétaires

– Marges de manœuvre pour l’intervenant et pour les participants.

42

les participants.

• Éviter les réunions stériles– Définir le périmètre de la participation

– Apprécier la capacité des participants à prendre des décisions

– Montrer que la participation débouche sur des décisions qui seront appliquées.

Page 43: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Formes de la participation• La suggestion

– Demander des idées, – Favoriser l’expression des améliorations– Ne pas demander d’évaluer les idées, mais laisser à d’autres personnes le

soin de le faire et de les mettre en œuvre.– La suggestion retenue peut déboucher sur une gratification.

• La consultation– Dans le cadre de méthodes participatives d’amélioration continue– En plus des suggestions, les opérateurs sont consultés sur la mise en œuvre

des améliorations.

43

des améliorations.– L’analyse de l’opportunité et de la faisabilité ne relèvent pas des opérateurs.– Participation aux décisions de mise en oeuvre

• L’instruction– Dialogue avec les opérateurs autour d’un objectif de changement– Consultation des opérateurs sur la base d’une instruction par analyse du

travail qui instruit la situation de changement.• L’implication

– Les opérateurs sont impliqués dans l’analyse de la situation et dans le changement.

– Ils instruisent eux-mêmes, font des propositions et peuvent décider des changements.

– Ils participent à la conception de maquette ou prototype avec un intervenant qui facilite le travail du groupe.

• La validation– Test utilisateur. – Valider des choix possibles (maquette, prototype…)

Page 44: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Participation: effet de mode?• Les ergonomes francophones sont-ils promoteurs?

– Vision de l’expert vs opérateur– Analyse du travail REEL

• Tendance managériale– Modèles organisationnels

• Japon– Recherche du consensus

• Allemagne

• Tendance politique

44

• Tendance politique– Démocratie participative– Think tank

• Tendance géographique– Scandinavie– Asie du sud-est.

• Tendance innovante– Economie de temps et d’échelle dans les développements de

produits et services innovants– Vitesse des innovations qui « induit/impose » la participation– Penser en amont à ce qui sera « omis » par les concepteurs…

Page 45: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les insuffisances de la participation

• La définition précise du but– Les attentes de la participation ne sont pas forcément définies en amont du

projet.• Le but se construit avec la participation qui lui-même construit le but

– Identifier les cas où la participation est utile• Décider de l’utilité et de l’efficacité de la participation en amont du projet.

• Les errances conversationnelles– Les cas d’inutilité des réunions– Le problème de la conduite des réunions– La pertinence des contenus abordés lors des réunions vs les expertises

45

– La pertinence des contenus abordés lors des réunions vs les expertises scientifiques

• L’illusion démocratique– Faire participer pour développer la démocratie au travail– Faire admettre ce que les opérateurs auraient spontanément refusé.– Théorie de l’engagement en psychologie sociale– Manipuler en faisant mieux accepter?– Pas certain que les manipulations passent inaperçues…

• Les erreurs d’appréciation– Le patient peut-il faire le diagnostic? La prescription? Le pronostic?– La parole produite est-elle suffisante à l’analyse?– La négociation du sens au sein du groupe réduit les positions radicales…

• L’induction de l’animateur– Erreur de jugement.– Confusion entre démarche participative et dialogue social.

Page 46: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Définir des règles pour la participation

• BUT de la participation et de la créativité

– La construction sociale du besoin

• MOYENS de la participation– Définir le cadre de l’animation

• Modalités (écoute, reformulation…)

46

– Définir le cadre de l’animation• Modalités (écoute, reformulation…)• Durée• Coûts, budget…

– Définir le travail à réaliser• Représentation des idées (Idéations, fonctionnalités,

utilisabilités…)• Représentations de l’utilisateur (direct, indirect, primaire,

secondaire…)• Représentations du travail futur probable (contenu, condition,

organisation)– Définir le résultat attendu

• Objet (produit, service, technologie…)• Restitution (orale, écrite…)• Plan de mise en œuvre (planning, organisation de la suite…)

Page 47: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Quelles sont les méthodes « participatives + créatives »?

• Idée– « Il ne suffit pas de rassembler

physiquement des acteurs du projet de conception pour intégrer leur travail et les apports spécifiques. Encore faut-il instrumenter leurs relations de manière adéquate ». (Jeantet et al, 1996)

• Nombreuses techniques employées pour la conception participative. – Brainstorming

La s

ituati

on d

’évalu

ati

on

Réelle

ExpertUtilisateurLa source du savoir collecté

LES INSPECTIONS

LES ENQUETES

D’USAGE

CREATIVES

47

pour la conception participative. – Brainstorming– Delphi– Focus group– Design participatif– Atelier de conception participative– Storytelling– Conférences de consensus– Etc

• Classification – selon les caractéristiques

épistémologiques – selon le contexte d’utilisation

La s

ituati

on d

’évalu

ati

on

Artificielle

INSPECTIONS

LES TESTS

Page 48: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les focus group

• Un groupe de discussion, • Petite dizaine d’utilisateurs (ou de

consommateurs), • Animateur du groupe, • S’exprimer librement sur un produit,

un logiciel, un service…, • Séance de deux heures environ.

48

• Séance de deux heures environ. • Recueillir des données sur la

manière dont les utilisateurs – s’échangent des informations– parlent des produits. – réagissent – expriment leurs préférences.

• Le rôle de l’animateur est crucial.

Page 49: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les personas• Un persona est une

représentation fictive d’utilisateur probable – Utilisé pour représenter les

besoins et les caractéristiques des différents groupes d'utilisateurs lors de la conception ou l’évolution d’un

49

conception ou l’évolution d’un site web.

– Créé à partir de données réelles.– Utile pour penser et guider des

décisions concernant la conception de systèmes, produits ou services.

• Outil pour comprendre les utilisateurs et leurs buts. Le recours à des personnes offre plusieurs avantages dans le développement des produits/systèmes/organisations.

Page 50: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Les personas• Un archétype (Jung), une représentation des

utilisateurs, qu'on peut utiliser pour guider des décisions concernant la conception de systèmes.

• L'utilisation de la recherche ethnographique aide à la création d'un certain nombre d’archétype utilisateurs.

• Construction prospective– des utilisateurs futurs probables.

– des approximations utiles remplissant des préoccupations relatives à l'application pratique.

– Donner un visage humain aux utilisateurs ciblés• La critique

50

– Donner un visage humain aux utilisateurs ciblés• La critique

– analyse de la logique sous-jacente• aucune relation claire de véritables données client. et, par

conséquent, il n'existe aucune façon de déterminer combien d'utilisateurs sont représentés par telle ou telle personne

– les préoccupations relatives à l'application pratique, • Anecdotiques• Personas sont fictifs

– et les résultats empiriques • personnes n'ont pas de lien avec les données réelles du client et

ne peuvent donc pas être scientifique.

• Approximation

Page 51: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Grille d’évaluation/rédaction des personas• Quelles représentations des utilisateurs?

– Etat civil: âges, sexe, métiers, connaissances…– Démographie: éducation, nationalités, style de vie…– Psychographie: classe et origine sociales, statuts sociaux, groupes

d’appartenance, image de soi, attitudes, croyances…– Technographie: usage internet, webographie, modes de connexion,

relations psychologiques aux technologies, fréquences d’usage, types de logiciels utilisés…

– Sociographie: relations aux autres, appartenance à des groupes d’action et d’influence, relation de travail ou d’affaire, attitude sociale à l’égard des BN, image de l’Europe…

• Quels buts?

51

sociale à l’égard des BN, image de l’Europe…• Quels buts?

– Usage: tâches à réaliser, activités possibles, attentes d’uitilisation…– Emotion: sources de plaisir, d’ennui, de retrait, d’abandon,

frustrations…– Motivations: recherche de connaissances, niveaux de besoin en

connaissances…• Quels rôles?

– Implication par rapport à l’Europe: niveau de responsabilité, arrière-plan, implication institutionnelle…

– Contraintes et obligations liées au rôle: crédibilité, sécurité, légalité, satisfaction, accessibilité,…

• Vision pour l’expérience utilisateur:– Synthèse du persona– Effets de contraste de persona

Page 52: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Scénario

• = Photo + texte explicatif décrivant les interactions prévisibles des types d'utilisateurs (caractères) et des technologies.

• Scénarios incluent des informations sur des objectifs, des attentes, des motivations, des actions et des réactions.

Le rôle de l’animateur est crucial. Il lance, puis relance la discussion en faisant les reformulations

52

réactions. • Technique quasi-projective, utilisée à

des fins prospectives.• Scénarios ne sont pas des

prédictions, mais des moyens de réfléchir sur un usage, un portrait ou sur la façon dont une technologie est utilisée en contexte.

• Servent à identifier des besoins fonctionnels pour aménager un système

relance la discussion en faisant les reformulations utiles et en recentrant, si nécessaire, le groupe sur sa tâche d’évaluation. L’animateur doit être à

même d’interagir pour faciliter les discussions sur les questions soulevées. La situation est

généralement enregistrée de manière à pouvoir ensuite analyser les propos recueillis et à dégager

les thèmes importants.

Page 53: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

La technique du tri conceptuel

• Idée : la verbalisation des connaissances s’effectue rarement de façon aléatoire

• Protocole (avec des post-it):– verbaliser les concepts– rédiger une fiche d’identification de

chacun des concepts– trier les fiches

53

– trier les fiches– classer en groupe, en sous-groupe,

définir les caractéristiques communes aux items.

• Résultats :– création d’un réseau conceptuel ;– définition de la hiérarchie mnémonique

des concepts.– Cartographie des concepts

• Variante : Posters.

Page 54: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Conférence de consensus• C’est une consultation des

commanditaires afin de préparer la rédaction de recommandations en vue d’aider à la prise de décision sur le projet. – Cette méthode trouve surtout son utilité

pour donner une certaine cohérence à des données dispersées

54

données dispersées– Réaliser un vrai débats entre les

concepteurs, les commanditaires, les restitutions des staffs et les ergonomes

• La conférence implique• Existence de controverses sur le

projet• Nécessité de répondre à une

préoccupation globale• Disponibilité de données scientifiques

Page 55: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Déroulement de la conférence de consensus

• Phases de préparation:– Première synthèse des résultats de

l’analyse des données des staffs

– Choix des thèmes de controverse • Les arguments avantages/inconvénients

sont énoncés et discutés

55

sont énoncés et discutés

– Détermination de critères pour les décisions

– Transmission et discussion des questions aux commanditaires

– Elaboration de décisions pour la conception

Page 56: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

La restitution de l’évaluation

• L’analyse des données recueillies– 1. verbales– 2. d’observations– 3. quantitatives

• La validation des propositions• L’élaboration de recommandations

Resti

tuti

on

56

• L’élaboration de recommandations– Produire des connaissances appropriables par l’ensemble

des acteurs

• La restitution du rapport d’évaluation– L’évaluation n’est pas seulement un constat, ce sont des

résultats et analyses avec lesquels on décide.– L’utilisateur est au centre de la restitution.

• le document écrit, • la présentation orale.

Page 57: 7. Méthodes d’évaluation ergonomique des usageseric.brangier.free.fr/Supports/7.L3_Ergo_Evaluation...Ergonomie – Licence 3 7. Méthodes d’évaluation ergonomique des 1 Éric

Conclusion• Se centrer sur:

– Analyse de l’activité

– Construction des besoins

• Démonstration de l’amélioration– Mesures subjectives

– Mesures objectives– Mesures objectives• Peut-on de l’analyse des activités/usages et de leurs

méthodes faire une démarche prescrite?– Non, la démarche est dépendante:

• D’abord du TRAVAIL• Du problème• Du contexte de l’entreprise• Des acteurs et de leurs jeux organisationnels

– La démarche est une construction adaptée• Clinique, mesure directe des « symptômes », spécifique à l ’entreprise• Compromis (durée, coût, possibilités)

57