validitÉ et validation : de quoi...
TRANSCRIPT
VALIDITÉ ET VALIDATION : DE QUOI PARLE-T-ON ?
KARINE PAQUETTE-CÔTÉ Doctorat en éducation sous la direction de
GILLES RAÎCHE
PASCAL N’DINGA
Séminaire
Collectif pour le développement et les applications en mesure et évaluation
Lundi 29 octobre 2012
Peuples, sachez donc une fois que la nature a voulu vous préserver de la science, comme une mère arrache une arme dangereuse des mains de son enfant; que tous les secrets qu’elle vous cache sont autant de maux dont elle vous garantit, et que la peine que vous trouvez à vous instruire n’est pas le moindre de ses bienfaits.
Jean-Jacques Rousseau (1750) Discours sur les sciences et les arts
Paquette-Côté, K. UQÀM - Cdame 2012-10 2
Plan de la présentation
Validation
Sciences naturelles et sciences sociales Émergence de la psychologie différentielle Mental tests Premiers coefficients de validité
Validité
Épistémologie des sciences
Comment définir la validité ? Y a-t-il plusieurs validités ? Quel est l’aspect le plus important à considérer pour établir la validité de quelque chose ?
Débats et perspectives en 2012
Qu’est-ce que validation et valider signifient ? Quand les utiliser ? Comment valider ?
Vers un
consensus ?
Paquette-Côté, K. UQÀM - Cdame 2012-10 3
Sens commun et définition générale
VALIDITÉ
VALIDATION
« Qualité d'un test comme mesure effective de ce qu'il est censé mesurer, ou comme moyen d'atteindre réellement ce qu'il propose de découvrir » (MUCCH. Psychol. 1969).
Mucchielli-Bourcier, A. et Mucchielli, R. (1969). Lexique de la psychologie. Paris, France : Entreprise moderne d’édition.
« Action de valider; résultat de cette action. »
Valider : « Rendre ou déclarer valide, valable. […] P. ext. Justifier. Empr. au b. lat. validare « fortifier (au fig.), rétablir ».
Empr. au b. lat. validitas « force (du corps), solidité (au fig.) » avec infl. sém. de valider*
Paquette-Côté, K. UQÀM - Cdame 2012-10 4
XVIIe siècle
Épistémologie des sciences
Paquette-Côté, K. UQÀM - Cdame 2012-10 5
La révolution copernicienne, l’énonciation des lois de l’univers physique par Newton, et l’empirisme radical de Bacon font de la science une façon de comprendre la nature, au moyen de la mesure et de l’expérimentation.
Épistémologie des sciences
Malthus(1798) Essay on the Principles of Population La population augmente de façon exponentielle (géométrique) tandis que les ressources alimentaires augmentent de façon arithmétique.
Lamarck (1809) Philosophie Zoologique – Notion d’évolution Au niveau de l’espèce, les membres adultes d’une espèces qui ne sont pas ajustés adéquatement à leur environnement ne survivront pas et ne se reproduiront pas. Ainsi, les caractéristiques d’une espèce devraient changer au même rythme que changent les traits nécessaires à la survie.
1730-1800 Révolution agricole
1776-1783 Révolution américaine 1789-1798 Révolution française
1780-1820 Révolution industrielle en Angleterre
1781 1798 1809
Condorcet (1781) Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix Adapter les méthodes des sciences naturelles à l’étude de l’humain. Statistiques au service de l’administration d’un État (arithmétique politique).
Arithmétique politique : c’est celle dont les opérations ont pour but des recherches utiles à l’art de gouverner les peuples (Diderot) Paquette-Côté, K. UQÀM - Cdame 2012-10 6
Quetelet (1835) Sur l’homme et le développement de ses facultés, ou Essai de physique sociale Ces lois ne sauraient être applicables à des individus. – Elles ne sont vraies que pour le corps social. – Ces lois sont généralement variables. – Nos efforts doivent tendre à reconnaître les causes dont elles dépendent, afin de pouvoir les modifier d’une manière convenable et d’en déduire les prévisions utiles.
XIXe siècle
Auguste Compte (Cours de philosophie positive 1830-1842)
2 façons objectives d’étudier les individus :
1) la phrénologie (relie les processus mentaux à la physiologie) ;
2) Par l’analyse des produits de l’esprit : les comportements sociaux (sociologie qu’il classe au dernier rang de la science, alors que la psychologie demeure un non sens métaphysique puisqu’elle ne peut être observée par les sens).
1835
Épistémologie des sciences
Paquette-Côté, K. UQÀM - Cdame 2012-10 7
Distribution normale des caractéristiques humaines
Désir de la psychologie de s’élever au rang de science.
Épistémologie des sciences
On peut mesurer les phénomènes humains (processus mentaux ou comportements sociaux) par :
- Les indicateurs qui lui sont associés (mesure indirecte)
- Leurs manifestations observables (mesure directe)
Avant la première moitié du XIXe siècle
À partir de la moitié du XIXe siècle
Paquette-Côté, K. UQÀM - Cdame 2012-10 8
Épistémologie des sciences
Hérédité, sélection artificielle et intelligence Galton (1869) Hereditary Genius: An Inquiry into its Laws and Consequences
Intelligence = acuité sensorielle Si l’acuité sensorielle est un don naturel, alors l’intelligence est héréditaire. Si l’intelligence est héréditaire, alors l’éminence ou la haute réputation des familles est un indicateur de hautes habiletés intellectuelles. Vérification : fréquence d’éminence parmi les enfants de parents éminents (juges, hommes d’État, commandants, hommes littéraires, scientifiques, poètes, musiciens, peintres, théologiens) comparé à celui d’enfants de la population générale. Conclusion : les enfants de parents éminents ont plus de chance de devenir eux-mêmes éminents que les enfants de parents non éminents. Il enjoignait le gouvernement à prendre en charge les frais d’éducation de leur progéniture. - Eugénisme : « l’amélioration des organismes vivants par l’eugénisme de reproduction
sélective »
1830-1870 Révolution industrielle en France, Pays-Bas et Belgique
1780-1820 Révolution industrielle en Angleterre
1776-1783 Révolution américaine 1789-1798 Révolution française
XIXe siècle
1869
Darwin (1869, cité dans Pearson, 1914, p.6)
Dans une lettre à Galton
You have made a convert of an opponent in one sense,
for I have always maintained that, excepting fools, men
did not differ much in intellect, only in zeal and
hard work; and I still think this is an eminently
important difference.
Paquette-Côté, K. UQÀM - Cdame 2012-10 9 Letter from Darwin to Galton. Disponible en ligne : http://galton.org/letters/darwin/correspondence.htm Aussi publiée dans Pearson, K. (1914). The life, letters and labours of Francis Galton, Vol. IIIB. Londres : Cambridge University Press.
Épistémologie des sciences
Hérédité, sélection artificielle et intelligence Galton (1874) English Men of Science: Their Nature and Nurture - Première utilisation du questionnaire en psychologie
(Hergenhahn, 2001)
- Administré à 200 collègues scientifiques de la Royal Society de Londres
- Exemples d’items : leur contexte politique et religieux / taille de leur chapeau / raisons de leur intérêt pour les sciences / croyez-vous que votre intérêt pour les sciences soit inné ?
- Remarque par les réponses que : - La plupart des scientifiques considéraient que leur
intérêt pour la science était héréditaire. - Une très grande proportion de scientifiques étaient
Écossais. - Ceux-ci faisaient l’éloge du système d’éducation
écossais, alors que les Anglais critiquaient fortement le système d’éducation Anglais.
- Il conclut que l’intelligence est héréditaire, mais qu’elle est alimentée par l’environnement.
- Il recommande de réformer les écoles anglaises pour les faire ressembler davantage aux écoles écossaises !
Anthropométrie des systèmes éducatifs
Particularisme historique (relativisme culturel) Boas (1893) – Anthropologue allemand-américain Remarks on the theory of Anthropometry [réagit à l’anthropométrie de Galton]
Chaque culture est le fruit d’un processus historique unique et doit être étudié sous cet angle.
Hérédité-Environnement (Nature-Nurture)
Sélection naturelle VS artificielle Candolle (1873) Histoire des savants et des sciences depuis deux siècles
Le climat, la tolérance religieuse, un gouvernement démocratique et une saine économie sont aussi importants dans la production des scientifiques que l’hérédité.
Conceptualisation, mesure et utilisation
Standards universitaires (9 sept. 1876, p. 1055-1056) –The economist Professor Andrews on universities (British Association for the Advancement of Science, Glasgow, 6 sept. 1876)
La multiplication des universités en Angleterre Questionne la valeur et l’équivalence des diplômes Et la place des tests pour l’évaluation des enseignements
Paquette-Côté, K. UQÀM - Cdame 2012-10 10
Conçoit 10 tests mentaux destinés à la population en général 50 tests devant être administrés aux étudiants universitaires.
Tests mentaux inspirés de Galton, mais incluant aussi des mesures inspirées du laboratoire de Wundt.
1890 Mental tests
The Grammar of Science (1892) Les lois de la nature sont relatives aux habiletés perceptives de l’observateur. "Law in the scientific sense is thus essentially a product of the human mind and has no meaning apart from man.“ Corrélation : Coefficient (r) de Pearson
Co-relations and their measurement, chiefly from anthropometric data
1888 Corrélation
Cambridge 2 ans
Source du portrait de Wissler : http://www.britannica.com/EBchecked/topic-art/289766/33782/Clark-Wissler
Épistémologie des sciences
Paquette-Côté, K. UQÀM - Cdame 2012-10 11
1890 Mental tests
A Statistical Study of Eminent Men (1903) « Ordre de mérite » The Organization of Scientific Men (1922) Palmarès des universités
Épistémologie des sciences
Paquette-Côté, K. UQÀM - Cdame 2012-10 12
XIXe-XXe siècle
L’évaluation des différences individuelles Binet et Henri (1895) La psychologie individuelle - Coupure avec ses prédécesseurs Galton
et Cattell : propose une mesure directe des habiletés cognitives plutôt que des mesures indirectes (mesures physiologiques et acuité sensorielle).
- Processus mentaux mesurés (constituant la conceptualisation de l’intelligence) :
mémoire, imagerie, imagination, attention, jugement esthétique, jugement moral, volonté et jugement spatial.
1895
Ne mesure pas le même attribut ! Sharp (1899) - Faibles intercorrérations dans le
test de Binet et Henri (1896) : ne mesure pas le même attribut.
Méthodes statistiques en usage en anthropométrie n’étaient pas appropriées pour une évaluation individuelle.
Épistémologie des sciences
Paquette-Côté, K. UQÀM - Cdame 2012-10 13
Validité
Validité critériée
Un score critérié obtenu en même temps que le score au test. - Utilisée principalement dans le but d’obtenir une mesure moins dispendieuse, plus simple ou moins risquée. Exemple :
Test d'aptitudes mécaniques -> performance actuelle comme machiniste Test de tendances névrotiques -> diagnostic clinique professionnel
Validité concomitante
Exemples tirés de : Bégin, J. Le diable de statmanie : site personnel de Jean Bégin, http://www.er.uqam.ca/nobel/r30574/
Validité prédictive
Kane, M. T. (2006). Validation. Dans R. L. Brennan (Dir.), Educational measurement (4e édition). Westport, Connecticut : Praeger Publishers. p. 18
Le score critérié est la performance future, qui n’est pas disponible au moment de l’administration du test.
Exemples : Test d'aptitudes mécaniques -> performance ultérieure comme machiniste Test d'aptitudes scolaires -> résultats scolaires au collégial
À partir de 1888
Paquette-Côté, K. UQÀM - Cdame 2012-10 14
Validité
« Depuis quelques années, l'expression de validité est devenue d'un emploi courant pour désigner exclusivement cette conformité plus ou moins grande de la prédiction à l'objet de cette prédiction (appelé brièvement le critérium), disons schématiquement de l'aptitude à la capacité. Et, pour mesurer simplement cette qualité, on s'est adressé tout naturellement au coefficient de corrélation (pearsonien) entre les notes du test et les valeurs correspondantes du critérium, en donnant à cet indice le nom de coefficient de validité. Ce coefficent a l'avantage de l'universalité (à condition toutefois d'admettre la linéarité des régressions) et, en tout cas, de la simplicité. »
(Fessard et Piéron, 1930, p.217)
Fessard, A. et Piéron, H. (1930). La notion de validité. L’année psychologique, 31(1), 217-228.
Validité critériée
Doute de la capacité du coefficient à fournir une assurance définitive de validité du test (coefficients différents entre les études).
À partir de 1888
Paquette-Côté, K. UQÀM - Cdame 2012-10 15
Validité
Problèmes : - Si le test est valide s’il est corrélé avec un critère externe, comment s’assurer de la
validité du critère utilisé ?
Validité critériée
Le contrôle de la validité critériée implique de contrôler la validité du critère lui-même.
Comment ?
La validité de critère est pertinente pour s’assurer de la validité d’une mesure secondaire, SEULEMENT SI la validité de la mesure primaire est déjà établie et que cette mesure est
disponible.
Kane, M. T. (2006). Validation. Dans R. L. Brennan (Dir.), Educational measurement (4e édition). Westport, Connecticut : Praeger Publishers. p. 18
À partir de 1888
Paquette-Côté, K. UQÀM - Cdame 2012-10 16
Validité
Validité de contenu
Kane, M. T. (2006). Validation. Dans R. L. Brennan (Dir.), Educational measurement (4e édition). Westport, Connecticut : Praeger Publishers. p. 19
Le critère sera jugé valide si le lien rationnel est établi entre les procédures utilisées pour générer le score critérié et les interprétations ou utilisations des scores proposées.
Comment ? S’assurer que le contenu du test (échantillon d’indicateurs ou d’observations) est
représentatif de l’ensemble des observations constituant le domaine; o À quel point les items font-ils partie de l’univers de généralisation et l’univers
de généralisation au domaine ? o À quel point les items représentent tous les aspects de l’univers ?
Les performances au test sont évaluées de façon appropriée et de façon juste et équitable (fairly);
L’échantillon des observations est suffisamment grand pour contrôler l’erreur d’échantillonnage.
Implique que le construit mesuré soit bien défini ! VALIDITÉ DE CONSTRUIT
Mais avant…
À partir de fin XIXe
Paquette-Côté, K. UQÀM - Cdame 2012-10 17
Validité
Validité critériée, validité de contenu et fidélité
Questionne l’équivalence des critères utilisés par différents auteurs.
Fessard, A. et Piéron, H. (1930). La notion de validité. L’année psychologique, 31(1), 217-228.
« Les efforts poursuivis en vue d’une définition rigoureuse du contenu des épreuves ont détourné l’attention d’une semblable nécessité de détermination en ce qui concerne les groupes humains auxquels s’adressent les tests adoptés. »
(Fessard et Piéron, 1930, p. 219-220)
« D’une race à l’autre, d’un milieu à l’autre, on doit s’attendre à des différences systématiques dans la composition des groupes et dans les tendances centrales. De plus, les dispersions peuvent énormément varier, et ce facteur a une grosse répercussion sur la valeur d’un coefficient de validité [coefficient de corrélation]. »
Commencent les questionnements autour des concepts de validité et de fidélité, ainsi que leur inter-influence.
Paquette-Côté, K. UQÀM - Cdame 2012-10 18
À partir de début XXe
« La validité d'un test — qualité externe, pour employer ce terme de validité dans son sens habituel, c'est-à-dire restreint — est sous la dépendance étroite de certaines qualités internes, d'un certain degré de validité intrinsèque, pourrait-on dire, sans lequel il est vain d'espérer atteindre, sinon par hasard, un bon coefficient de validité. »
Fessard, A. et Piéron, H. (1930). La notion de validité. L’année psychologique, 31(1), 217-228.
(Fessard et Piéron, 1930, p. 220)
La forme des distributions (courbe en cloche supérieure à toute autre); Pouvoir de discrimination aux différents niveaux d’aptitude; Nombre assez grand de questions pour chaque tâche; Gradation continue de leur difficulté; Marge d’erreur assez grande pour permettre aux sujets extrêmes de se
différencier; Homogénéité du groupe.
Validité
Validité et fidélité
Chercher à assurer la qualité interne du test (cohérence et précision de la mesure : fidélité) est NÉCESSAIRE et PRÉALABLE à l’obtention d’une bonne validité externe (critériée). Paquette-Côté, K. UQÀM - Cdame 2012-10 19
Fessard, A. et Piéron, H. (1930). La notion de validité. L’année psychologique, 31(1), 217-228.
(Fessard et Piéron, 1930, p. 220)
Validité
Validité et fidélité
Comment s’assurer de bien définir ce qu’on veut mesurer ?
VALIDITÉ DE CONSTRUIT
Problèmes : - « Avoir créé un instrument relativement précis pour mesurer on ne sait trop quoi ! »
Paquette-Côté, K. UQÀM - Cdame 2012-10 20
“By validity is meant the degree to which a test or examination measures what it purports to measure” (Ruch, 1924, p. 13)
Validité
Dans Newton (2012, p. 2)
Définition classique de la validité
Newton, P. E. (2012). Clarifying the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 1-29.
Paquette-Côté, K. UQÀM - Cdame 2012-10 21
Validité
Validité de construit
Comment s’assurer de bien définir ce qu’on veut mesurer ?
VALIDITÉ DE CONSTRUIT
Définir, spécifier, opérationnaliser le construit d’intérêt. En continu : élaboration d’arguments théoriques et accumulation de données, de
preuves empiriques qui permettent de mieux circonscrire le construit mesuré. Soutenir la force de la construction théorique. Que signifie le construit ? Quels liens l’unissent à d’autres construits ? Spécification du « domaine » théorique du construit
Paquette-Côté, K. UQÀM - Cdame 2012-10 22
Validité
Validité de construit
Comment ? Lien qui unissent à d’autres construits
→ Validité convergente : présence de corrélation avec d’autres construits (appuyé par la théorie, la littérature existante)
→ Validité discriminante : absence de corrélation avec des construit théoriquement indépendants
! ATTENTION ! Il faut contrôler la fidélité des tests utilisés pour s’assurer que l’absence de corrélation entre les mesures des construit ciblés n’est pas due à un manque de fidélité des instruments.
Validité factorielle (analyse factorielle) : Exploratoire : on explore la structure des données pour vérifier si on mesure le même construit Confirmatoire : on confronte les données observées au modèle théorique
Protocoles expérimentaux : la méthode, le traitement est inefficace ou le test ne mesure pas ce qu’il est censé mesurer ?
Bégin, J. Le diable de statmanie : site personnel de Jean Bégin, http://www.er.uqam.ca/nobel/r30574/ Paquette-Côté, K. UQÀM - Cdame 2012-10 23
“The validity of a test is measured by the extent to which it accomplishes the purpose claimed for it.” (Kelley, 1927, p. 30)
Validité
Définition classique de la validité
Kelley, T. L. (1927). Interpretation of educational measurements. Yonkers-on-Hudson, New York : World Book Companny.
Comment s’assurer que le test accomplit le but poursuivi par son utilisation ?
VALIDITÉ DE CONSÉQUENCE ET D’UTILISATION
Paquette-Côté, K. UQÀM - Cdame 2012-10 24
Messick, S. (1998). Test validity: a matter of consequence. Social Indicators Research, 45, 35-44.
Validité
Validité de conséquence et d’utilisation
Est-ce que le test remplit la fonction pour laquelle il a été créé? Quelle utilisation fait-on des résultats ? Quelles conséquences cette utilisation a-t-elle sur • 1) les personnes impliquées, • 2) la définition du construit.
Paquette-Côté, K. UQÀM - Cdame 2012-10 25
Deux questions qu’on a tendance à confondre : 1) Comment définir la validité ? 2) Comment démontrer la validité ?
Validation
Kane, M. (2012). All validity is construct validity. Or is it ? Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 60-70.
“The phrase validation of a test is a source of much misunderstanding. One validates, not a test, but an interpretation of data arising from a specified procedure” (Cronbach, 1971, p. 447).
Cronbach, L. J. (1971). Test validation. Dans R. L. Thorndike (Dir.), Educational Measurement (4e édition). Washington, District of Colombia : American council on education.
Paquette-Côté, K. UQÀM - Cdame 2012-10 26
La validation d'un test a pour but de préciser deux aspects fondamentaux • Ce que le test mesure • Avec quel degré de précision il le mesure
Bégin, J. Le diable de statmanie : site personnel de Jean Bégin, http://www.er.uqam.ca/nobel/r30574/
« Les types de validité, définis dans les ouvrages des années 50 et 60 [validité critériée, validité de contenu, validité de construit] sont aujourd’hui envisagés comme des moyens de validation servant à rassembler des arguments en faveur de telle ou telle inférence » « Seules sont valides les inférences en faveur desquelles suffisamment d’arguments et de données empiriques ont pu être rassemblées »
On ne peut pas affirmer qu’un test est valide en général !
(Laveault et Grégoire, 2002, p. 164).
Validation
Laveault, D. et Grégoire, J. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation (2e édition). Bruxelles, Belgique : De Boeck & Larcier.
Paquette-Côté, K. UQÀM - Cdame 2012-10 27
Validité apparente + Consonance cognitive
Externe Interne
Validité de conséquence et d’utilisation (peut avoir une incidence sur la validité de constuit)
Validité de construit (cohérence théorique) (implique validité prédictive, concomitante ou diagnostique,
factorielle)
Validité de contenu (représentativité) et généralisabilité
Fidélité de l’instrument et validité de la procédure
Figure adaptée de Paquette-Côté, K. (2010). Analyse de l’argumentation de la validité des inférences d’évaluation dans les politiques institutionnelles d’évaluation des apprentissages des établissements d’enseignement collégial québécois. Mémoire de maîtrise inédit. Montréal : Université du Québec à Montréal.
Paquette-Côté, K. UQÀM - Cdame 2012-10 28
1) C’est une mauvaise pratique de parler de validité en tant que propriété d’un test.
2) C’est une bonne pratique de décrire la validité en tant que propriété d’une interprétation.
3) C’est une bonne pratique de décrire la validité en tant qu’un concept unitaire.
4) C’est une bonne pratique de définir la validité de construit en tant que l’essence de toute validité.
Newton, P. E. (2012). Clarifying the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 1-29.
Trad. libre, p. 2
Paquette-Côté, K. UQÀM - Cdame 2012-10 29
Qu’est-ce qui devrait être valide dans le cas de la mesure du poids: la balance, le nombre qui apparaît sur le cadran ou les conclusions qu’on peut tirer à partir de la lecture du nombre sur le cadran?
Jean-guy Blais Université de Montréal, Gilles Leclerc Université de Montréal La validité de l’instrument, du score ou de l’utilisation du score? Le concept de
validité revisité
80e Congrès de l’Acfas (mai 2012). Colloque 524 - Les enjeux socio-éthiques et socio-politiques de l'évaluation et de la mesure
Paquette-Côté, K. UQÀM - Cdame 2012-10 30
1) C’est une mauvaise pratique de parler de validité en tant que propriété d’un test.
Trad. libre, p. 111
Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.
! Dire qu’un test est valide ou ne l’est pas ou demander strictement si un test est valide ou a été validé est vide de sens !
Propriété des items, des tests, des interprétations, des procédures et ainsi de suite.
Pro instrument : les qualités des items et des tests sont fondamentales à l’argumentation de la validité
Pro interprétation : les arguments de validité sont conditionnels
Paquette-Côté, K. UQÀM - Cdame 2012-10 31
Trad. libre, p. 111
Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.
! Ce sont les personnes qui évaluent et mesurent, pas les instruments ! Si le test est considéré comme l’ensemble de la procédure d’évaluation
(incluant l’instrument, la procédure d’administration, les procédures d’attribution des résultats et leur interprétation), aucun argument ne sépare les deux « camps ».
Si le test est considéré comme l’instrument seul, alors il n’est clairement qu’un seul des ingrédients d’une bonne mesure et d’une bonne évaluation, de même que seulement une partie des bases d’argumentation de la validité.
! C’est comme de déclarer la légitimité d’une élection strictement sur la base du bulletin de vote !
2) C’est une bonne pratique de décrire la validité en tant que propriété d’une interprétation.
Paquette-Côté, K. UQÀM - Cdame 2012-10 32
p. 112-114
Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.
! Il n’y a pas plusieurs validités, mais plusieurs aspects d’une même conception globale de la validité !
« Pour déterminer jusqu’à quel point un test est approprié pour l’utilisation qu’on en fait, il faut recueillir les informations au sujet de la dimension de la validité qui est appropriée pour cette utilisation. » (APA, AERA, & NCMUE, 1954, p. 16)
Toutefois, la question de savoir si la validité est un concept « tout ou rien » ou sur un continuum est encore source de débats.
3) C’est une bonne pratique de décrire la validité en tant qu’un concept unitaire.
Paquette-Côté, K. UQÀM - Cdame 2012-10 33
p. 112-114
Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.
! Les construits sont ouverts à la reconstruction ! Le cœur de la théorie de la validité de construit : la distinction entre la
façon dont on pense et on parle du monde VERSUS la façon dont le monde est réellement ! (Newton, 2012a, p. 5)
« Le construit est un moyen d’organiser l’expérience en catégories » (Cronbach, 1971, p. 464).
Il y a une distinction entre les phénomènes évalués et mesurés et la façon dont les professionnels de la mesure et de l’évaluation pensent et parlent de ces phénomènes.
Les scientifiques n’ont pas d’accès privilégié au monde réel. Toute production scientifique est affaire de consensus et de convention.
! Ce qui est aujourd’hui jugé valide ne le sera peut-être plus demain !
4) C’est une bonne pratique de définir la validité de construit en tant que l’essence de toute validité.
Paquette-Côté, K. UQÀM - Cdame 2012-10 34
1) Les gens évaluent en vue de prendre des décisions et, par conséquent, la validité est ultimement une propriété des procédures de prise de décision fondées sur l’évaluation.
2) La validité est une propriété d'une procédure qui décrit son potentiel pour soutenir une bonne mesure et, par conséquent, prendre de bonnes décisions.
3) Validité n'est pas un absolu, une propriété universelle d'une procédure et ne peut être revendiquée que sous certaines conditions et en termes de certaines conclusions.
4) Toute prétention à la validité nécessite une argumentation visant à démontrer que la procédure d'évaluation peut, en effet, être utilisée pour mesurer l'attribut en fonction de l'utilisation prévue des résultats de l’évaluation.
5) Cet argument doit être jugé en termes de force de telle sorte que, si elle est jugée suffisamment puissante, la procédure peut être déclarée valide; donc, la validité est finalement un concept tout-ou-rien.
Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.
Trad. libre, p. 110 Paquette-Côté, K. UQÀM - Cdame 2012-10 35
KARINE PAQUETTE-CÔTÉ Doctorat en éducation sous la direction de
GILLES RAÎCHE
PASCAL N’DINGA
Séminaire
Collectif pour le développement et les applications en mesure et évaluation
Lundi 29 octobre 2012
Internet : Bégin, J. Le diable de statmanie : site personnel de Jean Bégin, http://www.er.uqam.ca/nobel/r30574/
Paquette-Côté, K. UQÀM - Cdame 2012-10 36
Hergenhahn, B. R. (2001). An introduction to the history of psychology (4e édition). Belmont, Californie : Wadswoth/Thomson learning. http://archives.org/ http://galton.org
Histoire de la psychologie
Validité et validation Newton, P. E. (2012). Clarifying the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 1-29. Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.
Quelques références…
KARINE PAQUETTE-CÔTÉ Doctorat en éducation sous la direction de
GILLES RAÎCHE
PASCAL N’DINGA
Séminaire
Collectif pour le développement et les applications en mesure et évaluation
Lundi 29 octobre 2012
Internet Archive : http://archives.org/ http://galton.org
Images du domaine public : http://wikimedia.org Master isolated images / FreeDigitalPhotos.net
Paquette-Côté, K. UQÀM - Cdame 2012-10 37
Validité et validation Lindquist, E. F. (1951). Educational Measurement. Washington, District of Colombia : American council on education. Thorndike, R. L. (1971). Educational Measurement (2e édition). Washington, District of Colombia : American council on education. Linn, R. L. (1989). Educational measurement (3e édition). New-York, New-Jersey : American Council on Education et Macmillan. Brennan , R. L. (2006). Educational measurement (4e édition). Westport, Connecticut : Praeger Publishers.
Quelques références…
[email protected] [email protected]
KARINE PAQUETTE-CÔTÉ Doctorat en éducation sous la direction de
GILLES RAÎCHE
PASCAL N’DINGA
Séminaire
Collectif pour le développement et les applications en mesure et évaluation
Lundi 29 octobre 2012
Paquette-Côté, K. UQÀM - Cdame 2012-10 38
Pour me contacter…