De l’évaluation des élèves

à l’évaluation des projets RAR

Journée académique, Poitiers, le 25 janvier 2011

Bruno Suchaut

www.brunosuchaut.fr

La question• Quelles articulations possibles entre évaluation à

l’échelle de l’élève et évaluation du projet du Réseau Ambition Réussite ?

• Question pertinente et très actuelle qui est celle de l’articulation entre évaluation politique et évaluation pédagogique

• Plusieurs niveaux d’évaluation qui renvoient à des intentions, à des finalités différentes

• Multiplication récente des outils d’évaluation à différents niveaux du système

• Besoin d’une clarification et d’une articulation de ces outils

• Question difficile à traiter…

Plan

• Le contexte actuel de l’évaluation dans le système éducatif

• Les caractéristiques de l’évaluation en éducation

• Un exemple d’évaluation micro : analyse des compétences des élèves

• Un exemple d’évaluation méso : l’évaluation des RAR

• Conclusion

Le contexte actuel de l’évaluation dans le système éducatif

Le contexte actuel de l’évaluation dans le système éducatif

• Notion relativement récente qui s’est développée à tous les échelons du système éducatif

• Des outils d’évaluation aux finalités pas toujours bien définies et comprises• Évaluations internationales, évaluations institutionnelles,

évaluations scientifiques, pratiques quotidiennes d’évaluation…

• Des connaissances et compétences limitées des acteurs dans l’utilisation des outils et dans l’interprétation des résultats

• Une certaine méfiance des acteurs de l’école face aux outils d’évaluation et de leur utilisation

Les caractéristiques de l’évaluationen éducation

juger

valider

examiner

mesurer

expertiser

interpréter

estimer apprécier noter

constater

chiffrer

discerner

comparer

évaluer

etc.…

contrôler

Evaluer : un terme polysémique

• Définition générale : observer la réalité pour en déduire sa valeur.

• Quel référentiel de valeur selon quels acteurs ?– administrateur, gestionnaire, formateur, enseignant,

politique, parents, chercheurs…)

• Quel paradigme en matière d’évaluation ? Docimologique, sociologique, économique, pédagogique ?

• Trois intentions distinctes et complémentaires :

– Mesurer : caractère quantitatif et objectif, s’exprime en terme de performance.

– Apprécier : en référence à des critères préalablement définis, mesure des écarts par rapport à des critères

– Interpréter : donner du sens aux résultats observés, l’évaluation est au service de l’action, caractère qualitatif , évaluation formative

L’évaluation : de quoi parle t’on ?

Les niveaux de l’évaluation : du micro au macro

Elève

Enseignant

Etablissement

Circonscription, Académie

Pays

Pratiques des enseignants

Inspections

Projets d’établissements

Contrats d’objectifs

Evaluations internationales,évaluations institutionnelles

PEDAGOGIQUE POLITIQUE

Besoins

Objectifs

Moyens Résultats

Pertinence

Cohérence Efficience

Efficacité

Utilité

ENVIRONNEMENT

PEDAGOGIQUE

POLITIQUE

L’évaluation : une aide à la régulation

La question de la mesure• Quels indicateurs de résultats ?

– Réussite aux diplômes– Parcours scolaires (redoublements, orientation…)– Niveau de compétences et de connaissances– Absentéisme, bien être, etc.…

• Caractéristiques de la mesure– Objective– Absolue– Relative– Comparative (spatiale et temporelle)

• Mesure normée ou critériée– Norme statistique (médiane…)– Critères

Evaluations internationales (PISA…)• Echelle standardisée avec une moyenne fixée à

500 et un écart-type à 100 (les deux-tiers des élèves ont un score compris entre 400 et 600)

• Critères de niveau de compétences précis

Evaluations nationales CE1, CM2Répartition des élèves en quatre groupes selon leur niveau de réussite

Evaluations nationales CE1, CM2

Élèves dont le taux de réussite est compris entre 33% et 50%

Maîtrise encore insuffisante des fondamentaux. Doivent faire l’objet d’une attention particulière.

Élèves dont le taux de réussite est compris entre 50% et 66%

Les savoirs sont à consolider.

Élèves dont le taux de réussite est supérieur à 66%

Bonne performance.

Les limites dans l’interprétation des résultats

• Les faibles effectifs d’élèves

• Les erreurs d’échantillonnage

– Certains écarts constatés (entre élèves, entre écoles, entre zones géographiques, entre périodes d’observation) ne sont pas statistiquement significatifs (intervalles de confiance des moyennes)

Un exemple d’évaluation micro :les compétences des élèves

17

Objectif et questions de départ • Objectif :

Comprendre comment les acquisitions scolaires se structurent au niveau transversal (à un moment donné de la scolarité) et au niveau longitudinal (au cours de l’école élémentaire) .

• Les questions :

– Quelle cartographie des acquisitions des élèves (nature des acquis et liens entre les acquis)

– Quelles compétences expliquent le plus les différences d’acquis entre les élèves ?

– Quelles sont les compétences les plus prédictives de la réussite ultérieure?

– Quels liens entre compétences scolaires, variables socio-démographiques et capacités cognitives des élèves?

18

Schéma de l’évaluation des compétences des élèves

Données départementales

Evaluationnationale CE2

Evaluationnationale

6ème

Evaluationacquis scolaires

5ème

Evaluationcapacités

cognitives 5ème

Caractéristiques sociodémographiques et

scolaires

19

Pertinence d’une analyse des résultats basée sur les items

• Les problèmes de mesure liés aux compétences dans les évaluations nationales– échelle de mesure variable d’une compétence à l’autre

suivant le nombre d’items qui la compose– définition d’un seuil de réussite ?– identification de compétences faisant intervenir des

items issus d’exercices différents ?

• Intérêts de l’analyse des résultats centrée sur les items– échelle de mesure commune (0/1)– seuil de réussite défini : échec ou réussite– meilleur ciblage de la notion de compétence

20

Principaux résultats de l’analyse en variables latentes en CE2

• Redéfinition empirique des compétences des élèves à l’entrée au CE2

• 63 compétences (variables latentes) identifiées au CE2

• 5 d’entre elles correspondent à des compétences des évaluations nationales, 43 correspondant de façon partielle à certaines compétences des épreuves nationales.

• Certaines variables latentes font intervenir des items de champs, voire de disciplines différentes.

21

Capacités attentionnelles, recherche d’informations(compétence n°4)

N° item Description succincte des items Exercice

F2005F2012F2014F2021F2023F2044M2018M2029M2031M2037

Souligner les mots qui commencent par « b » et se terminent par « a »Repérer des types d’écrits à partir d’extraits de livres différentsRépondre à une question sur un texte Reconstituer la chronologie des événements dans des textes Reconstituer la chronologie des événements dans des textes Identifier certains aspects d’un texte (retrouver des indices du féminin)Se repérer dans la journéeUtiliser le calendrierUtiliser le calendrier (inférence pour répondre à la question)Choisir l’unité la mieux adaptée à un mesurage

Ex01FEx03 FEx04FEx05FEx05FEx10FEx09MEx13MEx13MEx16M

22

Calcul mental

Compétences orthographiques

Capacités attentionnelles, recherche d’informations

Les blocs de compétences au centre des apprentissagesà l’entrée au cycle III

4

62

26

1

64

54

2443

60

30

47

48

23

Structure de dépendance des acquisitions en CE2

capacités attentionnelles

calcul mental

orthographe

soustraction

24

Structure des acquisitions au cycle III

Orthographe

Calcul mental

Capacité attentionnelles

Début CE2 Début 6ème

Calcul Numération

Compréhension

Calcul mental

25

Liaisons entre compétences en fin d’école maternelle et résultats à l’entrée au collège

0,00 0,05 0,10 0,15 0,20 0,25

connaissances générales

connaissance de l'écrit

tâches phonologiques

morphologie et syntaxe

épreuve numérique

concepts liés au temps

compréhension orale

écriture

concepts liés à l'espace

prélecture

nombres et figures géométriques

culture technique

Coefficients de régression

26

Origine sociale

Capacités cognitives

Progrès scolaires

Capacités cognitives, acquis scolaire, origine sociale

• Les capacités cognitives, indépendamment du niveau scolaire initial , jouent un rôle positif sur les acquisitions scolaires à l’entrée en 6ème

• Progrès des élèves, capacités cognitives et origine sociale sont liés

Un exemple d’évaluation méso :l’évaluation des RAR

(Académie de Paris)

Objectifs et caractéristiques de l’évaluation

• Porter un regard objectif sur le fonctionnement des RAR• Fournir des pistes de réflexion sur la politique d’Education

prioritaire au niveau local• Evaluation externe

• Les évaluateurs ne sont pas impliqués dans le dispositif• Distance par rapport à l’objet étudié

• Dimension comparative• Non Education prioritaire, RRS, RAR• Perspective temporelle (sur 3 années)

• Dimension quantitative• Mobilisation de données concernant la population accueillie, les moyens et

les résultats obtenus chez les élèves

• Dimension qualitative• Analyse du discours des acteurs impliqués dans les projets RAR sur la base

d’entretiens

Logique et structure de l’évaluation quantitative

Evaluation 6ème

DNB

Caractéristiquesdes élèves

Contexte scolaireEducation prioritaire

Scolarité au collège

FIN 3èmeDEBUT 6ème

Données agrégées par établissement

Orientation

I Le public accueilli dans les établissements• Prise en compte de plusieurs critères classiques

pour caractériser la population d’élèves• Faibles écarts entre établissements RRS et RAR• Un établissement RAR se différencie nettement des

autres

II Le niveau des élèves à l’entrée au collège

• Compte tenu des caractéristiques sociales de la population d’élèves, les résultats à l’entrée en 6ème ne sont pas inférieurs à ceux attendus pour les établissements relevant de l’Education prioritaire

• Compte tenu des caractéristiques sociales de la population d’élèves, les résultats à l’entrée en 6ème ne diffèrent pas entre les établissements RRS et RAR

III Les parcours des élèves

• Une fluidité des parcours nettement moins bonne dans les collèges RAR

• Situation identique dans les 4 collèges RAR

IV La réussite au DNB

• Compte tenu des caractéristiques sociales de la population d’élèves, les résultats au DNB ne sont pas inférieurs à ceux attendus pour les établissements relevant de l’Education prioritaire

• Compte tenu des caractéristiques sociales de la population d’élèves, les résultats au DNB ne diffèrent pas entre les établissements RRS et RAR

• Les caractéristiques du corps enseignant et les taux d’encadrement n’exercent pas d’influence directe sur les résultats au DNB

V L’orientation en fin de 3ème

• Les orientations des élèves en fin de 3ème diffèrent nettement selon le type d’établissement

• A résultats du DNB donnés, on ne relève pas de différences entre les collèges RAR et les autres

VI Le regard des acteurs sur les RAR

• Des retards et des difficultés dans la mise en place des projets qui nuisent à l’efficacité du dispositif

• Un manque de stabilité dans les équipes

• Une coordination du dispositif qui n’est pas optimale à différents niveaux

• Le statut et le rôle des personnels RAR (PR, AP) ne sont pas toujours bien compris et acceptés par les autres acteurs

VI Le regard des acteurs sur les RAR

• Un problème d’image des RAR ?

• Un sentiment d’impuissance face aux caractéristiques de la population d’élèves

• Constat d’une ghettoïsation : absence de mixité sociale et académique

• La liaison entre le premier et le second degré apparaît une condition nécessaire à l’efficacité et elle demande à être améliorée

• Déséquilibre des moyens entre premier et second degré

Conclusions de l’évaluation

• Les données mobilisées pour l’évaluation sont imparfaites (nécessité de se doter d’outils d’évaluation plus complets et fiables au niveau primaire et secondaire mobilisant des données individuelles)

• La distinction entre RRS et RAR ne repose pas totalement sur des critères objectifs relatifs à la population d’élèves

• Selon les caractéristiques de leur public, les résultats des RAR ne sont pas inférieurs à ceux attendus mais les moyens supplémentaires des RAR ne permettent pas de combler les écarts de résultats

Conclusions de l’évaluation

• Des dysfonctionnement sont repérés dans la mise en œuvre des projets

• Une certaine dispersion dans les actions conduites

• Des différences notables existent d’un RAR à l’autre dans la mise en œuvre et le fonctionnement des projets tenant en partie au rôle des pilotes

Pistes d’amélioration

• Un pilotage plus fort pour un ciblage plus précis des actions à mettre en œuvre au sein des RAR ? • Centrage sur des actions précoces visant la maîtrise de la langue

• Des contraintes institutionnelles à lever ?• Carte scolaire• Affectation des enseignants• Incitations plus marquées pour exercer en RAR et plus

généralement en Education prioritaire

• Dimension pédagogique à mobiliser davantage dans les projets• Logique de pratiques versus logique d’actions

Conclusion générale• Comment mieux articuler l’évaluation de

l’élève et l’évaluation des projets RAR ?

– L’évaluation des résultats des élèves au niveau des établissements doit être réalisée par des spécialistes et comporte certaines limites (statistiques, temporelles…)

– Constituer des bases de données longitudinales sur les résultats et les parcours individuels des élèves

– Le projet RAR doit intégrer des indicateurs d’évaluation des élèves spécifiques aux pratiques en cours dans les établissements scolaires (distinguer les niveaux de l’évaluation)

– Les actions mises en place en Education prioritaire doivent cibler en priorité les besoins identifiés chez les élèves en termes de compétences

– Laisser aux enseignants une autonomie dans le choix des outils d’évaluation au niveau de l’établissement

Conclusion générale