Evaluer dans un système marqué par la ségrégation

Dirk JACOBS

dirk.jacobs@ulb.ac.beTwitter: @DirkJacobs71

30e colloque de l’ADMEE-Europe au LuxembourgAssociation pour le Développement des Méthodologies

d'Évaluation en Éducation en Europe11 Janvier 2018

The research leading to these results has received funding from the European Research Council under the European Union's Seventh Framework Programme (FP/2007-2013) / ERC Grant Agreement 28360

Impossible d’être neutre

Points de consensus sur l’évaluation et l’inspection:

La qualité est importante

L’évaluation de la qualité est importante

L’évaluation doit être objective (et avoir un élément extérieur)

La vision disruptive des sciences sociales sur l’évaluation et l’inspection…

Qualité de l’Education : il y aura par définition un manque de consensus sur la définition et l’opérationnalisation Evaluation sera par définition et inévitablement conflictuelle parce que les enjeux sont importants et il y a des intérêts (souvent structurellement en compétition) en cause Importance de la validité et la fiabilité d’assurer l’objectivité mais… il n’y a jamais neutralité

Standing International Conference of National and Regional Inspectorates of education (SICI), Anvers 2014

Objectivité = validité et fiabilité

Validité : est-ce que nous mesurons ce que nous prétendons mesurer?Fiabilité : en cas d’une réalité « stable », est-ce que différents instruments et stratégies de mesurage pointent vers les mêmes résultats? (cfr. fiabilité intercodeurs, triangulation)

La base pour une approche objective solide se retrouve dans les garanties méthodologiques pour la réalisation d’un maximum de validité et fiabilité

La notion de biais et erreur est assumée et mobilisée dans la pratique scientifique, mais est vu comme problématique dans le cas d’évaluation/inspection

On attend des évaluateurs et inspecteurs de délivrer une même rigueur que les scientifiques (sociales), sans pour autant avoir une marge d’erreur (ce que les scientifiques peuvent plus facilement assumer) Mission impossible ?

Objectivité oui, mais il n’y a jamais neutralitéCe n’est jamais qu’une démarche « technique » sans enjeux, sans contexte socio-politique ni sans rapports de force

Qualité et évaluation de systèmes éducatifs? Résultats moyens pour mathématiques PISA 2015 (critère d’efficacité, performances globales)

Critère de l’équité: Nuage de points entre les résultats en mathématiques et l’index du statut socioéconomique et culturel en Communauté française, en fonction de l’orientation scolaire (général ou qualifiant) PISA 2012

Qualité? Mathématiques PISA 2015: Variance expliquée par l’origine socio-économique (critère de l’équité)

Combinaison de critères:

Croisement entre efficacité (performances moyennes) et équité (variance expliquée) pour mathématiques

PISA 2015

Moins d’équité Plus d’équité

Fortes performances

Faibles performances

Croisement performances et équité pour lecture

(PISA 2015)

Qualité? Mathématiques PISA 2015: Proportion d’élèves (en pourcentage) par niveau de compétence (critère du seuil minimal de performances)

PROFICIENCY LEVEL MATHEMATICS PISA 2012

Qualité? Mathématiques PISA 2015: Ecart interdécile (différence entre les plus forts et les plus faibles)

Croisement entre efficacité (performances moyennes) et dispersion (écart interdécile) pour mathématiques

Différences moins grandes entre élèves

Différences plus grandes entre élèves

Croisement entre équité (variance expliquée) et dispersion (écart interdécile) pour mathématiques

Différences plus grandes entre élèves

Différences moins grandes entre élèves

Plus d’équité

Moins d’équité

Proportion d’élèves par niveau de compétence en lecture selon la catégorie d’immigration

Évolution des scores moyens en mathématiques selon la catégorie migratoire

Equal opportunities for migrant youth in educational systems with high levels of

social and ethnic segregation - assessing the impact of school team resources

Dirk JACOBS, Alejandra ALARCON-HENRIQUEZ, Julien DANHIER, Emilie MARTIN

Université Libre de Bruxelles

Julien DANHIER "Little Matthew has also chosen the Wrong School. Secondary Analyses of Compositional Effect in a

Segregated Educational System“, 20 April 2016

Emilie MARTIN "Teacher Self-Efficacy and Student Achievement: From Measurement Clarifications to

Multilevel Regression Modeling“, 12 June 2017

•In schools with high numbers of at-risk (migrant) students, weaker school team resources (high teacher turnover, lower effectiveness, lower collective teacher efficacy)

•In schools with low number of at-risk (migrant) students, stronger school team resources (low turnover, higher effectiveness, higher collective teacher efficacy)

EQUOP data set

Data collection beginning school year 2014-20152nd year of Secondary education, Francophone schools in Belgium

Sample of 164 secondary schools contacted (=1/3 of total number of schools), 106 participated

12570 pupils620 classes398 mathematics teachers106 schools

Merged on individual level with test scores on national tests CEB (end of primary school) and CE1D (end of 2nd year of secondary education)

Integrated (and usable) dataset:10395 pupils589 classes388 mathematics teachers103 schools

Procedure of opt-out by parents and pupils (570 did so)

Index Socio-Economic Position, calculated in a factor analyses using the variables: highest educational level parents, highest professional status parents, home possesions and number of books at home

Results on standardized national mathematics test at the end of the 2nd year of secondary education(n=10.395)

R=0.406***R²=0.165

poorer parents richer parents

Higher results

Weaker results

Retard scolaire dans l’enseignement secondaire, 4ième année et 5ième année (2013-2014)

Données exhaustives, source: Fédération Wallonie Bruxelles, fichier comptage des élèves, traitement GERME-ULB

Taux de redoublement PISA 2015

Results on standardized national mathematics test at the end of the 2nd year of secondary education,Class mean result(n=608)

Index Socio-Economic Position, class means, calculated in a factor analyses using the variables: highest educational level parents, highest professional status parents, home possesions and number of books at home

poorer parents richer parents

Higher results

Weaker results

Maîtrise des données

“In God we may trust, in facts we believe”La récolte des données n’est pas un but en soi, mais qu’un moyenL’objectif est la consolidation de qualité et l’amélioration de la qualitéTension: “Trust is good, control is better” ou “Control is good, but trust is better” ?

L’inspection et l’évaluation comme un élément dans un processus d’apprentissage

L’inspection et l’évaluation devraient être une expérience d’apprentissageEn même temps, il y a des limites à l’apprentissage et la patience, il faut également du contrôle et la sanction

L’élément clef est la légitimité de l’évaluationA éviter sont la bureaucratisation, window dressing, une lutte de pouvoir

Avouer des faiblesses n’est pas un échec mais un atout potentielEn même temps, la résignation et le fatalisme ne sont pas des options valables

Une vision d’école et une gestion forte de l’école

Quelques éléments repris de Leithwood, Harris & Hopkins (2008):

Dévelopment d’une vision- Construction d’une vision partagée - Augmenter l’acceptation d’objectifs partagés- Montrer des attentes élevées

Comprendre et stimuler le développement des collègues

Restructuration organisationnelle et relations externes- Créer une culture de la coopération- Remédier le fonctionnement interne- Construire des contacts positifs avec parents et quartier

Gestion du program d’apprentisssage- Équipe compétente, affectation dans les bons endroits- Soutien dans les tâches éducatives- Analyse et documentation

Remarque critique (Kelchtermans & Piot, 2010):- Il n’y a pas de formule magique et la direction ne saura jamais tout gérer

D’abord une vision avant de se profiler

- Les écoles fortes sont des écoles avec une vision (peu importe la composition)

- Pas de gestion efficace sans analyse (forces et faiblesses)

- La vision et la gestion de l’école est la responsabilité de la direction mais doit devenir un projet collectif d’équipe

- Casser la mentalité de « roi/reine dans la classe »

- Opter pour le pari d’éducabilité, être attentifs aux effets non-souhaités des attentes implicites

- Une vision donne un rayonnement automatique (mais doit également être valorisée)

Vision et gestion d’école dans un contexte éducatif plus large

- Assertivité dans un contexte de compétition, mais encore mieux solidarité avec toutes les écoles dans le bassin scolaire

- Créer des partenariats au-delà de l’école, les parents sont également des ambassadeurs potentiels de l’école (mais en faisant attention au risque de « colonisation » (Van Zanten) de l’école)

- Des politiques de soins et une approche inclusive ne doivent pas être perçu ni présenté comme un signal de faiblesse, mais comme une preuve de force (mais on doit assurer l’équilibre et garantir que la différentiation bénéficie également aux élèves les plus fortes)

Se profiler en douceur mais dans la continuité

- Observer l’école du point de vue des parents (et acteurs externes)- Consolider ou fixer la réputation (après analyse)- Site internet, stratégie médiatique- Le pari d’éducabilité et la vision de l’école doivent se traduire en mots

et actions: l’équipe pédagogique devrait (vouloir) envoyer leurs propres enfants à l’école où on travaille

Merci pour votre attention

http://equop.ulb.ac.be/

Twitter: @DirkJacobs71

The research leading to these results has received funding from the European Research Council under the European Union's Seventh Framework Programme (FP/2007-2013) / ERC Grant Agreement 28360