learning analytics : entre promesses et réalité
TRANSCRIPT
![Page 1: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/1.jpg)
LEARNING ANALYTICS ENTRE
PROMESSES & RÉALITÉS
S. Garlatti, A. ItaniR. Affane, L. Crucq
![Page 2: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/2.jpg)
PLAN
IntroductionMOOCs OpenClassroom
IntroductionProcessus d’Analyse
Pré-traitementCatégorisationIndicateurs proposésPhase d’Apprentissage
Application des indicateurs Modèle de Prédiction Testing & Evaluation Optimisation
ExamplesConclusion
![Page 3: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/3.jpg)
INTRODUCTION
![Page 4: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/4.jpg)
LEARNING ANALYTICS: INTRODUCTION
TEL Researchers
![Page 5: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/5.jpg)
LEARNING ANALYTICS: INTRODUCTION
TEL Researchers
![Page 6: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/6.jpg)
LEARNING ANALYTICS: INTRODUCTION
Traces« Format sémantique » de traces
Ducobu se connecte à la plateformeDucobu commence l’activité de résolution de poblèmeDocubu lit les consignes de l’enseignantDucobu étudie l’énoncé du problèmePetit ……
6
Avant de démarrer
![Page 7: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/7.jpg)
LEARNING ANALYTICS: INTRODUCTION
Traces
7
En cours de projet
![Page 8: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/8.jpg)
MOOCS OPENCLASSROOM
INTRODUCTION
![Page 9: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/9.jpg)
INTRODUCTION
Deux catégories d’apprenants
Les Premiums
Les Non Premiums
Objectifs Prédire l’abandon et l’échec des apprenants Trouver les causes des abandons et des échecs
26/12/2016 Prédiction des abandons dans les MOOCs9
![Page 10: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/10.jpg)
Introduction
• Arrêter de suivre le cours • Arrêter d’interagir avec le
cours pendant un certain temps
FailingScore < 70% Successful
Score ≥ 70%Dropping
![Page 11: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/11.jpg)
MOOCS OPENCLASSROOM
PROCESSUS D’ANALYSE
![Page 12: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/12.jpg)
Processus d’Analyse
Pre-processing &
Categorization
PredictionModel Optimization
Indicators’ Derivation & Application
Testing & Evaluation
1
2
3
4
5
Traces
![Page 13: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/13.jpg)
Pré-Traitements
Échange d'informations avec OpenClassrooms pour
• Comprendre les données.• Atteindre la cohérence des données en
structure et en contenu.
Nettoyage avec R
• les user_ids manquants de la table utilisateur qui correspondent aux comptes utilisateur désactivés.
• les événements dupliqués dans le tableau des résultats.
• considérez la note le plus récent de note d'utilisateurs multiples pour le même cours.
• Demander l'inclusion de certains champs manquants de tableau.
Application des règles de catégorisation des utilisateurs avec MySQL Workbench
![Page 14: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/14.jpg)
Dropping Failing Dropping Failing
Successful Un-successful Un-successful Successful
Non-Premium Premium
Learners
Catégorisation
![Page 15: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/15.jpg)
I1 …. In
Indicateurs proposés
Groupes d’apprenants
Premium Drop
Premium Fail
Non Premium
Drop
Non Premium
Fail
I1: Réalisation des parties de cours et des exercices
I2: Score des exercices I3: Temps passé par exercice I4: Fréquence d’accomplissement des parties
et des exercices I5: Fréquence de visualisations du cours I6: Ordre de parcours des parties de cours et
des exercices• Le nombre de retours en arrière• Le parcours qu'emprunte la majorité des
apprenants dans le cours• L’endroit où les apprenants arrêtent
d’interagir avec le cours• Les endroits où les retours en arrière sont
les plus fréquents
……, In
2
Indicateurs Proposés
![Page 16: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/16.jpg)
MOOCS OPENCLASSROOM
PHASE D’APPRENTISSAGE
![Page 17: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/17.jpg)
I 1…
. I n
I1
G1 G2 G3 G4
v1 v2 v3 v4
Calcul par Indicateur
Appliquer chaque indicateur sur les quatre catégories d'apprenants sélectionnées sur X% des données (X : 60%, 70%, etc.)
Les résultats par groupes pour chaque indicateur seront utilisés comme entrée pour le modèle de prédiction à la phase suivante
![Page 18: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/18.jpg)
v1 v2 v3 v4
Modèle de Prédiction
Apply the most appropriate prediction algorithm• Logistic Regression• Gradient Boosting• Decision Tree• Etc…
Prediction Results
L'algorithme de prédiction le plus pratique est appliqué sur les groupes des valeurs de chaque application d'indicateur, afin de marquer les apprenants au risque d’abandon et d’échec.
Outils utilisés
![Page 19: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/19.jpg)
4
5
Testing & Evaluation
Optimization
Historical Traces of Learners
Optimisation du modèle de prédiction
LearnersAt-riskdropper
At-riskfailure
L1 T FL2 F TL3 T T
Testing & Evaluation / Optimization
Traces non utilisées pour l’apprentissage servent au test, à l’évaluation et au « scoring » du modèle de prédiction
![Page 20: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/20.jpg)
MOOCS OPENCLASSROOM
EXAMPLES DE TESTING ET
D’EVALUATIONS
![Page 21: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/21.jpg)
LE SCORE OBTENU SUR CHAQUE EXERCICE RÉALISÉ
21
Distribution du score total
Cours HTML/CSS
![Page 22: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/22.jpg)
ORDRE DE RÉALISATION DES PARTIES ET DES EXERCICES
Parcours d’une personne qui a réussi le cours HTML/CSS
22
![Page 23: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/23.jpg)
ORDRE DE RÉALISATION DES PARTIES ET DES EXERCICES
23
Parcours d’une personne qui a abandonné le cours HTML/CSS
![Page 24: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/24.jpg)
ORDRE DE RÉALISATION DES PARTIES ET DES EXERCICES
24
Parcours des personnes qui n’ont pas abandonné le cours HTML/CSS
![Page 25: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/25.jpg)
ORDRE DE RÉALISATION DES PARTIES ET DES EXERCICES
25
Parcours des personnes qui ont abandonné le cours HTML/CSS
![Page 26: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/26.jpg)
INACTIVITÉ DES APPRENANTS ENTRE DES PARTIES ET DES EXERCICES
26
Apprenants n’ayant pas abandonné
![Page 27: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/27.jpg)
INACTIVITÉ DES APPRENANTS ENTRE DES PARTIES ET DES EXERCICES
27
Apprenants ayant abandonné
![Page 28: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/28.jpg)
RÉSULTATS
28
Cours HTML/CSS
Score : 99.20 %
0: Abandon
1: Pas d’Abandon
![Page 29: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/29.jpg)
RÉSULTATS
29
Cours HTML/CSS:91 19
892 19
997 123
6200 96 20
1
CH1 CH2 CH3 CH4
![Page 30: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/30.jpg)
RÉSULTATS
On va supprimer les indicateurs relatifs aux 2 derniers chapitres de chaque cours, afin de forcer le modèle à se concentrer sur les premiers chapitres du cours.
30
Cours HTML/CSS:
![Page 31: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/31.jpg)
RÉSULTATS
Cours HTML/CSS
Score : 83.33 %
![Page 32: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/32.jpg)
RÉSULTATS
32
Cours HTML/CSS:
![Page 33: Learning Analytics : entre Promesses et Réalité](https://reader037.vdocuments.site/reader037/viewer/2022103105/5887da0b1a28abfb678b549f/html5/thumbnails/33.jpg)
33
Conclusion
Beaucoup de temps à passer pour Les formats de données
La collecte des données en adéquation avec les outils d’analyse
L’interprétation des données et le choix des données pertinentes pour satisfaire aux objectifs définis
Plus généralement, les Pré Traitements
Promesses et Réalités ????????????