Learning Analytics mit Learning Apps Martin Schön LifeLongLearning Graz University of Technology Mandellstraße 13, A-8010 Graz +433168734931 martin.schoen@tugraz.at

Martin Ebner Social Learning Graz University of Technology Münzgrabenstraße 35A/I, A-8010 Graz +433168738540 martin.ebner@tugraz.at

Apps mit Intelligenz

Adaptive Lehrintelligenz

…

Programme, die situationsangepasst Aufgaben stellen und Lösungen bewerten: als Beispiel: 1x1-Diagnose

Funktionalität- Adaptivität

•  Erstkontakt: Zwei Aufgaben zur Schätzung des Kompetenzniveaus

•  Neukalkulation der Kompetenz + nächsterreichbare Zone –> Auswahlbereich aus 1x1: leicht 1, 2, 4, 3, 5, 8, 6, 7, 9 schwer

•  Aufgaben 2x prüfen, wenn stabil, dann nur noch selten (Leitner-Lernkartei)

Was wird gemessen? (Was man nicht messen kann, kann man nicht verbessern) • Ziel ist, für jede einzelne Multiplikation der 1x1-Tabelle die Kenntnisse von einzelnen Schülern festzustellen • Lehrer sollten durch komprimierte Übersichten die Möglichkeit bekommen, über Quantitäten zu sprechen: “Ich habe 4 Schüler, die …

Ziele •  das System soll Feedback und Ermunterung

bieten •  das System soll universale Zugänge anbieten

(iOS, Android, Browser)

•  das System soll fein aufgegliedert das Verhalten der Schüler aufzeichnen (jede gelöste und nicht gelöste Aufgabe, den aktuell geschätzen Kompetenzgrad) und unter Berücksichtigung all dieser Daten neue Aufgaben generieren

•  Lehrer sollen von stupider Datenver-arbeitung /Informationsverarbeitung entlastet werden

Gründe John Hattie hat 2008 eine Metaanalyse zu mehr als 800 Metaanalysen vorgestellt, die auf 50,000 Studien basieren und insgesamt über 200 Millionen Schüler repräsentieren (Visible Learning). Als Faktoren für entscheidende Veränderungen des Unterrichts verweist er auf Feedback: Feedback wie z.B. „Prima, gut gemacht“ ist nicht hilfreich. Feedback sollte beinhalten, was eine Schülerin/ein Schüler gut gemacht haben und was verbessert werden muss. Influence Effect Size Source of Influence

Feedback 1.13 Teacher Student's prior cognitive ability 1.04 Student Instructional quality 1.00 Teacher Direct instruction .82 Teacher Acceleration .72 Student Remediation/feedback .65 Teacher Student's disposition to learn .61 Student Class environment .56 Teacher Challenge of Goals .52 Teacher Peer tutoring .50 Teacher Mastery learning .50 Teacher Homework .43 Teacher Teacher Style .42 Teacher Questioning .41 Teacher Peer effects .38 Peers Advance organisers .37 Teacher

Hintergründe …

•  Mathematik lernen beginnt schon vor der Schule •  Es gibt kulturelle Unterschiede, die in der Sprache

begründet sind •  Linguistische Kompetenz ist Voraussetzung •  Mathematik ist als erste Fremdsprache zu verstehen •  Viele Kinder haben von den grundsätzlichen

mathematischen Zusammenhängen nur vage Vorstellungen •  Die traditionelle und am meisten verbreitete Methode ist

Üben und Routine

Was wird gespeichert? •  Anfangs wurden die Aufgabenlösungen für alle

Aufgaben mit 0, 1=gelöst, 2= wiederholt gelöst) gespeichert

•  Das wurde erweitert: - Dauer der Bearbeitung, - welches Ergebnis, noch nie präsentiert, … - Detailprotokoll

Prototype

Arbeit am Design

Indiv. Feedback

•  Die Matrix links zeigt die bisherigen Aufgabenlösungen: hell=wiederholg, orange=gelöst). Das Kanínchen hüpft mit richtigen Lösungen Richtung Karotte und holt sich eine.

Vorstudie •  Die ersten Untersuchungen wurden an der Volksschule in Laubegg

Österreich durchgeführt: 42 Schüler zwischen 9 und 10 •  Beginn: Sommer Semester 2011 •  Mindestens 4 Wochen Dauer an den Schulcomputern, einige Schüler

arbeiteten noch Monate danach auf verschiedenen Geräten •  Es wurden 12.926 Antworten gegeben, durchschnittlich beantwortete

ein Schüler 308 Fragen (3.4 mal das gesamte 1x1) •  Bedenkt man, dass es keinen wirklichen Druck vom Lehrer gab, ist das

eine beachtliche Aktivitätsrate •  Jedenfalls war es den Schülern nicht langweilig und sie nahmen die

Anforderung an.

Analysen Es sollen ein paar Analysen gezeigt werden – was kommt denn da so raus? Die Frage ist, was interessiert den Lehrer, was könnte er vielleicht brauchen? In unseren Interviews war kurze kompakte Handlungsanleitung erwünscht!

Classified  as  2  id156

0

2

4

6

8

10

1 11 21 31 41 51 61 71 81 91 101

111

121

131

141

151

161

171

181

191

201

211

Analysen 2

Wir haben keine Ahnung:

Über die Hälfte der Schüler erreichten nicht das 100%-Niveau. Folglich denken wir über mögliche Hemmungen nach. Vielleicht

• kamen sie mit der Schnittstelle nicht klar

• vielleicht kennen sie die grundlegenden Operationen noch nicht

• vielleicht waren sie häufig abgelenkt durch unbekannte Umgebungsfaktoren

• vielleicht waren sie aus verschiedensten Gründen unkonzentriert.

Könnten wir irgendwie weitere Informationen gewinnen, um mehr erklären zu können? Welche Sensoren könnten wir verwenden?

Zwischenfazit •  Wir können mehr Details über den Lernprozess unserer

Lerner beobachten als jemals zuvor: z.B.: Lernen erfolgt nicht so stetig, wie wir es konstruieren

•  Lehrer erhalten kompakte und präzise Information über die Kenntnisse der Klasse und der einzelnen SchülerInnen

•  Diese Anwendungen wurden entwickelt als Diagnose-/Testinstrument. Sie waren vermutlich auch wirksam zum Lernen und zum Üben

•  Es ist so leicht wie nie zuvor, Daten zu sammeln - > KONSEQUENZEN?

Educational Data Mining •  Mit dem Einsatz von Informationstechnik (IT) in den

Erziehungsinstitutionen werden immer mehr Daten gesammelt. Der Nutzen entwickelt sich erst mit der Zeit, es ergeben sich neue Fragestellungen und das Bedürfnis noch mehr und intensiver Daten zu sammeln.

•  Educational Data Mining (EDM) entwickelt Methoden zur Gewinnung und Behandlung solcher Daten und Erklärung relevanter Sachzusammenhänge.

Learning Analytics ist die Interpretation von lernerspezifischen Daten, um den individuellen Lernprozess gezielt zu verbessern. Ebner, Martin – Schön, Martin / Stand 2012

George Siemens* 2012: *Connectivismus (Siemens 2005) ist eine Lerntheorie, die davon ausgeht, dass Wissen nicht nur in dem Kopf eines Individuums existiert.

Erik Duval 2012:

A really tough problem is figuring out what are meaningful learning traces: Maybe time of day or location are relevant. And maybe they are not. Maybe whom the learner is with or what device she is using is relevant. Maybe what the teacher has had for lunch or the background noise level is important. As mobile devices proliferate, and as these devices integrate more sensors, there are more and more characteristics that we can measure. Still, it is not because we can measure them that they are relevant. However, it is often difficult to figure out beforehand what will be relevant, why or how.

aktueller Entwicklungsstand

Aktuelle Entwicklungen

Mathe-Multi(digit)-Trainer

Auch falsche Lösungen führen zu Ergebnissen:

aktueller Stand (1x1):

Danke! Wir bedanken uns bei vielen einzelnen “Lernern” – vor allem auch den beteiligten Lehrern der Volksschule in Laubegg (Steiermark, Österreich). Wir sind auch dankbar für die Unterstützung der “Internet Foundation Austria (IPA)”, die viele Entwicklungen wesentlich angestoßen hat.

Martin Schön TU Graz – Austria mrtnschn@gmail.com Lehreraccounts für Klasenadmin: martin.ebner@tugraz.at