2 definitionen kompetenz lernobjekt exkurs diplomarbeit adaptive competence testing in elearning...
TRANSCRIPT
2
Definitionen
Kompetenz
Lernobjekt
Exkurs Diplomarbeit
Adaptive Competence Testing in eLearning
Dösinger, G., & Albert, D. (2002).
Einführung
4 Schritte mit Beispielsverankerungen
Englisch- Kurs
CbKST- Kurs
Kritik und Verbesserungsvorschläge am CbKST- Kurs
Erstellungsmethoden einer Wissensstruktur
Aufgabe der PsychologInnen
Übersicht
3
sprachwissenschaftlich: (idealisierte) Fähigkeit des Sprechers einer Sprache, mit einer begrenzten Anzahl von Elementen und Regeln eine unbegrenzte Zahl von Äußerungen zu bilden und zu verstehen, sowie über die sprachliche Richtigkeit von Äußerungen zu entscheiden. DUDEN 7. Auflage - Fremdwörterbuch
Kompetenz - Definitionen
4
wirtschaftlich: Eine erworbene persönliche Fähigkeit, die Angestellten ein gleichbleibend hohes Leistungsniveau in einem bestimmten Berufsfeld ermöglicht.
http://www.onpulson.de/lexikon/kompetenz.htm
Kompetenz - Definitionen
5
psychologisch: „....die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können.“
Weinert 2001
Kompetenz - Definitionen
6
Taught competencies: Kompetenzen die gelehrt werden
Required competencies: Kompetenzen die erforderlich sind, um LO zu verstehen
Tested competencies: tatsächlich getestete Kompetenzen
Beispiel Bruchrechnen:
a/b : c/d =
a/b : c/d = a/b * d/cHockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)
Kompetenzen
7
Verständnisfrage I
Beispiel Bruchrechnen:
a/b : c/d =
a/b : c/d = a/b * d/c
Required, Tested, Taught –
Competencies??
8
“Learning Objects are defined (…) as any entity, digital or non- digital, which can be used, re- used or referenced during technology supported learning. Examples of technology- supported learning include computer- aided instruction systems, distance learning systems, and collaborative learning environments. Examples of Learning Objects include multimedia content, instructional content, learning objectives, instructional software and software tools, and persons, organizations, or events referenced during technology supported learning”
[LTSC (Learning Technology Standards Committee), 2000]
„any digital resource that can be reused to support learning“ (Wiley, 2001)
Lernobjekte
9
Diplomarbeit von KremserPilotstudie
12- 14jährige SchülerInnen
Englisch als Zweitsprache
Englischtest – ohne Einfluss auf Note
Ziel: Beschreibung des Englisch-Linguistischen Systems anhand der Wissensraumtheorie
Modifizierte Version des Tests von Peltzer- Karpf und Zangl 1998
Exkurs: Englisch als Zweitsprache
10
Lernobjekt: Lückentext
Exkurs – Beispiel: Englisch lernen Singular/Plural
11
a… häufiges Wort x… -s z… unregelmässige Pluralformen
b… seltenes Wort y… -es
Kremser, M.G. (2000)
Exkurs – Beispiel: Englisch lernen Singular/Plural
12
ENGLISCH KURS aus dem Internet
http://www.englisch-hilfen.de/grammer/plural.htm
Beispiel: Englisch Kurs
13
Vorteile
tolles Feedback
sowohl richtige als auch falsche Antwort wird gegeben, inkl. Erklärung die lernende Person weiß, wieviel Zeitaufwand nötig ist
Nachteile
das Programm führt die lernende Person nicht durch den Kurs
nicht adaptiv Bindestrich- und Leerzeichensetzung werden als Fehler gewertet Anhören der Vokabeln ist nicht möglich
Bilder fehlen (die lernende Person muß das Wort nicht schreiben können) Groß / Kleinschreibung egal ( Najavo – Najavos bei Eigennamen) Bei Test- Feedback fehlt die Erklärung Vokabelübersetzungsmöglichkeit fehlt
keine leichten Aufgaben, jedoch könnte dies auch zu Langeweile führen
Vor- und Nachteile
14
CbKST – Kurs im Internet
http://telearn.uni-graz.at:3536
Beispiel: CbKST-Kurs
15
Was ist unsere Aufgabe als PsychologInnen?
Mit ExpertInnen vom jeweiligen Wissensgebiet zusammenarbeiten und unser Wissen über kognitive Strukturen im menschlichen Gehirn Motivationale, Pädagogische, Testtheoretische und viele andere Aspekte
einbringen.
16
Wie können nun die Kompetenzen den LO´szugeordnet werden?
Doesinger und Albert (2002)
„Adaptive Competence Testing in eLearning“
Zuordnung
17
Zuordnung
„Adaptive Competence Testing in eLearning“Individualisierung wichtig bei eLearning
Adaptives Lernen schwierig im Bezug auf eLearning
Flexibles Lernen soll ermöglicht werden
Artikel konzentriert sich auf Diagnose von Vorwissen im Bezug auf Kompetenzen die erforderlich sind beim Problemlösen Bezieht sich auf Korossy mit der Kompetenz- Performanz- Theorie
Diese erlaubt adaptives und effizientes Testen aber auch Organisation des Lernprozesses
Doesinger und Albert (2002)
18
4 Schritte
4 Schritte
Identifikation und Präsentation von Lösungspfaden
Erlangung des Kompetenzraums
Kompetenz und Performanzebene miteinander in Beziehung setzen
Ermitteln der LösungsabhängigkeitenDoesinger und Albert (2002)
19
Identifikation und Präsentation von Lösungspfaden
Menge Q mit den Problemen q
Menge E mit Elementarkompetenzen ε
E repräsentiert Wissensbereich WAnalyse welche Pfade zur Lösung führen, WIE ein Problem gelöst werden kann
Verschiedene Schritte der Lösungspfade mit Elementarkompetenzen beschreiben
Doesinger und Albert (2002)
Step 1 – Theorie I
20
ε 1: Pluralbildung - s
ε 2: Pluralbildung - es
ε 3: - y - ies (inkl. Ausnahmen)
ε 4: - f - ves (inkl. Ausnahmen)
ε 5: unregelmässige Pluralformen
Step 1 – Beispiel Pluralbildung
21
q f(q)
q1 {ε1}
q2 {ε1, ε2}
q3 {ε1, ε2, ε3}
q4 {ε1, ε2, ε4}
q5 {ε1, ε2, ε3, ε5} v {ε1, ε2, ε4, ε5}
L = {{ε1}, {ε1, ε2}, {ε1, ε2, ε3}, {ε1, ε2, ε4}, {{ε1, ε2, ε3, ε5}, {ε1, ε2, ε4, ε5}}}
Step 1 – Beispiel EnglischTabelle 1
22
Erlangung des Kompetenzraums
Bei der Auflösung des Sets „L“ unter Vereinigung erhält man die Kompetenzstruktur K.
Wenn für alle Probleme nur ein Lösungsweg zugeordnet ist, ist die Kompetenzstruktur ein quasi-ordinaler Kompetenzraum der unter Vereinigung und Schnittmenge stabil ist
Doesinger und Albert (2002)
Step 2 – Theorie I
23
Gibt es mehrere alternative Lösungswege, ist die resultierende Wissensstruktur ein Kompetenzraum, der nur unter Vereinigung stabil ist
Die Teilmengen der Elementarkompetenzen die bei der Auflösung unter Vereinigung erhalten werden, nennt man Kompetenzzustände K
Sie sind Elemente der Kompetenzstruktur
Doesinger und Albert (2002)
Step 2 – Theorie II
24
Surmise Relation = Vermutungsrelation
a ≤ b kann man b lösen, kann man auch a lösen
Die Menge aller Wissenszustände entsprechend surmise relations nennt man (quasi-ordinalen) Wissensraum
Ein Wissensraum entsprechend surmise relations enthält die leere Menge (also kein Wissen) und die komplette Menge der Testitems (alle Items wissen) als Wissenszustand
Doesinger und Albert (2002)
Step 2 – Theorie III
25
K = {{}, {ε1}, {ε1, ε2}, {ε1, ε2, ε3}, {ε1, ε2,
ε4}, {ε1, ε2, ε3, ε5}, {ε1, ε2, ε4, ε5},
{ε1, ε2, ε3, ε4}, {ε1, ε2, ε3, ε4, ε5}}
Step 2 – Beispiel Englisch
26
Kompetenz und Performanzebene miteinander in Beziehung setzen
Interpretationsfunktion wird angewandtBildet jedes Item der Teilmenge von Kompetenzen die zum Lösen des Items erforderlich sind ab
Ein korrekte Lösung eines Items wird so interpretiert, dass der Kompetenzzustand einer Person, zumindest alle diese Kompetenzen bis zu diesem Item beinhaltet
Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)
Step 3 – Theorie I
27
Repräsentationsfunktion:Beinhaltet zu jeder Teilmenge von Kompetenzen die Teilmenge von Items, die von einer Person lösbar sind, die diese und nur diese Kompetenzen hat
Diese Funktion zeigt, wie die nicht- beobachtbaren Kompetenzen durch das Item-Lösungsverhalten sichtbar gemacht werden
Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)
Step 3 – Theorie II
28
Die Teilmenge von Problemen, die durch die Repräsentationsfunktion zum Kompetenzzustand zugeordnet wird, nennt sich Performanz- Zustand
Der Performanzzustand ist ein Element der Performanzstruktur
Doesinger und Albert (2002)
Step 3 – Theorie III
29
q {}
{ε1
}{ε1,
ε2}{ε1, ε2,
ε3}{ε1, ε2,
ε4}{ε1, ε2, ε3,
ε5}{ε1, ε2 ε4,
ε5}{ε1, ε2, ε3,
ε4}{ε1, ε2, ε3,
ε4, ε5}
q1 ♦ • • • • • • •q2 ♦ • • • • • •q3 ♦ • • •q4 ♦ • • •q5 ♦ ♦ •
{}
{q1
}
{q1,
q2}{q1,
q2,
q3}
{q1,
q2,
q4}
{q1, q2,
q3, q5}{q1, q2,
q4, q5}{q1, q2,
q3, q4}{q1, q2,
q3, q4,
q5}
Tabelle 2
Step 3 – Beispiel Englisch
30
Ermittlung der Lösungsabhängigkeiten
In diesem Performanzraum kann man die Abhängigkeiten zwischen den Problemen, und daher die Ordnung auf der Problemmenge, erkennen.
Jeder Performanzzustand wird jenem Problem zugeordnet, welches genau diesem Performanzzustand entspricht.
Daraus wird jener Performanzzustand, der die minimalste Anforderung erfordert, extrahiert.
Doesinger und Albert (2002)
Step 4 – Theorie I
31
q p(K)q
q1{q1}, {q1, q2}, {q1, q2, q3}, {q1, q2, q3, q4},…
q2{q1, q2}, {q1, q2, q3}, {q1, q2, q4}, {q1, q2, q3, q5}, {q1, q2, q4, q5}, {q1, q2, q3, q4}, {q1, q2, q3, q4, q5}
q3{q1, q2, q3}, {q1, q2, q3, q5}, {q1, q2, q3, q4}, {q1, q2,
q3, q4, q5}
q4{q1, q2, q4}, {q1, q2, q4, q5}, {q1, q2, q3, q4}, {q1, q2,
q3, q4, q5}
q5{q1, q2, q3, q5}, {q1, q2, q4, q5}, {q1, q2, q3, q4, q5}
Tabelle 3
Step 4 – Beispiel Englisch
32
Verständnisfrage II
Wie schaut das dazupassende Hasse-Diagramm für die Surmise Relation der
Elementarkompetenzen aus??
33
ε1… Pluralbildung -s
ε2… Pluralbildung -es
ε3… y -ies
ε4… f -ves
ε5… unregelmässige Pluralformen
ε1
ε2
ε3 ε4
ε6
ε5
Step 4 – Beispiel Englisch
34
Steps anhand des CbKST – Kurses
http://telearn.uni-graz.at:3536
35
Set Theory
Order Theory
KST
EKST
Set-Test
Order-Test
KST-Test
EKST-Test
Grundkenntnisse Mathematik (≤, ≥,…)
required + taught required + tested
CbKST
36
ε 1: LO - Set Theory
ε 2: TI - Set Theory
ε 3: LO - Order Theory
ε 4: TI - Order Theory
ε 5: LO - KST
ε 6: TI - KST
ε 7: LO - EKST
ε 8: TI - EKST
Step 1 – Beispiel CbKST
37
q f(q)
q1 {ε1}
q2 {ε1, ε2}
q3 {ε1, ε3}
q4 {ε1, ε3, ε4}
q5 {ε1, ε3, ε5}
q6 {ε1, ε3, ε5, ε6}
q7 {ε1, ε3, ε5, ε7}
q8 {ε1, ε3, ε5, ε7, ε8}
L = {{ε1}, {ε1, ε2}, {ε1, ε3}, {ε1, ε3, ε4}, {ε1, ε3, ε5}, {ε1, ε3, ε5, ε6}, {ε1, ε3,
ε5, ε7}, {ε1, ε3, ε5, ε7, ε8}}
Step 1 – Beispiel CbKSTTabelle 4
38
K = {{}, {ε1}, {ε1, ε2}, {ε1, ε3}, {ε1, ε3, ε4}, {ε1, ε3, ε5}, {ε1, ε3, ε5, ε6}, {ε1, ε3, ε5, ε7}, {ε1, ε3, ε5, ε7, ε8}, {ε1, ε2, ε3, ε4, ε5}, {ε1, ε2,
ε3, ε4, ε5, ε6}, {ε1, ε2, ε3, ε4, ε5, ε6, ε7}, {ε1, ε2,
ε4,}, {ε1, ε2, ε4, ε6}, {ε1, ε3, ε4, ε6, ε8},…}
Step 2 – Beispiel CbKST
39
q {} {ε1} {ε1,
ε2}{ε1,
ε3}{ε1, ε3,
ε4,}{ε1, ε3,
ε5}{ε1, ε3,
ε5, ε6}{ε1, ε3,
ε5, ε7}{ε1, ε3,
ε5, ε7,
ε8}
{ε1,
ε2, ε3,
ε4, ε5}
{ε1, ε2,
ε3, ε4,
ε5, ε6}
{ε1, ε2,
ε3, ε4,
ε5, ε6,
ε7 }
{ε1, ε2,
ε4}{ε1, ε2,
ε4, ε6}{ε1, ε3,
ε4, ε6,
ε8}
…
q1 ♦ • • • • • • • • • • • • • …
q2 ♦ • • • • • …
q3 ♦ • • • • • • • • • …
q4 ♦ • • • • • • …
q5 ♦ • • • • • • …
q6 ♦ • • • • …
q7 ♦ • • …
q8 ♦ • …
{} {q1} {q1,
q2}{q1,
q3}{q1,
q3,
q4}
{q1,
q3,
q5}
{q1,
q3, q5,
q6}
{q1,
q3, q5,
q7}
{q1,
q3 q5,
q7,
q8}
{q1,
q2,
q3,
q4,
q5}
{q1,
q2, q3,
q4, q5,
q6}
{q1,
q2, q3,
q4, q5,
q6}
{q1,
q2,
q4}
{q1,
q2, q4,
q6}
{q1,
q3, q4,
q6,
q8}
…
Tabelle 5Step 3 – Beispiel CbKST
40
q p(K)q
q1 {q1}, {q1, q2}, {q1, q3}, {q1, q3, q4},…
q2 {q1, q2}, {q1, q2, q3}, {q1, q2, q3, q4, q5}, {q1, q2, q3, q4, q5,
q6},…
q3 {q1, q3}, {q1, q3, q4}, {q1, q3, q5}, {q1, q3, q5, q6},…
q4 {q1, q3, q4}, {q1, q2, q3, q4, q5}, {q1, q2, q3, q4, q5, q6}, {q1, q2,
q3, q4, q5, q6, q7},…
q5 {q1, q3, q5},{q1, q3, q5, q6}, {q1, q3, q5, q7}, {q1, q3, q5, q7, q8},…
q6 {q1, q3, q5, q6}, {q1, q2, q3, q4, q5, q6}, {q1, q2, q3, q4, q5, q6, q7}, {q1, q2, q4, q6},…
q7 {q1, q3, q5, q7}, {q1, q3, q5, q7, q8}, {q1, q2, q3, q4, q5, q6, q7},…
q8 {q1, q3, q5, q7, q8}, {q1, q3, q4, q6, q8},…
Tabelle 6
Step 4 – Beispiel CbKST
41
Set Theory
Order Theory
KST
EKST
Set-Test
Order-Test
KST-Test
EKST-Test
Grundkenntnisse Mathematik (≤, ≥,…)
required + taught required + tested
CbKST
42
Exkurs: Set-Theory
ε1… Mengenschreibweisen
ε2… Zugehörigkeit
ε3… Operationen
ε4… Operationen
ε5… Operationen
ε6… Operationen
ε7 … Transformation von mathematischen Rechenregeln
ε1
ε2
ε3 ε4 ε5 ε6
ε7
43Grundkenntnisse Mathematik (≤, ≥,…)
required + taught required + tested
Lernobjekttypen – Beispiel:
LO_062
LO_034
LO_027
LO_004
TI_020
TI_002
44Grundkenntnisse Mathematik (≤, ≥,…)
required + taught required + tested
Beispiel: karthesisches Produkt
LO_052
LO_010
LO_009
LO_008
TI_012TI_013
TI_014
TI_011
TI_015
TI_062
TI_061
45
Exkurs: Surmise Relations between Tests
(Brandt, Albert, Hockemeyer, 1999)
Neuester Stand der Wissenschaft:
Item oder Itemmenge in Test A, die Person lösen kann Person kann nicht-leere Teilmenge des Test B lösen
46
A B
a
A und B sind in einer Surmise Relation von A zu B
47
Surmise Relations between Tests
Ist es möglich, die Eigenschaften von SR zwischen Items zu SR zwischen Tests abzuleiten?
Jein!
48
Surmise Relations between Tests
Jein, weil...
… SR between Items sind quasi-ordinal, reflexiv und transitiv
… SR between Tests sind reflexiv, aber nicht unbedingt transitiv
49Grundkenntnisse Mathematik (≤, ≥,…)
required + taught required + tested
Zur Erinnerung:Lernobjekttypen – Beispiel:
LO_062
LO_034
LO_027
LO_004
TI_020
TI_002
50
Surmise Relations between Items
LO_004 ist Vorraussetzung für LO_027LO_027 ist Vorraussetzung für LO_034…
UND
Für LO_062 ist LO_034 VorraussetzungFür LO_034 ist LO_027 Vorraussetzung…
Gilt auch für Testitems!
51
Set Theory
Order Theory
KST
EKST
Set-Test
Order-Test
KST-Test
EKST-Test
Grundkenntnisse Mathematik (≤, ≥,…)
required + taught required + tested
Zur Erinnerung: CbKST
52
Surmise Relations between Tests
Laut SR between Tests gilt das gleiche Prinzip auch bei Itemmengen
• Set Theory ist Vorraussetzung für Order Theory• Order Theory ist Vorraussetzung für KST...
UND
EKST baut auf KST aufKST baut auf Order Theory auf...
Gilt auch für Tests!
53
Kritik/Verbesserungsvorschläge CbKST
LO_013 (LO_019): “A relation R over a set X is antisymmetric if, for all a and b in X, if a is related to b and b is related to a, then a = b. In mathematical notation, this is:
a,b X: aRb bRa a=c“
http://telearn.uni-graz.at:3536
54
Kritik/Verbesserungsvorschläge CbKST
Übersichtliche Tabelle mit Zeichenerklärung (…)
LO_020: Extended Knowledge Space Theory * dddd * dddd * dddd
LO_034: Figure 1 fehlt
55
Mögliche Methoden für die Erstellung einer Wissensstruktur
Analyse des Antwortverhaltens von PersonenGrosse Stichprobe nötig, alle Personen müssen alle Aufgaben bearbeiten unökonomisch, aufwendig
Expertenbefragung …um Abhängigkeiten im Lösungsverhalten herauszufinden
Analyse von Komponenten und FähigkeitenKognitive Anforderungen, die für die Lösung eines bestimmten Problems eines Wissensbereichs benötigt werden, werden bestimmt
http://telearn.uni-graz.at:3536
56
Brandt, S., Albert, D., & Hockemeyer, C. (1999). Surmise Relations between Tests - Preliminary Results of the Mathematical Modelling. Electronic Notes in Discrete Mathematics.
Dösinger, G., & Albert, D. (2002). Adaptive Competence Testing in eLearning. European Journal of Open,
Distance and E-Learning (EURODL).
Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003). Applying Competence Prerequisite Structures
for eLearning and Skill Management. Journal of Universal Computer Science, 9, 1428–1436.
Kremser, M.G. (2000). Component-based Construction of a Knowledge Space for Children’s Second
Language English Knowledge. An empirical investigation. (Diplomarbeit, Karl-Franzens-Universität
Graz, 2000)
Weinert, F.E. (2001). Vergleichende Leistungsmessung in Schulen – eine Umstrittene
Selbstverständlichkeit. IN: Weinert, F.E. (Hrsg.): Leistungsmessungen in Schulen, Beltz Verlag,
Weinheim – Basel, 17 – 31.
Wiley, D. A. (2001). Connecting learning objects to instructional design theory: a definition, a metaphor, and
a taxonomy [Internet]. Verfügbar unter:
Literaturverzeichnis
57
Literaturverzeichnis
http://www.elearning-reviews.org/topics/technology/learning-objects/2001-wiley-learning-object-instructional-design-theory.pdf [März 2007]
Duden. Fremdwörterbuch, 7.Auflage, Dudenverlag 2001
http;//www.englisch-hilfen.de/grammer/plural.htm
http://ltsc.ieee.org/wg12/
http://www.onpulson.de/lexikon/kompetenz.htm
http://telearn.uni-graz.at:3536
Zusatzliteratur:
Korossy, K. (1999). Qualitativ-strukturelle Wissesmodellierung in der elementaren Teilbarkeitslehre [1]. Zeitschrift für Experimentelle Psychologie, 46 (1), 28-52.
58
Danke für Eure
Aufmerksamkeit!