kompetenzorientierung und die validität selbsteingeschätzter kompetenzen
DESCRIPTION
Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen. „Teaching is Touching the Future – Emphasis on skills.”. Die Validität selbsteingeschätzter Kompetenzen. Shift from teaching to learning: → Ökonomische und valide Ermittlung erworbener Kompetenzen - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/1.jpg)
Anette Hiemisch
Institut für Psychologie
Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen
„Teaching is Touching the Future –
Emphasis on skills.”
![Page 2: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/2.jpg)
Die Validität selbsteingeschätzter Kompetenzen
Shift from teaching to learning:Shift from teaching to learning:
→ → Ökonomische und valide Ermittlung erworbener
Kompetenzen
Spezifische methodische ProblemeSpezifische methodische Probleme::
Validität der Instrumente
Angemessene Evaluationseinheit
Geeignete Validierungskriterien
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 3: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/3.jpg)
Die Validität selbsteingeschätzter Kompetenzen
Selbsteingeschätzte Kompetenzen:Selbsteingeschätzte Kompetenzen:
Ökonomische Möglichkeit der Bewertung im Studium
erworbener Kompetenzen
Mit einer Reihe von Problemen verbunden:Mit einer Reihe von Problemen verbunden:
BTA-Heuristik
Wahrgenommene Schwierigkeit der Kompetenz
„Unskilled but unaware“
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 4: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/4.jpg)
Unskilled but Unaware
Mangelnde „Meta-kognitive“ SkillsMangelnde „Meta-kognitive“ Skills
wenn Menschen eine Kompetenz nicht im
hinreichenden Umfang besitzen,
fehlen die meta-kognitiven Fertigkeiten zur
Einschätzung eben dieser Kompetenzen
Neigung, sich dann zu gut einzuschätzen
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 5: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/5.jpg)
Unskilled but Unaware
(Krueger & Dunnig, 1999)
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 6: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/6.jpg)
Die Validität selbsteingeschätzter Kompetenzen
Konsequenzen für die Evaluation:
Systematische Verzerrung der Messungen in
Abhängigkeit von dem zu messenden Merkmal
Mittelwerte ungeeignet zum Vergleich von
Lehreinheiten
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 7: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/7.jpg)
Evaluationseinheit & Validierungskriterium
EvaluationseinheitEvaluationseinheit
Lehr/Lerneinheiten, in denen bestimmte
Kompetenzen vermittelt werden:
z.B. Rhetorikkurs
ModulModul
ValidierungskriterienValidierungskriterien
Kompetenzmessung
Modulnote?Modulnote?
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 8: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/8.jpg)
Methode
Modul „Methodenlehre“
3 Semester
4 Vorlesungen
3 Tutorien
1 Seminar
1 Praktikum
Validierungskriterium
ModulnoteModulnote
Seminar „Einführung in die Allgemeine Psychologie“
Einführungskurs 1. Semester
Validierungskriterium
KlausurergebnisKlausurergebnis
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 9: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/9.jpg)
Methode
Berliner Evaluations Instrument für selbsteingeschätzte studentische Kompetenzen Berliner Evaluations Instrument für selbsteingeschätzte studentische Kompetenzen (Braun, Gusy, Leidner, & Hannover, 2008)
Fachkompetenz (6 Items)
Methodenkompetenz (3 Items)
Präsentationskompetenz (2 Items)
Kommunikationskompetenz (5 Items)
Kooperationskompetenz (5 Items)
Personalkompetenz (5 Items)
Skala von 0 (= trifft nicht zu) bis 4 (= trifft völlig zu)Skala von 0 (= trifft nicht zu) bis 4 (= trifft völlig zu)
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 10: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/10.jpg)
Methode
Stichprobe Modul:Stichprobe Modul:
Kohorte 2010: Kohorte 2010: 56 Studierende im Alter von 20 bis 37 (M = 22.8, w = 50). 52 Prüfungs- anmeldungen, 41 Teilnehmende.
Kohorte 2011: Kohorte 2011: 59 Studierende im Alter von 19 bis 42 (M = 22.3, w = 54). 53 Prüfungs- anmeldungen, 25 Teilnehmende.
Stichprobe Seminar: Stichprobe Seminar: 15 Studierende
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 11: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/11.jpg)
Methode
Ablauf Modulevaluation:
Evaluation Modul „Methodenlehre“ Modul „Methodenlehre“ eine bzw. drei Wochen vor der Prüfung (Code)
Aushändigung eines Bogens mit Code- und Notenabfrage nach Abschluss der Prüfung
Mögliche Noten: 1.0, 1.3, 1.7, 2.0 bis 4.0, 5.0
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 12: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/12.jpg)
Methoden
Ablauf Seminarevaluation:
Evaluation vier Wochen vor Semesterende
Freiwillige Klausur in der letzten Seminarsitzung
15 Multiple-Choice Fragen zu Konzepten und Grundlagen der Allgemeinen Psychologie
3 Fragen zu Techniken wissenschaftlichen Arbeitens
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 13: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/13.jpg)
Hypothesen
H1: Konvergente und divergente Korrelationen ModulnoteH1: Konvergente und divergente Korrelationen Modulnote
Konvergent: Konvergent: Fachkompetenz, Methodenkompetenz, Kommunikationskompetenz, Personalkompetenz
Divergent: Divergent: Präsentationskompetenz, Teamkompetenz
H2: „Unskilled but unaware“:H2: „Unskilled but unaware“:
Die konvergenten Korrelationen sind höher, wenn weniger kompetente Studierende aus der Berechnung ausgeschlossen werden.
H3: Vergleich Modul und Seminar bezüglich Fach-und H3: Vergleich Modul und Seminar bezüglich Fach-und MethodenkompetenzMethodenkompetenzDie konvergenten Korrelationen fallen im Seminar kleiner aus.
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 14: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/14.jpg)
Ergebnisse
Abbildung 1: Verteilung Noten
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 15: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/15.jpg)
Ergebnisse
Kompetenzenr (N = 66)
sample123
r(N = 51)
sample12
r(N = 39)
sample23
Fachkompetenz-.37** -.41** -.01
Methodenkompetenz-.10 -.26* .20
Kommunikationskompetenz -.10 -.23(*) .01
Personalkompetenz-.30* -.27* -.25*
Präsentationskompetenz.05 -.10 .05
Teamkompetenz.01 -.01 .02
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 16: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/16.jpg)
Ergebnisse
M SD Test Wissen
Test Methode
Fachkompetenz 1.79 .57 -.24 -.58*
Methodenkompetenz 2.11 .73 -.29 .02
Personalkompetenz 1.62 .54 -.20 .56*
Test Wissen 25.33 6.59
Test Methode 9.93 3.63
Tabelle 3: Validierung Seminar
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 17: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/17.jpg)
Diskussion
ModulModulValide Erhebung der Skalen Fach- und Personalkompetenz
ABERABERKompetenzniveau beeinflusst Validität
→ → Ergebnisse sprechen für „unskilled-unaware“-Hypothese
→ → Selbsteingeschätzte Kompetenzen nicht geeignet für Evaluation
SeminarSeminarKeine sinnvollen Zusammenhänge zwischen selbst-eingeschätzten Kompetenzen und Klausurergebnissen
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 18: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/18.jpg)
Diskussion
AusblickAusblick
Ökonomische Methode der Kompetenzmessung
Modelle des Kompetenzerwerbes und der Kompetenzmessung
Aus Modellen des Kompetenzerwerbes Merkmale von Lehrveranstaltungen und Modulen ableiten, die Kompetenzerwerb fördern
diese Merkmale ermitteln
→ → Kompetenzorientierte ModularisierungKompetenzorientierte Modularisierung
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 19: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/19.jpg)
Diskussion
KritikKritik
Note geeignetes Validierungskriterium?
Keine Kontrolle von möglichen Moderatorvariablen (Interesse, Motivation, usw.)
Kleine Stichprobe
Anette Hiemisch Vortrag Mainz, „Teaching is touching the future“
![Page 20: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/20.jpg)
Anette Hiemisch
Institut für Psychologie
Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen
Vielen Dank für Ihre
Aufmerksamkeit
![Page 21: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/21.jpg)
Ergebnisse
Abbildung 2: Selbsteingeschätzte Kompetenzen in Abhängigkeit von den Noten
![Page 22: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/22.jpg)
Ergebnisse
Abbildung 2: Selbsteingeschätzte Kompetenzen in Abhängigkeit von den Noten
![Page 23: Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen](https://reader036.vdocuments.site/reader036/viewer/2022062500/56815475550346895dc28bac/html5/thumbnails/23.jpg)
Ergebnisse
KompetenzenM SD α
Fachkompetenz2.56 .68 .85
Methodenkompetenz2.35 .92 .83
Kommunikationskompetenz1.74 .94 .90
Personalkompetenz2.37 .89 .87
Präsentationskompetenz1.48 1.11 .90
Teamkompetenz3.07 .82 .89
Tabelle 1: Deskriptive Statistik