![Page 1: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/1.jpg)
www.evaluation.ac.at 1
Faire Eingangs- und Prozessdiagnostik im Hochschulsektor
Herausforderungen und Perspektiven
Christiane SpielBildungspsychologie & Evaluation
Fakultät für Psychologie, Universität Wien
KOKOHs II Eröffnungskonferenz4.-5. April 2016, Berlin
![Page 2: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/2.jpg)
2
• Steuerung der Studierendenzahlen (in vielen Fällen primär)
• Feststellung der Studieneignung bzw. der Studierfähigkeit(i.a. nicht Berufsfähigkeit!)
• Geringe Abbruchquoten und kurze Studienzeiten
• Prognose des Studienerfolgs
• Orientierung/Information für StudienbewerberInnen
• Selbstselektion von StudienbewerberInnen
• Entwicklung und Konkretisierung der fachlichen Profile der Universitäten
Zentrales Ziel = Feststellung der Passung zwischen Individuum (StudienbewerberIn) und Studium (Curriculum)
Ziele von Eingangsdiagnostik/Auswahlverfahren
![Page 3: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/3.jpg)
Konsequenz für Vorgehen
Abstimmung der Eingangsdiagnostik auf das Curriculum - am besten nach Evaluation des Curriculums
Das geschieht in der Praxis jedoch fast nie
Konsequenz:
→unvollständige Anforderungsprofilez.B. Fokus auf spezifische Studieninhalte, gepaart mit einer
→Reduktion auf einfach zu messende Eigenschaftenprimär kognitive Anforderungen (Intelligenztestung,spezifischen Leistungstests)
![Page 4: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/4.jpg)
Beispiel: Studium der Humanmedizin in Österreich
A) Baseline-Evaluation des Curriculums• im Rahmen der universitären Curricular-Reform
B) Evaluation der Eignungstests für das Medizinstudium• Fokus auf Testfairness und prognostische Validität
![Page 5: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/5.jpg)
A) Baseline-Evaluation: Curriculum Humanmedizin
a. Was soll das Studium vermitteln (welche Kompetenzen in welchem Ausmaß)?
b. Was vermittelt das Studium?
c. Was können junge MedizinerInnen?
d. Wie sind die Einstellungen zur Reform?
e. Wo soll Reform ansetzen?
Fragestellungen
![Page 6: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/6.jpg)
FragebogenerhebungMultiperspektivische Einschätzungen= Selbst- und Fremdrating versch. Gruppen
BefragungsgruppenStudierende (III. Studienabschnitt)Turnusärzt. (nach Studium in praktischer Ausbildung)Lehrende (I./II. + III. Studienabschnitt)SupervisorInnen (BetreuerInnen der TurnusärztInnen)
A) Baseline-Evaluation: Curriculum Humanmedizin
Methodik
![Page 7: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/7.jpg)
2) Perspektivesoll
real
1) Bewertung fremdselbst
Universität Spital
3) Ausbildungsphase
A) Baseline-Evaluation: Curriculum Humanmedizin
Methodik
![Page 8: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/8.jpg)
Aussendung
159
285
378
64
90
96
109
118
Lehrende - I./II. Abschnitt
Lehrende- III.Abschnitt
SupervisorInnen
TurnusärztInnen
Studierende
A) Baseline-Evaluation: Curriculum Humanmedizin - Methodik
Stichprobe: 477 Personen
![Page 9: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/9.jpg)
Studierende Turnusärzt. Lehrende Superv.
KOMPETENZEN
Was soll das Studium vermitteln?
Was vermittelt das Studium?
Was können junge MedizinerInnen?
SELBST-RATING
SELBST-RATING
FREMD-RATING
FREMD-RATING
A) Baseline-Evaluation: Curriculum Humanmedizin - MethodikErfasste Variablen
![Page 10: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/10.jpg)
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
RATING
Lehrende SupervisorInnen
Studierende
(0-5)Turnusärzt.
A) Baseline-Evaluation: Curriculum Humanmedizin
Einschätzung der Kompetenzvermittlung
![Page 11: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/11.jpg)
„What does he know, and how long will he know it?“
![Page 12: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/12.jpg)
A) Baseline-Evaluation: Curriculum Humanmedizin Einschätzung der Kompetenzvermittlung in Abhängigkeit der zeitl. Nähe zum Studium
0
0,5
1
1,5
2
2,5
3
3,5
RATING
Studierende Turnus. < 1 Jahr Turnus. > 1 Jahr
![Page 13: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/13.jpg)
![Page 14: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/14.jpg)
0 1 2 3 4 5
naturw. Faktenwissen
sozialw. Faktenwissen
Kommunikation
Routinetätigk.
soz.-eth. Werte
Coping
Selbstreg. Info.-management
Rating (0-5)
Stud.
Lehrende(III. Abschn.)
Turnusärzt.
Supervis.
A) Baseline-Evaluation: Curriculum Humanmedizin Einschätzung der Kompetenzen
![Page 15: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/15.jpg)
B) Evaluation der Eignungstests für das Medizinstudium (EMS)
![Page 16: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/16.jpg)
• EuGH-Urteil→ Auswahlverfahren bei deutschen Numerus Clausus Fächern
• Studierendenzahlen (ab 2006): +300%→ 1. Einsatz des EMS Auswahlverfahren
• Beauftragung zur EMS-Evaluation (durch das bm:wf)weil:→ Frauen deutlich schlechter als Männer
Jedoch bisher Geschlecht kein Prädiktor für Studienerfolg
B) Evaluation der EMS für Humanmedizin
Hintergrund
![Page 17: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/17.jpg)
Methode• Stichprobe: 3623 BewerberInnen
• Datenmaterial: Testdaten + Fragebogen (Rücklaufquote 97%)
EMS Österreich• vor Studienbeginn, basiert auf dt. Test f. med. Studiengänge (TMS)
• Speed- und Powertest
• Gesamtscore aus 10 Subtests198 Multiple-Choice Aufgaben (1 aus 5)
• Netto-Testzeit: 5h 15min
• kein Mindestkriterium
Fokus laut Testmanual auf erworbenen komplexen Fähigkeiten – Ausrichtung retrospektiv (Kompensation?)
B) Evaluation der EMS für Humanmedizin
![Page 18: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/18.jpg)
1. Quantitative und formale Probleme(Umgang mit Zahlen und Formeln im Rahmen medizinisch-naturwissenschaftl. Fragen)
2. Schlauchfiguren (Räumliches Vorstellungsvermögen)
3. Textverständnis (Verarbeitung von komplex. naturw. Textmaterial)
4. Planen und Organisieren (effiziente Selbstorganisation im Studium)
5. Konzentriertes und sorgfältiges Arbeiten
6. Medizinisch-naturwissenschaftliches Grundverständnis(Verständnis für Fragen der Medizin und der Naturwissenschaften)
7. Figuren lernen (Wahrnehmen u. Einprägen von visuell dargebotenen Einzelheiten)
8. Fakten lernen (Einprägen von Fakten)
9. Muster zuordnen (komplexe Bildausschnitte wiedererkennen)
10. Diagramme und Tabellen (Analyse u. Interpretation von naturw. Diagr. & Tabellen)
B) Evaluation der EMS für Humanmedizin
EMS Österreich
![Page 19: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/19.jpg)
Verschränkung?
EvaluationCurriculum
EvaluationEignungstest
Conclusio
![Page 20: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/20.jpg)
• naturwissenschaftliches Faktenwissen sehr gut abgebildet (Fokus auf logisch-schlussfolgerndes Denken im mathematisch-naturwissenschaftlichen Bereich)
→ Passung zu Inhalten des I. Studienabschnitts (Faktenwissen)
• wichtige curriculare Ausbildungsinhalte (laut Curricularevaluation), z.B. sozial-ethische Grundhaltung, Kommunikationsfähigkeit, etc. werden nicht erfasst
→ Annahme A: werden vollständig im Studium vermittelt (stimmt nicht)→ Annahme B: alle bringen sie mit (stimmt auch nicht)
ConclusioPassung zu Curriculum?
![Page 21: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/21.jpg)
• nicht unbedingt erforderliche Kompetenzen (Raumvorstellung) werden geprüft
• allgemeine Studierkompetenzen werden nicht direkt geprüft (bestenfalls z.T. indirekt), wie z.B. Selbstregulation, Ausdauer, Frustrationstoleranz, Anstrengungsbereitschaft, etc.
→ Allgemeine Studierkompetenzen sind jedoch, wie die Curricularevaluation gezeigt hat (z.B. SRL, Coping) nicht ausreichend vorhanden und werden auch nicht entsprechend im Studium vermittelt
Conclusio
Passung zu Curriculum?
![Page 22: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/22.jpg)
22
Gütekriterien und Anforderungen
• Objektivität: Unabhängigkeit von UntersucherIn
• Reliabilität: Genauigkeit, mit der ein bestimmtes Merkmal gemessen wird
• Validität: Ausmaß, in welchem das intendierte Merkmal erfasst wird
Prognostische Validität: Zusammenhang zwischen Testwert und Außenkriterium (z.B. Prüfungsleistung, Studienabschluss, Studienabbruch) – prognostische Validität ist i.a. nicht über 0.5
• Ökonomie
• Nicht-Verfälschbarkeit
• Fairness: keine systematische Benachteiligung bestimmter Gruppen von BewerberInnen
• Transparenz, Information, Beratung
![Page 23: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/23.jpg)
23
Gütekriterien und Anforderungen
• Objektivität: Unabhängigkeit von UntersucherIn
• Reliabilität: Genauigkeit, mit der ein bestimmtes Merkmal gemessen wird
• Validität: Ausmaß, in welchem das intendierte Merkmal erfasst wird
Prognostische Validität: Zusammenhang zwischen Testwert und Außenkriterium (z.B. Prüfungsleistung, Studienabschluss, Studienabbruch) – prognostische Validität ist i.a. nicht über 0.5
• Ökonomie
• Nicht-Verfälschbarkeit
• Fairness: keine systematische Benachteiligung bestimmter Gruppen von BewerberInnen
• Transparenz, Information, Beratung
![Page 24: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/24.jpg)
Erfolgsbeurteilung(Kriterium)
erfolgreich nicht erfolgreich
Eignungsbeurteilung(Prädiktor)
geeignet richtig falsch
nicht geeignet falsch richtig
Herausforderung: Prognostische Validität
Berechnung z.B. über die Trefferquote
Trefferquote =Summe korrekter Klassifikationen
alle Personen
![Page 25: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/25.jpg)
Berechnung basiert auf systematisch eingeschränkten Datensätzen!(typisch für Auswahlverfahren)
→ führt zu einer verzerrten Schätzung→ oder nicht berechenbar
Herausforderung: Prognostische Validität
Trefferquote = ?
Erfolgsbeurteilung(Kriterium)
erfolgreich nicht erfolgreich
Eignungs-beurteilung(Prädiktor)
geeignet richtig falsch
nicht geeignet ? ?
Achtung!Für zuverlässige
Schätzung ausreichend Daten
erforderlich!
![Page 26: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/26.jpg)
26
Genderfairness im Vorfeld?
90
95
100
105
110
115
1 2 3 4
TESTWERT
DURCHSCHNITTSNOTE IN DEN NATURWISSENSCHAFTLICHEN FÄCHERN
weiblich männlich
Herausforderung: Fairness
![Page 27: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/27.jpg)
• Oft fehlen notwendige Vorlaufzeiten bei der Entwicklung→ Entscheidung über den Einsatz eines Auswahlverfahrens
meist kurzfristig
• (Ökonomische) Testbarkeit von manchen Kompetenzen ist aktuell nicht gegeben
• Methodische Kenntnisse oft nur eingeschränkt vorhanden
• Fairness im Vorfeld wird zumeist nicht berücksichtigt
• Evaluation von Curricula oft wenig etabliert
Gründe für Mängel bei Eignungsdiagnostik
![Page 28: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/28.jpg)
Einseitige/ falsche Auswahl hat individuelle und (schwer abschätzbare) gesellschaftspolitische Konsequenzen!!
Konsequenzen der Mängel bei Eignungsdiagnostik
Erfolgsbeurteilung(Kriterium)
erfolgreich nicht erfolgreich
Eignungs-beurteilung(Prädiktor)
geeignet richtig falsch
nicht geeignet falsch?? richtig
![Page 29: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/29.jpg)
Systematische Verschränkung von Eingangs-, Prozess- und Ergebnisdiagnostik
Bologna Modell
Kompetenzorientierte Lehre (kompetenzorientiertes Curriculum)
Adäquates Evaluationsmodell
Wichtig: Entwicklung in einem partizipativen Ansatz
Empfehlung
Bergsmann, E., Schultes, M.-T., Winter, P., Schober, B., & Spiel, C. (2015). Evaluation of competence-based teaching in higher education: From theory to practice. Evaluation and Program Planning, 52, S.1-9.
![Page 30: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/30.jpg)
![Page 31: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/31.jpg)
Bergsmann et al., KELDAT-Präsentation, Juni 2014
Competence-based teaching model
COMPETENCIES OF FRESHMAN
TEACHING PROCESS CONTEXT
CURRICULUM
IDEAL STUDENT COMPETENCIES
TEACHING METHODS & EXAMS
LEARNING PROCESS
REAL STUDENT COMPETENCIES
![Page 32: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/32.jpg)
COMPETENCIES OF FRESHMAN
TEACHING PROCESS CONTEXT
CURRICULUM
IDEAL STUDENT COMPETENCIES
TEACHING METHODS & EXAMS
LEARNING PROCESS
REAL STUDENT COMPETENCIES
Bergsmann et al., KELDAT-Präsentation, Juni 2014
Evaluation tasks
A: Find out whether you have a well-
defined theoertical
competence model
B: Find out major gaps
between theory and practice
C: Find out reasons for
gaps!
D: Find out whetheryour entranceexaminationmeasures
necessary andsufficiant
competencies
![Page 33: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/33.jpg)
… aber vor allem Geduld und einen langen Atem!
Veränderung braucht manchmal Mut…
![Page 34: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/34.jpg)
Veränderung braucht auch Optimismus
![Page 35: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/35.jpg)
Bergsmann, E.; Schultes, M.-T.; Winter, P.; Schober, B.; & Spiel, C. (2015). Evaluation of competence-based teaching in higher education: From theory to practice. Evaluation and Program Planning, 52, S.1-9.
Jöstl, G., Kollmayer, M., Finsterwald, M., Schober, B. & Spiel, C. (2015). Geschlechterstereotype in der Bildungsozialisation - Reflexive Koedukation als Lösungsansatz. In: B. Hoyer (Hrsg.). Migration und Gender. Bildungschance durch Diversity-Kompetenz (S. 13-32). Berlin: Budrich UniPress.
Litzenberger, M., Punter, J. F., Gnambs, T., Jirasko, M. & Spiel, C. (2007). Qualitätssicherung bei der Studierendenauswahl mittels lernpsychologisch fundierter Wissensprüfung. In A. Kluge & K. Schüler (Hrsg.), Qualitätssicherung und -entwicklung an Hochschulen: Methoden und Ergebnisse (S. 23-34). Lengerich: Papst.
Pfaffel, A., Schober, B., & Spiel, C. (2016). A comparison of three approaches to correct for direct and indirect range restrictions: A simulation study. Practical Assessment, Research & Evaluation, 21(6). Available online: http://pareonline.net/getvn.asp?v=21&n=6
Pfaffel, A., Kollmayer, M., Schober, B., & Spiel, C. (2016). A missing data approach to correct for direct and indirect range restrictions with a dichotomous criterion: A simulation study. PLoS ONE, 11(3), e0152330. http://dx.plos.org/10.1371/journal.pone.0152330
Punter, J. F., Litzenberger, M., Grambs, T., Jirasko, M. & Spiel, C. (2006). Zur Auswahl von Studierenden mittels lehrzielorientierter Wissensprüfung. In B. Gula, R. Alexandrowicz, S. Strauß, E. Brunner, B. Jenull-Schiefer, & O. Vitouch (Hrsg.), Perspektiven psychologischer Forschung in Österreich. Proceedings zur 7. Wissenschaftlichen Tagung der Österreichischen Gesellschaft für Psychologie (S. 472-479). Lengerich: Pabst.
Schober, B., Spiel, C. & Reimann, R. (2004). Young physicians' competences from different points of view. Medical Teacher, 26, 451-457.
Spiel, C. (2001). Der differentielle Einfluß von Biasvariablen auf studentische Lehrveranstaltungsbewertungen. In U. Engel (Hrsg.), Hochschul-Ranking. Zur Qualitätsbewertung von Studium und Lehre (S. 61-82). Frankfurt am Main: Campus.
Spiel, C. (2004). Workshop III: Ergebnisse und Qualitätsentwicklung. In Hochschulrektorenkonferenz (in Kooperation mit dem Verbund Norddeutscher Universitäten) (Hrsg.), Evaluation - ein Bestandteil des Qualitätsmanagements an Hochschulen. Beiträge zur Hochschulpolitik 9/2004, (S. 233-242). Bonn: Hochschulrektorenkonferenz.
Spiel, C. (2004). Kommentar - Empfehlungen zur Ausgestaltung der internen Evaluation. In Hochschulrektorenkonferenz (Hrsg.) Metaevaluation - Evaluation von Studium und Lehre auf dem Prüfstand -Zwischenbilanz und Konsequenzen für die Zukunft, Projekt Qualitätssicherung Beiträge zur Hochschulpolitik 5/2004, (S. 55-63). Bonn: Hochschulrektorenkonferenz.
Eigene Arbeiten dazu
![Page 36: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/36.jpg)
Spiel, C. (2007) (Hrsg.), Evaluation universitärer Lehre – zwischen Qualitätsmanagement und Selbstzweck. Münster: Waxmann.
Spiel, C. (2010). Hochschulzugang: Bestandsaufnahme und Empfehlungen. In AQA - Österreichische Qualitätssicherungsagentur. Mobilität, Durchlässigkeit und Qualität (S. 39-43). Facultas: Wien.
Spiel, C., Finsterwald, M. & Schober, B. (2009). Anerkennung non-formalen und informellen Lernens an Universitäten. In E. Westphal. & M. Friedrich (Hrsg.), Anerkennung von non-formalem und informellem Lernen an Universitäten (S. 29-83). Graz: Leykam.
Spiel, C. & Gössler, P.M. (1999). Allgemeingültige Qualitätskriterien von Lehre - eine Fiktion? Ergebnisse einer repräsentativen Studie an der Universität Wien. Zeitschrift für Hochschuldidaktik, 23 (2), 72-95.
Spiel, C. & Gössler, P. M. (2000). Zum Einfluß von Biasvariablen auf die Beurteilung universitärer Lehre durch Studierende. Zeitschrift für Pädagogische Psychologie, 14, 38-47.
Spiel, C. & Gössler, P. M. (2001). Zwischen Selbstzweck und Qualitätsmanagement. Quo vadis, Evaluatione? In C. Spiel (Hrsg.), Evaluation universitärer Lehre - zwischen Qualitätsmanagement und Selbstzweck (S. 9-20). Münster: Waxmann.
Spiel, C., Gradinger, P. & Lüftenegger, M. (2010). Grundlagen der Evaluationsforschung. In H. Holling H. & B. Schmitz (Hrsg.), Handbuch Statistik, Methoden und Evaluation (S. 223–232). Göttingen: Hogrefe.
Spiel, C. & Keppler, B. (2009). Patient Bologna: Zustand ernst aber nicht hoffnungslos! VSH-Bulletin 35 (3), 64-65. Spiel, C., Litzenberger, M. & Haiden, D. (2007). Bildungswissenschaftliche und psychologische Aspekte von
Auswahlverfahren. In C. Badelt, W. Wegscheider & H. Wulz (Hrsg.), Hochschulzugang in Österreich (S. 479-552). Graz: Grazer Universitätsverlag.
Spiel, C., Lüftenegger, M., Gradinger, P. & Reimann, R. (2010). Zielexplikation und Standards in der Evaluationsforschung. In H. Holling H. & B. Schmitz (Hrsg.), Handbuch Statistik, Methoden und Evaluation (S. 252-260). Göttingen: Hogrefe.
Spiel, C., Schober, B., Atria, M., Reimann, R., Wagner, P. & Strohmeier, D. (2005). Qualitätsentwicklung von Lehre -Jenseits studentischer Bewertung von Lehrveranstaltungen. In R. Keil-Slawik & M. Kerres (Hrsg.). Hochschulen im digitalen Zeitalter: Innovationspotentiale und Strukturwandel. Bd. 2 Reihe: education quality forum (S. 275-290). Münster: Waxmann.
Spiel, C., Schober, B. & Finsterwald, M. (2011). Brave Mädchen - Böse Buben? Genderstereotype in der Bildungssozialisation. In Magerl, G., Neck, R. & Spiel, C. (Hrsg.), Wissenschaft und Gender (S. 81-97). Wien: Böhlau Spiel, C.; Schober, B.; & Bergsmann, E. (2015). Program Evaluation. In James D. Wright: International Encyclopedia of the Social & Behavioral Sciences, 2nd edition, Vol 19. (S.117-122). Oxford: Elsevier.
Eigene Arbeiten dazu
![Page 37: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/37.jpg)
Spiel, C., Schober, B. & Litzenberger, M. (2008). Evaluation der Eignungstests für das Medizinstudium in Österreich. Projektbericht für das Bundesministerium für Wissenschaft und Forschung. Wien.
Spiel, C., Schober, B. & Reimann, R. (2006). Evaluation of Curricula in Higher Education: Challenges for Evaluators.Evaluation Review, 30, 430-450. doi:10.1177/0193841X05285077
Spiel, C., Schober, B., & Reimann, R. (2013). Modelling and measurement of competencies in higher education: The contribution of scientific evaluation. In O. Zlatkin-Troitschanskaia & S. Blömeke (Eds.), Modeling and measurement of competencies in higher education (p. 195-206). Rotterdam: SensePublishers.
Spiel, C., Wolf, P. & Popper, V. (2001). Evaluating teaching effectiveness: Challenge or threat for universityteachers? In W. Kallus, N. Posthumus & P. Jiménez, Current psychological research in Austria (pp. 265-268). Graz: Akademische Druck- und Verlagsanstalt.
Spiel, C., Wolf, P. & Popper, V. (2002). Lehre und Lehrevaluation - (un)geliebt? Die Perspektive der Universitätslehrenden. Zeitschrift für Psychologie / Journal of Psychology, 210(1), 27-39.
Spiel, C., Wolf, P. & Popper, V. (2002). Lehre und Lehrevaluation - (un)geliebt? Die Perspektive der Universitätslehrenden. Zeitschrift für Psychologie / Journal of Psychology, 210(1), 27-39.
Eigene Arbeiten dazu
![Page 38: Faire Eingangs- und Prozessdiagnostik im Hochschulsektor ... · 1 Faire Eingangs- und Prozessdiagnostik im Hochschulsektor Herausforderungen und Perspektiven Christiane Spiel Bildungspsychologie](https://reader030.vdocuments.site/reader030/viewer/2022041204/5d55156d88c993e57f8b9cf6/html5/thumbnails/38.jpg)
www.evaluation.ac.at 38
Herzlichen Dank für Ihre Aufmerksamkeit!