verwendung schwierigkeitsbestimmender aufgabenmerkmale für...

18.03.2011

1

Institut für Gymnasial- und Berufspädagogik

18.03.2011 Seite 1

Verwendung schwierigkeitsbestimmender Aufgabenmerkmale für die Testkonstruktion

im Projekt OEKOMA

Stephan Schumann und Franz Eberle BWP-Frühjahrstagung, 17. März 2011, Aachen

18.03.2011 Universität Zürich, Institut für Gymnasial- und Berufspädagogik, Titel der Präsentation, Autor Seite 2

Übersicht

1 Einführung

2 OEKOMA im Überblick

3 Test zur Erfassung ökonomischen Wissens und Könnens

4 Schwierigkeitsbestimmende Aufgabenmerkmale – Hintergrund und Forschungsstand

5 Aufgabenmerkmale in OEKOMA: Auswahl und Verwendung im Rahmen der Testkonstruktion

6 Pilotstudie: Zum Verhältnis von Aufgabenmerkmalen und empirischen Itemschwierigkeiten

7 Ausblick

18.03.2011

2

Fusszeile

1 Einführung

Schwierigkeitsbestimmende Aufgabenmerkmale:

Warum?

1. ... für Test-/Itemkonstruktion

2. ... für Bestimmung von Kompetenzstufen

3. ... für eine (fach-)didaktische Interpretation der Ergebnisse von Kompetenztests/Leistungstests

Fusszeile


• SNF-Projekt „Ökonomische Kompetenzen von Maturandinnen und Maturanden“ (OEKOMA)

• Laufzeit: Mai 2010 – April 2012

• Erfassung und Analyse der ökonomischen Kompetenzen von Schülerinnen und Schülern im letzten Jahr des Gymnasiums bzw. der Berufsmaturitätsschule (BMS)

• Erfassung von Einflussfaktoren

• obligatorische wirtschaftsbildende Fächer in beiden Schulformen (Inhalte: VWL, BWL, Recht, ReWe): Gymnasium: Grundlagenfach oder Schwerpunktfach, BMS: Lektionsumfang abhängig von BMS-Richtung

• Deutschsprachiger Teil der Schweiz

18.03.2011

3

Fusszeile


OEKOMA - Rahmenmodell zum Erwerb ökonomischer Kompetenzen

Prozessmerkmale des wirtschafts-kundlichen Unterrichts

Schulkontext

Ausserschulische Merkmale (Famile, peers, Medien etc.)

Individuelle Lernvoraussetzungen Ökonomische Kompetenzen

Sozi

o-ök

onom

isch

e R

ahm

enbe

ding

unge

n

Fusszeile


Definition ökonomischer Kompetenzen

• Fähigkeit, authentische und alltagsbezogene Darstellungen zu wirtschaftsbezogenen Problemstellungen zu verstehen, zu analysieren und begründete Schlüsse daraus zu ziehen

• umfassendes Kompetenzverständnis:

Kerndimension: ökonomisches Wissen und Können (Economic Literacy)

Interesse und Motivation

Einstellungen und Werthaltungen

18.03.2011

4

Fusszeile


Referenzfigur

• Maturandin bzw. der Maturand, welche(r) als „mündiger Wirtschafts- und Gesellschaftsbürger(in)“ in der Lage ist, authentische und alltagsbezogene Darstellungen zu wirtschaftsbezogenen Problemstellungen zu verstehen, zu analysieren und begründete Schlüsse daraus zu ziehen.

Fusszeile


Design und Methode

• Querschnitt (Hauptstudie: März bis Juni 2011)

• Instrumente: Leistungstests (IRT) und Fragebögen (Pilotierung im November/Dezember 2010)

• Repräsentative (Klassen-)Stichprobe für die Deutschschweiz (N ~ 3.000, nachträgliche Gewichtung)

• Externe Testadministration

18.03.2011

5

Fusszeile


Zeitungsartikel (modifiziert, gekürzt)

Testformat

Fusszeile


18.03.2011

6

Fusszeile


Fusszeile

4 Schwierigkeitsbestimmende Aufgabenmerkmale

Hintergrund und Forschungsstand

• Theoretische Ansätze: Linguistik, Kognitionspsychologie, Motivationsforschung, Kompetenzdiagnostik (Astleitner, 2008, Nunan & Koebke, 1995, Hartig, 2007)

• Mögliche Unterscheidung: Formale und inhaltsbezogene Aufgabenmerkmale (Kauertz, 2007)

• Formale Aufgabenmerkmale: z.B. graphische Visualisierung, Antwortformat

• Inhaltsbezogene Aufgabenmerkmale: z.B. Lösungswege, Sequenzierung der Information, kognitives Anforderungsniveau

18.03.2011

7

Fusszeile


Formale Aufgabenmerkmale:

• Mathematik: Art und Reihenfolge der Operatoren schwierigkeitsrelevant (Trivialbefund), uneinheitliche Effekte der syntaktischen und semantischen Gestaltung der Aufgaben (zusammenfassend Goldin & McClintock, 1979; dazu auch Klieme, 2000)

• Leseverständnis/Spracherwerb: syntaktische und semantische Gestaltung sind schwierigkeitsrelevant (Nunan & Koepke, 1995)

• weiter sind die graphische Visualisierung und das Antwortformat schwierigkeitsbestimmend (Draxler, 2005)

Fusszeile


Formale Aufgabenmerkmale:

• uneinheitliche Befundlage

• Merkmale „liefern“ häufig Trivialbefunde

• keine sinnvolle inhaltliche Interpretation möglich, damit sind auch keine fachdidaktischen Implikationen ableitbar

• Tipp für Testkonstruktion: Berücksichtigung der Wirkung formaler Aufgabenmerkmale im Rahmen der Testkonstruktion durch gezielte Variation oder auch Konstanthaltung

18.03.2011

8

Fusszeile


Inhaltsbezogene Aufgabenmerkmale (Auswahl):

• Inhaltliche Komplexität (z.B. Kauertz, 2007, Winther & Achtenhagen, 2009)

• (Funktionale) Modellierung, Modellierungsleistung (Winther & Achtenhagen, 2009)

• Kognitives Anforderungsniveau (Bloom et al., 1956, Anderson & Krathwohl, 2001, Marzano & Kendall, 2007)

• Wissensart (Nickolaus et al., 2008, Schneider, 2005)

Fusszeile


Inhaltsbezogene Aufgabenmerkmale (Fortsetzung):

• Offenheit der Lösungswege und Lösungen: (z.B. Robinson, 2001, Draxler, 2005, Dubs, 2007)

• Kenntnis von Definitionen und Gesetzmäßigkeiten (Draxler, 2005, Nunan & Koepke, 1995)

• Vertrautheit der Inhalte: (Nunan & Koepke, 1995)

• Informationskomplexität: (Nunan & Koepke, 1995), Prabhu, 1987, Kauertz, 2007)

18.03.2011

9

Fusszeile

5 Aufgabenmerkmale in OEKOMA

• Modellierung

• Kognitive Anforderung

• Offenheit der Lösungswege und Lösungen

• Kenntnis von Definitionen oder Gesetzmäßigkeiten

Geplant, aber verworfen:

• Inhaltliche Komplexität

Fusszeile


Modellierung

• bezieht sich auf die Komplexität des Entscheidungsmodells, welches von den Schülerinnen und Schüler zur Lösung der Aufgabe aufgestellt werden muss. Der Umfang an eingeforderter Modellierungsleistung reduziert sich in dem Masse, wie das Entscheidungsmodell vorstrukturiert ist (Winther, 2010).

• Tipp: Anzahl Lösungsschritte

Zur Lösung der Aufgabe sind notwendig:

Level 1: keine Modellierung (alle relevanten Informationen/Prozeduren zur Lösung sind in der Aufgabe enthalten).

Level 2: Einfache Modellierung (1 – 2 Lösungsschritte)

Level 3: Fortgeschrittene Modellierung (mehr als 2 Lösungsschritte)

18.03.2011

10

Fusszeile


Kognitive Anforderung

• „klassisches“ Merkmal der Aufgabengestaltung in schulischen Leistungstests (Bloom`sche Taxonomie).

• Anspruch, die mit einer Aufgabe verbundenen kognitiven Anforderungen zu benennen und in eine Schwierigkeitshierarchie zu bringen.


Level 1: Informationen wiedergeben/erinnern

Level 2: Informationen verstehen und verarbeiten

Level 3: Informationen nutzen

Fusszeile


Offenheit der Lösungswege und Lösungen • Die Offenheit von Lösungen ist ein konstitutives Merkmal von

Problemstellungen im Bereich der Ökonomie.

• Im Hinblick auf eine Schwierigkeitsabstufung ist dabei davon auszugehen, dass die Aufgaben mit zunehmender Offenheit schwieriger werden.


Level 1: Aufgabenstellung, die nur einen Lösungsweg und eine eindeutig richtige Lösung zulässt

Level 2: Aufgabenstellung, die mehrere Lösungswege und darauf aufbauend konsistente Lösungen zulässt

18.03.2011

11

Fusszeile


Kenntnis von Definitionen oder Gesetzmäßigkeiten • Aufgaben, in denen Definitionen, Begriffe oder

Gesetzmäßigkeiten aus dem Gedächtnis abgerufen werden müssen, sind schwierigkeitserzeugend.


Level 1: Zur Lösung müssen keine Definitionen oder Gesetzmäßigkeiten aus dem Gedächtnis abgerufen werden

Level 2: Zur Lösung müssen wenige Definitionen oder Gesetzmäßigkeiten aus dem Gedächtnis abgerufen werden (max. 2)

Level 3: Zur Lösung müssen mehrere Definitionen oder Gesetzmäßigkeiten aus dem Gedächtnis abgerufen werden (mind. 3)

Fusszeile

5 Aufgabenmerkmale in OEKOMA Exkurs: Verfahren Itemkonstruktion

18.03.2011

12

Fusszeile


Fusszeile


18.03.2011

13

Fusszeile

7 Ausblick: nächste Schritte

• März bis Juni 2011: Hauptstudie

• bis Ende Juli: Dateneingabe

• Ab September: Datenauswertung

• Herbst 2011: Itembearbeitung ausgewählter Schülerinnen und Schüler („Thinking Loud“ - Ansatz)

Fusszeile

Vielen Dank für Ihre Aufmerksamkeit

18.03.2011

14

Fusszeile

6 Testkonstruktion: Einblicke

Leistungstest: Ökonomisches Wissen und Können

Anforderungen an die Identifikation relevanter Testinhalte:

1. VWL, BWL + Accounting = Erstellung eines fundierten thematischen Kategoriensystems

2. Valide Erschließung des Konstrukts “Economic Literacy” (Identifikation relevanter Begriffe und Konzepte)

Fusszeile


Anforderung 1: Erstellung eines breiten thematischen Systems

Anforderung 2: Identifikation relevanter Begriffe und Konzepte

Analyse von rund 1.400 Zeitungsartikeln

(~ 30.000 Begriffe/Konzepte)

Analyse und Klassifikation von WiWi - Studienunterlagen

(erstes Studienjahr)

Kategoriensystem Zuordnung

18.03.2011

15

Fusszeile


Categorical system "Business Administration"

1. Basics: The Enterprise and environmental spheres Code

Unternehmung: Geschäftsidee, Unternehmungsgründung, Businessplan, Geschäftsprozesse (betrieblicher Umsatzprozess, Problemlösungsprozess, Steuerungsfunktion, Managementprozess, strategische Geschäftsfelder, Ressourcen, Leistungserstellungsprozess), Eigentu

22

Unternehmenstypologie: Betriebsgrösse (Klein-/Mittel-/Grossbetrieb), Wirtschaftssektor/Branche; Profit/Non-Profit-Unternehmen, Rechtsform (z.B. GmbH) 23

Unternehmungsziele: Zielbeziehungen (Synergien, neutral, Konflikte) Produktivität, Wirtschaftlichkeit, Rentabilität, Gewinn, Wertschöpfung

24

Ökonomische Umwelt: Begriffe mit VWL-Bezug (Wirtschaftssystem, Wirtschaftsgüter, Bedürfnisse, Angebot & Nachfrage, Konjunktur, Wirtschaftsinstitutionen, Haushalte, Unternehmen, öffentliche & private Betriebe, Verwaltung, Besteuerungssystem)

25

Technologische Umwelt: Forschung & Entwicklung, Innovationen, Trends, Patente, Technologiefolgen (Risikomanagement) 26

Ökologische Umwelt: Umweltfolgen, Umwelt/Klimaschutz 27

Soziale Umwelt: Gesellschaftssystem, gesellschaftliche Verantwortung, Unternehmensethik 28

2. Strategical Leadership

Wettbewerbsstrategie: Branchenwahl, Positionierung, Wettbewerbsvorteile, SWOT-Analyse, Make or Buy-Entscheid (Transaktionskosten), realisierte Investitionen 29

Kooperation/Fusion/strategische Allianz: Ausnutzung von Skalenerträgen, Synergien, Partizipation, Konsortium, Kartell, Interessengemeinschaft, Joint-Venture, strategische Allianz, Konzern, Holding (angestrebte)

30

Standort: Unternehmensstandort, Standortanalyse, Standortfaktoren, Standortsuche, Standortwahl 31

3. Organisation, Marketing and ProductionOrganisation: Organisationsform, Organisationsstruktur, Organisationseinheit (inkl. Führung), Aufbauorganisation, Organigramm, Ablauforganisation, Aufgabenanalyse & -synthese, Stellenbildung, Stellenbeschreibung

32

Führung und Unternehmenskultur: Führungstechniken, Menschenführung, Führungsstil, Führungskultur, Kommunikation, Unternehmenskultur, Leadership 33

Marketing I: Marktforschung: Märkte & Markttrends, Marktanalyse 34Marketing II: Marktsegmentierung, Marktgrösse, Zielmarkt, Käufer-/Verkäufermarkt 35

Marketing III: Marketing-Mix (Instrumente): Kommunikationspolitik: Corporate Identity/Corporate Image, Public Relations, Werbung und Verkaufsförderung, P

36

Marketing IV: Kundenprozesse: Kundenaquisition, Kundenselektion, Kaufprozess, Kaufentscheidungen, Impulskauf, Kundenbindung, Kundenzufriedenheit, Kundenpotenzial 37

Personal: Human Resource Management, Human Resource, Lohndiskrimminierung, Chancengleichheit, Arbeitsgestaltung, Job- enrichment, -rotation, -enlargement, Arbeitsbewertung, Lohn (Lohnstruktur, Leistungslohn, Lohnformen, Bemessungsgrundlagen, Anreize, Belo

38

Produktion: Material- & Produktionswirtschaft, Einkauf, Technisch-ökonomische Struktur, Fertigungstiefe, Fertigungstypen, Produktionsplanung & -steuerung, Leistungsinnovationsprozess, Vertrieb, Logistik und Lager

39

4. Corporate Finance

Finanzierung: Finanzmanagement, Kapital, Vermögen, Eigenkapital, Aktienkapitalstruktur, Aktienkapitalerhöhung, Fremdkapital, Finanzierungsformen, Rechnungswesen: Betriebsbuchhaltung (Kostenrechnung), Finanzbuchhaltung Mit

40

Investitionsrechnung: Kostenvergleichsrechnung, Gewinnvergleichsrechnung, Rentabilitätsrechnung, Amortisationsrechnung, interner Zinssatz 41

Unternehmensbewertung: Bewertungsverfahren, Substanzwertmethode, Goodwill, Ertragswertmethode, Mittelwertverfahren 42

Categorical system "Economics"

1. Basics Code

ökonomisches Denken/Prinzipien der Ökonomie: Wirtschaftlichkeit (Generell: Verhältnis Input/Output); Bedürfnisse; Rationalität: (Kosten-Nutzen-Kalkül, Nutzenmaximierung); Knappheit/knappe Ressourcen (Güter); Produktivität

1

Produktionsfaktoren: Produktionskosten; Opportunitätskosten; Sunk Costs; Kostentheorie: Kostenminimierung; Skalenerträge 2

Wirtschaftssystem/-ordnung: (Soziale) Marktwirtschaft, Planwirtschaft 3

Arbeitsteilung; Tausch; Geld und wechselseitige Abhängigkeit 4Wirtschaftssektoren (Landwirtschaft, Industrie, Dienstleistungen), Branchen, (staatliche) Institutionen 5

Wirtschaftskreislauf: (nur bei expliziter Erwähnung) 6

2. Microeconomics

Angebot und Nachfrage: Markt als Zuteilungssystem; Marktgleichgewicht; Preisbildung (im freien Markt, im Monopol) 7

Wettbewerb/Marktformen: Wettbewerb, unvollst. Wettbewerb (Marktformen: Polypol; Monopol; Oligopol; Duopol); Staatlich regulierte Märkte; Kartelle, Marktversagen/Wettbewerbspolitik: Markteingriffe; Internalisierung von externen Effekten; Externalitäten;

8

Rolle des Staates: Wohlfahrt, Sozialstaatsprinzip (soziale Sicherheit, Umverteilung), öffentliche Güter 9

3. Macroeconomics

Volkswirtschaftliche Gesamtrechung: BIP/BSP; Wertschöpfung; Volkseinkommen; Zahlungsbilanz (Ertrags-/Kapitalverkehrsbilanz), gesamtgesell. Nachfrage (Konsum), Aussenhandelsbilanz

10

Konjunktur: Konjunkturschwankungen/-zyklus; Depression; Rezession; Aufschwung/Boom 11

Inflation/Deflation/Stagflation: Teuerung; Preisanstieg/Preisniveau; Konsumentenpreisindex (LIK) 12

Arbeitsmarkt: Beschäftigung, Arbeitslosigkeit, Einkommensverteilung, Lohneinkommen und Diskriminierung, Lohnsetzung, Reallohn, Arbeitsproduktivität, Bildung 13Wirtschaftsentwicklung: Produktion und Wachstum/Expansion; Wachstumstrend; Sparquote; Strukturwandel; Sparen versus Investitieren; Innovation/Technischer Fortschritt/Ausbildung

14

Öffentliche Finanzen: Staatsdefizite/Staatsverschuldung; Staatshaushalt; Budget, Steuern; Staatsgewinne 15

Wirtschaftspolitik: Fiskalpolitik (Staat)/Geldpolitik (Rolle der Notenbanken), Ziele der Wirtschaftspolitik, Multiplikatoren 16

Finanzmarkt: Geldhaltung; Kurse und Zinsen, Leitzins, Geldmenge; Geldangebot und -nachfrage, Notenbank, Akteure (z.B. Anleger) 17

4. International AffairsWeltwirtschaft: Internationale Wirtschaftsbeziehungen, Internationale Arbeitsteilung, Internationale Aspekte von Wachstum und Stabilität 18

Aussenwirtschaft: Importe/Exporte; Aussenhandel, Freihandel, Handelshemmnisse, Absoluter und komparativer Kostenvorteil 19

Wechselkursregime/Währungspolitik: Wechselkurse; Zinssätze, Zinsparität;Währungsrisiken; Devisenmärkte, Devisenkurse; Eurostabilität, Währungsunion, Output und Beschäftigung bei versch. Güter-/Finanzmarktgleichgewicht

20

Internationale Organisationen: WTO, Europäische Union; OECD usw. 21

Fusszeile


verwendung schwierigkeitsbestimmender aufgabenmerkmale für...

Documents