112.04.23
Empirische SozialforschungGrundlagen – Methoden – Anwendungen
VIII. Experimentelle und Quasiexperimentelle Designs
Stefan Freier, Thorsten Graß
212.04.23 Stefan Freier, Thorsten Graß
Agenda1. Überblick Designvarianten2. Vorexperimentelle Designs3. Experimentelle Designs4. Quasi-Experimente und Evaluationsforschung5. Beispiel: Von der Verantwortungsdiffusion
zur experimentellen Spieltheorie
Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009
312.04.23 Stefan Freier, Thorsten Graß
1.Überblick DesignvariantenCampell und Stanley (1963) haben die Folgenden Designvarianten systematisiert und Vor-und Nachteile untersucht:
1. Vorexperimentelle Designs (als wissenschaftliche Strategie, bzw. zur Hypothesenführung ungeeignet, da mit Fehlerquellen behaftet)
2. Experimentelle Designs (Zwei Gruppen, Randomisierung, unabhängige Variable vom Forscher manipuliert)
3. Quasi-Experimentelle Designs (Kontrollierte Versuchsanordnung, ohne Randomisierung)
4. Ex-post-facto-Designs (Ausblendung von verzerrenden Störfaktoren nach der Untersuchung) [Genaue Betrachtung in Kapitel XIV]
412.04.23 Stefan Freier, Thorsten Graß
2. Vorexperimentelle DesignsVorexperimentelle Designs können den Zweck eines Experiments (Varianzkontrolle) nicht erfüllen, da keine Vergleichsgruppen bestehen und auch keine Randomisierung besteht
Ausprägungen:X O Design: X ODesign ohne Vergleichsgruppe, keine Varianz auf der unabhängigen Variable (Stimulus X) z.B. Vertreiben von Elefanten durch Klatschen auf Parkbank
X O „Design falscher Vergleichswerte“:Varianz der abhängigen Variable (O) = 0 z.B. Suche nach Gemeinsamkeiten der 100 erfolgreichsten Lernenden (Was ist Output, Was ist input?)
X=StimulusO=Observation
512.04.23 Stefan Freier, Thorsten Graß
2. Vorexperimentelle Designs O1 X O2 Vorexperimentelles Design mit vorher – nachher
BetrachtungVarianz kann sich im Zeitverlauf ändern, wobei man nicht weiß ob es
auch ohne Stimulus passiert wäre z.B. Lernerfolg einer Klasse ist nach Motivationsgespräch gestiegen,
man weiß aber nicht ob nicht andere Faktoren dafür verantwortlich sind
Schwächen vorexperimenteller Designs: Keine Vergleichsgruppen (Varianz=0) Reifungsprozesse können nicht identifiziert werden
612.04.23 Stefan Freier, Thorsten Graß
1. Überblick Designvarianten2. Vorexperimentelle Designs3. Experimentelle Designs4. Quasi-Experimente und Evaluationsforschung5. Beispiel: Von der Verantwortungsdiffusion
zur experimentellen Spieltheorie
Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009
Agenda
712.04.23 Stefan Freier, Thorsten Graß
3. Experimentelle DesignsPrämissen für Experimentelle Designs: Bildung mindestens zweier Gruppen (Versuchs- und
Kontrollgruppe) Randomisierung (Zufällige Verteilung der Probanden auf die
Gruppen) Manipulation des Stimulus (unabhängige Variable X )
Beispiel Medikament: X= Richtiges Medikament (Versuchsgruppe), leeres Feld
(Kontrollgruppe) bekommt Placebo
R=RandomisierungX= Stimulus
O=ObservationR X O Versuchsgruppe
R O Kontrollgruppe
812.04.23 Stefan Freier, Thorsten Graß
3. Experimentelle DesignsBlindversuch: Versuchspersonen wissen nicht ob Sie in Kontroll- oder
Versuchsgruppe sind, Hypothese ebenfalls nicht bekanntDoppelblindversuch: Versuchsleiter weiß nicht welche Versuchspersonen welcher Gruppe
angehören (Kennt den Stimulus nicht) Verhinderung von Selbstsuggestion und Verhaltensänderung
aufgrund der Kenntnis der Hypothese Versuchs- und Kontrollgruppen-Design mit mehreren Stimuli (Jede
Versuchs- ist gleichzeitig Kontrollgruppe)
Beispiel: Zwei Medikamente unterschiedliche Zusammensetzung welche Wirkungen?
R X1 O1 Versuchsgruppe 1
R X2 O2 Versuchsgruppe 2
... ... ... ...
R Xm Om Versuchsgruppe m
912.04.23 Stefan Freier, Thorsten Graß
3. Experimentelle DesignsHintergrund Randomisierung: Probanden werden zufällig auf Versuchsgruppen aufgeteilt (Drittvariablen
werden neutralisiert) Störfaktoren werden ausgeschlossen (z.B. unbeobachtete Merkmale) Scheinkorrelation kann ausgeschlossen werden
1. X O Stimulus führt zu Observation
2. Z X O Korrelation zwischen X und O ist nicht kausal sondern wird durch Z hervorgerufen (Scheinkorrelation)
3. X Y O Drittvariable Y wirkt X entgegen (Entgegenwirkende Variable)(z.B. nicht Qualifikation durch Maßnahme sondern
Regelmäßigkeit des Tagesablaufs)
Z=Unbekannter Faktor
Y= Entgegenwirkende
Variable
1012.04.23 Stefan Freier, Thorsten Graß
3. Experimentelle DesignsZusammenfassung Fehlerquellen: Scheinkorrelation: Unbekannter Faktor (Z) ist für
Zusammenhang zwischen X und O verantwortlich (Bsp. Wirkung von Berufsförderungsprogrammen)
Weitere Fehlerquellen trotz Randomisierung: Auftritt einer Drittvariablen Y die X entgegenwirkt
Lösung: Laborexperiment
Reaktivität (z.B. „Hawthorne-Effekt“ Wissen der Probanden -> Gegenstand wissenschaftlicher Forschung) Lösung: Doppelblindversuch
Zufallsauswahl missglückt (geringe Probandenzahl) Lösung: Matching (Versuch „Zwillinge“ in Gruppen zu schaffen)
1112.04.23 Stefan Freier, Thorsten Graß
3. Experimentelle DesignsSolomon – Viergruppenversuchsplan
Vorher-Nachher Messung teil des Solomon Vierguppenversuchs:
Messung des Ausgangniveaus Vorhermessung kann Nachhermessung beeinflussen (Lerneffekt) Wirkung Stimulus wird zweifach überprüft Bei pos. Kausalem Zusammenhang ist zu erwarten:
O2>O1, O2>O4, O5>O6
R O1 X O2 Experimentalgruppe 1
R O3 O4 Kontrollgruppe 1
R X O5 Experimentalgruppe2
R 06 Kontrollgruppe 2
1212.04.23 Stefan Freier, Thorsten Graß
3. Experimentelle DesignsStörfaktoren:
Zwischenzeitliches Geschehen ReifungsprozesseVarianz abhängige Variablen wird durch „intrapersonale“ Prozesse
bedingt, also nicht durch Stimulus MeßeffekteVeränderung der abhängigen Variablen ist Folge des ersten
Messvorganges (O3 auf O4) -> Nach erster Messung evtl. Verhaltensänderung
InstrumentationVeränderungen der Versuchssituation beeinflussen das Niveau der
abhängigen Variablen Verzerrte Auswahlen und Ausfälle
1312.04.23 Stefan Freier, Thorsten Graß
3. Experimentelle DesignsVorteile: Zeitliche OrdnungExperimenteller Stimulus wird im Experiment „produziert“ und geht der
vermuteten Wirkung zeitlich voraus. (Zuordnung möglich) Randomisierung Störvariablen werden ausgeblendet
Nachteile:Externe Validität nicht gegeben, da Lassen sich Ergebnisse generalisieren? (Stichprobe) Experimentalsituation -> Können Ergebnisse auf Alltagssituation
übertragen werden? Hoher Aufwand bzw. Unmöglichkeit der Randomisierung bei vielen
Untersuchungsgegenständen Reaktivität (Suggestion, Aufmerksamkeitseffekte bei Probanden und
Versuchleitern
1412.04.23 Stefan Freier, Thorsten Graß
1. Überblick Designvarianten2. Vorexperimentelle Designs3. Experimentelle Designs4. Quasi-Experimente und Evaluationsforschung5. Beispiel: Von der Verantwortungsdiffusion
zur experimentellen Spieltheorie
Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009
Agenda
1512.04.23 Stefan Freier, Thorsten Graß
4. Quasi- Experimente und Evaluationsforschung
Versuchsanordnungen, ähnlich wie Experimentelle Designs, jedoch folgen sie nicht deren strengen Anforderungen
ABER: Kriterium der Randomisierung ist verletzt
Bei Evaluation von Maßnahmen ist Zufallsaufteilung von Personen auf die einzelnen Gruppen oft nicht möglich
Wirkungen von Maßnahmen kann abgeschätzt werden, allerdings können Drittvariableneffekte auftreten und nicht neutralisiert werden (Aufgrund fehlender Randomisierung)
1612.04.23 Stefan Freier, Thorsten Graß
Zwei gebräuchliche quasiexperimentelle Designs:1. Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe2. Zeitreihenexperimente
Zu 1. Experiment mit Vorher-nachher-Messung
O1 und O3 können sich aufgrund fehlender Randomisierung (Selbstselektion) unterscheiden, daher Vorhermessung wesentlich
Veränderung ist Meßbar Reifungseffekte und zwischenzeitliche Geschehen (interne Validität)
werden mittels Vergleich von Maßnahmen und Kontrollgruppe kontrolliert
O1 X O2 Maßnahmengruppe
O3 O4 Kontrollgruppe
4. Quasi- Experimente und Evaluationsforschung
1712.04.23 Stefan Freier, Thorsten Graß
Beispiel: Einfluss Förderprogramm auf Leistung von Schulkindern
O2-O1 > O4-O3
Nachweis für Wirksamkeit des Förderprogramms?
Probleme die zur Verzerrung durch Drittvariablen führen können: Nichtvergleichbarkeit der Gruppe (z.B. Selbstselektion nur
motivierte Schüler) Systematischer Ausfall von Probanden (Leistungsschwache Schüler
brechen ab) Folge: O2 wird nach oben verzerrt, leistungszuwachs wird
fälschlicherweise Maßnahme X zugeordnet
O1 X O2 Maßnahmengruppe
O3 O4 Kontrollgruppe
4. Quasi- Experimente und Evaluationsforschung
1812.04.23 Stefan Freier, Thorsten Graß
Lösungsmöglichkeiten:a) Paarweises Matchingb) Nachträgliche Kontrolle von Drittvariablen mit multivariaten
statistischen Verfahren
Zu a)Merkmale vorheriger Leistungsmessung, Geschlecht, Sozialstatus
werden berücksichtigt und konstant gehalten (z.B. Jedem Schulkind in der Maßnahmengruppe wird ein Zwilling in der Kontrollgruppe zugeordnet)
Zu b)Ähnlich wie Matching, jedoch werden ausgewählte Drittvariablen
nachträglich rechnerisch konstant gehalten (Durchführung Kapitel XIV)
Eine Kombination beider Methoden ist möglich
4. Quasi- Experimente und Evaluationsforschung
1912.04.23 Stefan Freier, Thorsten Graß
Problem weiterhin: Nicht explizit berücksichtigte Drittvariablen verzerren das Ausmaß
des Effekts von X
Besteht Verdacht:
Motivation (Drittvariable) messen und beim Matching oder Datenanalyse kontrollieren, Verzerrung durch Selbstselektion vermeiden:
Kontrollgruppe aus Personen der Wartegruppe bilden
4. Quasi- Experimente und Evaluationsforschung
2012.04.23 Stefan Freier, Thorsten Graß
Regressionseffekt (Angleichung)
Bsp. Schlechte Schüler mehr potenzial zur LeistungsverbesserungGute Schüler weniger potenzial nach oben aber Verschlechterung
möglich
Werte der Vorher- Messung in Versuchs- und Kontrollgruppe (O1
und O3) unterscheiden sich stark Streben aber im Folgenden zur Mitte
Bsp. Kriminalitätsrate sehr hoch -> neues Gesetz -> Kriminalität sinkt aber Rückgang ohnehin, da Regression zur Mitte
Dieser Rückgang wird allerdings der Maßnahme zugerechnet
4. Quasi- Experimente und Evaluationsforschung
2112.04.23 Stefan Freier, Thorsten Graß
Zu 2. Zeitreihen-Experimente
Lösungsansatz: Regressionseffekte können u.a. durch ein Zeitreihen-Design kontrolliert
werden Hier wird der Trend in einer Zeitreihe vor einem Stimulus X mit dem Trend
nach Stimulus X verglichen
O1 O2 O3 O4 X O5 O6 O7 O8
Vorher- Trend Nachher- Trend
Somit sind Trends vergleichbar Regressionseffekte und Reifung können identifiziert werden Drittvariablen sind Identintifizierbar Allerdings: Es können im Nachher-Trend von X unabhängige Faktoren
auftreten die man X fälschlicherweise zuordnet
4. Quasi- Experimente und Evaluationsforschung
2212.04.23 Stefan Freier, Thorsten Graß
Weiteres Problem ist die Einschätzung und Separierung der Wirkung von X auf den Nachher- Trend
Hier werden zur Prüfung von X und zur Schätzung der Stärke des Effekts statistische Methoden der Zeitreihenanalyse benutzt
Beispiel Zeitreihenexperimente:Hat die Erhöhung der Strafandrohung in Hamburg zu einer Abnahme
der Häufigkeit des Schwarzfahrens in öffentlichen Verkehrsmittelns geführt?
Scheint erfolgreich! ?
4. Quasi- Experimente und Evaluationsforschung
O1 X O2
1,12% Schwarzfahrer Erhöhte Geldbuße (40€) 0,84 % Schwarzfahrer
2312.04.23 Stefan Freier, Thorsten Graß
4. Quasi- Experimente und Evaluationsforschung
2412.04.23 Stefan Freier, Thorsten Graß
Für genauere Analyse Design mehrfache Zeitreihen erforderlich
Multiples Zeitreihen- Design:
O1 O2 O3 X O5 O6 HH
O1 O2 O3 O5 O6 HB
Durch Vergleich mit einer zweiten Zeitreihe ohne Stimulus wird die Maßnahme optisch aufgewertet
4. Quasi- Experimente und Evaluationsforschung
2512.04.23 Stefan Freier, Thorsten Graß
Allerdings für valide Aussage werden benötigt:
Lange Zeitreihen Viele unterschiedliche Vergleichszeitreihen
Vorliegende Daten liefern somit keine valide Aussage für den nachhaltigen Effekt des Stimulus
4. Quasi- Experimente und Evaluationsforschung
2612.04.23 Stefan Freier, Thorsten Graß
Zusammenfassung: Designs finden Anwendung in Evaluationsstudien Ziel: Erfolgskontrolle und finden von Nebenwirkungen
Fehlerquellen: Drittvariablen, Regressionseffekt, Reifung, kurze Zeiträume
etc. sind besondere Aufmerksamkeit zu widmen um Wirkungszusammenhänge zu erkennen
4. Quasi- Experimente und Evaluationsforschung
2712.04.23 Stefan Freier, Thorsten Graß
1. Überblick Designvarianten2. Vorexperimentelle Designs3. Experimentelle Designs4. Quasi-Experimente und Evaluationsforschung5. Beispiel: Von der Verantwortungsdiffusion
zur experimentellen Spieltheorie
Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009
Agenda
2812.04.23 Stefan Freier, Thorsten Graß
Experiment zurückzuführen auf Freiwilligendilemma (Diekmann) bzw. auf das Prinzip der Verantwortungsdiffusion (Darley und Latané)
Hypothese: Je größer Beobachterkreis, desto geringer eigene Hilfebereitschaft
Folge: Hilfeleistung unterbleibt
Bsp: Kind ist im Eis eingebrochen
5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie
2912.04.23 Stefan Freier, Thorsten Graß
Abstrakt: Wert der Hilfeleistung ist für n Personen ein kollektives Gut (kann bereits durch eine Person vollständig hergestellt werden) mit
Nutzen U
Hilfeleistung ist mit Kosten verbunden (K) Annahme U>K>0
„Trittbrettfahrer“ setzen auf Person, die Kosten auf sich nimmt um selbst U zu erzielen
Kooperative Lösung: kooperative Person erzielt U-K Trittbrettfahrer jedoch U
Unterbleibt Hilfeleistung: U=0 für alle!
K=KostenU=Nutzenn= Anzahl Personen
5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie
3012.04.23 Stefan Freier, Thorsten Graß
Gruppengröße n Fallzahl N Hilfeleistungsreaktionen in % Durchschnittliche Zeit in Sek. Bis zur Reaktion
1 (Versuchsperson und Opfer)
13 85 52
2 (Versuchsperson, Opfer und andere Person)
26 62 93
5 (Versuchsperson,Opfer und 4 andere Personen
13 31 166
Darley-und-Latané Experiment:
Mit steigender Gruppengröße sinken die Hilfeleistungsreaktionen
5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie
3112.04.23 Stefan Freier, Thorsten Graß
Hieraus kann man die Nash-Gleichgewichtslösung ableiten:
Die Wahrscheinlichkeit der Kooperation (p) steigt mit dem Wert des Kollektivgutes (U)
Und sinkt mit den Kosten (K) und der Gruppengröße (n)
D.h. Desto größer die Gruppe desto größer die Anzahl der Trittbrettfahrer
Bsp. Investitionen von Unternehmen in Forschung
p= Wahrscheinlich
keit der Kooperation
5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie
3212.04.23 Stefan Freier, Thorsten Graß
E) Zusammenfassung Kap VIIITyp Merkmal
Experimentelle Designs Mit Randomisierung ,es entstehen gute Kontrollgruppen
Quasiexperimentelle Designs Ohne Randomisierung, es entstehen suboptimale Vergleichsgruppen
Vorexperimentelle Designs Ohne Vergleichsgruppe