alternativer til randomiserede kontrollerede forsøg

ALTERNATIVER TIL

RCTs: MIKRO-ØKONOMETRISKE METODER Mette Deding

INDHOLD

• Introduktion • Skitsering af udvalgte metoder med eksempler, styrker og

svagheder • Regressionsanalyse • Matching • Regression discountinuity • Difference-in-difference

11-10-2013 MIKRO-ØKONOMETRISKE METODER 2

INTRODUKTION

• Alternativ til lodtrækningsforsøg:

• ”Kigge tilbage” vha. eksisterende data • Alternativt: være på forkant og indsamle masser af data • Udgangspunktet: Ikke muligt at styre, hvem der deltager

• Indsats- og kontrolgruppe typisk ikke ”ens” (=

”selektionsskævhed”) • Metoderne anvendes til korrektion


• At I får en intuitiv forståelse af metoderne for dermed at:

• Få bedre indsigt i, hvornår metoder kan anvendes som

alternativ

• Få bedre forudsætninger for at vurdere validiteten af eksisterende undersøgelser

INTRODUKTION – FORMÅL


• Krav til anvendelse:

• Detaljeret indsigt i økonometri og databehandling

• Konsekvens:

• Formålet er ikke, at I skal blive i stand til selv at gennemføre analyserne

INTRODUKTION – STORE KRAV TIL FAGLIGE FORUDSÆTNINGER


SELEKTIONSSKÆVHED – HVAD ER PROBLEMET?

• Systematiske forskelle mellem personer i hhv. indsats- og kontrolgruppe => • personer, der udtages til deltagelse, kan ikke sammenlignes

direkte med de personer, der ikke deltager, hvis

• den målte effekt er påvirket af, at personerne er forskellige

• fordi det dermed ikke er den rene effekt af indsatsen, der måles


SELEKTIONSSKÆVHED – HVORNÅR?

• Eksempler • Kommuner: Ishøj sammenlignet med Gentofte

• Unge på forskellige uddannelser, fx gymnasium vs. HTX

• Skoler i forskellige boligområder


• Opstår, når man ikke har et retvisende billede af den kontrafaktiske situation:



Tid

Udfaldsmål Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb

Effekt af indsats = det vi vil måle MEN kontrafaktisk forløb ukendt

Indsats

• Hvis vi bruger kontrolgruppe som mål for kontrafaktisk situation, der afviger systematisk fra indsatsgruppe på forhold af betydning for udfald:



Tid

Udfaldsmål Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb

Kontrolgruppe

Målte effekt af indsats

Indsats


• I eksempel: En del af målt effekt kan tilskrives selektionsskævhed => Vi måler ikke den rene effekt


Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb

Kontrolgruppe Selektionsskævhed

Tid

Udfaldsmål

Faktisk effekt af indsats

Indsats

METODER TIL HÅNDTERING AF ”SYNLIGE”/MÅLBARE FORSKELLE


Indsats Udfald

Målbare forhold

• Sammenhæng med et eller flere forhold ?

• Eksempel: • Er der sammenhæng mellem andel piger i 9. klasse på

en given skole og andel elever, der gennemfører en ungdomsuddannelse?

REGRESSIONSANALYSE - FORMÅL


REGRESSIONSANALYSE - EKSEMPEL


Andel elever, der gennemfører en ungdomsuddannelse

Andel piger i 9. klasse

Skoler





Forventet andel elever, der gennem-fører en ungdoms-uddannelse givet andel piger i 9. kl.

Skoler






Skoler

Hældning udtrykker sammenhængen

REGRESSIONSANALYSE - EFFEKTMÅLING

• Effekt af vejledningsindsats som gives i udvalgte skoler

• Er der (positiv eller negativ) sammenhæng mellem at få vejledning og andel elever, der gennemfører en ungdomsuddannelse?

• Vi må tage hensyn til andelen af piger


REGRESSIONSANALYSE - EFFEKTMÅLING Eksempel: Effekt af forøget vejledningsindsats





Skoler med indsats

Skoler uden indsats

Effekt af indsats

REGRESSIONSANALYSE – SVAGHED = ”OMVENDT KAUSALITET”

• Udfaldsmål kan have kausal effekt på indsats: • Eksempel:

• Hvis især skoler med dårligt karaktergennemsnit gennemfører indsats:

• Skoler med indsats har systematisk lavere karaktergennemsnit end skoler uden indsats

• Kan være årsag til negativ sammenhæng mellem indsats og karaktergennemsnit


Indsats Udfald

• Ikke-målte variabler påvirker både indsats og udfald:

• Eksempel: • Effekt af mindre klassestørrelse på elevpræstationer:

• Forældre med størst engagement kan være dem:

• der arbejder mest for at få små klasser • der mere end andre sikrer bedst mulig lektiehjælp

• Hvis forældreengagement påvirker både elevpræstationer og

klassestørrelse: • Sammenhæng kan skyldes forældreengagement

REGRESSIONSANALYSE – SVAGHED = ”UDELADTE VARIABLER”


Indsats Udfald

Målbare/ikke målbare forhold

REGRESSIONSANALYSE – SVAGHED

Statistisk sammenhæng mellem indsats og udfaldsmål

≠ Kausal effekt af indsats


MATCHING

• Central ide: • Personer i indsatsgruppe matches med en eller flere uden

for indsatsgruppe baseret på målbare forhold = forsøg på efterligning af RCT

• Kontrolgruppe = udvalgte sammenligningspersoner

• Central antagelse: • Når betinges på lang række målbare forhold =>

selektionsskævhed forsvinder => kausalt resultat opnås


Kontrol Indsatsgruppen Indsats Indsats Kontrol

11-10-2013 22

MATCHING – EKSEMPEL: MTFC – Multidimensional Treatment Foster Care

At undersøge effekten af MTFC i en dansk kontekst SFI udfører forskningsprojektet i samarbejde med Socialstyrelsen Involverer de fem MTFC teams og udvalgte institutioner for samme målgruppe Behandling skal helst foregå så tæt som muligt på normal praksis MIKRO-ØKONOMETRISKE METODER

MTFC DESIGN

Matchet før og efter måling, hvor vi sammenligner unge i MTFC og unge anbragt på institutioner for samme målgruppe

Målgruppe: • Familier med 12-17 årige med alvorlig

problemadfærd og behov for anbringelse eller genanbringelse

• Skal opfylde krav til MTFC behandling

11-10-2013 23

MIKRO-ØKONOMETRISKE METODER

MTFC DESIGN

Population: 150 familier i alt (50 familier i MTFC)

Rekruttering: august 2013 - januar

2015 (1½ år) Målgruppe og

sammenligningsinstitutioner kortlægges i projektet

11-10-2013 24


MTFC MÅLING

Der måles ved indskrivning, 12 mdr. og 24 mdr. Både forældrene og den unge skal udfylde spørgeskema på PC Udføres ved besøgsinterview i hjemmet – inden for 5 dage efter

rekruttering

11-10-2013 25


MTFC MÅL

Den unges adfærd Generel trivsel Forældre stress Sammenhængskraft i familien Depression Fritidsaktiviteter Sundhed (også alkohol og stoffer) Nære relationer Kriminalitet Sammenbrud i anbringelse

11-10-2013 26


MTFC ETISKE FORHOLD

Mundtlig og skriftlig information om studiet til forældre og ung Skriftligt samtykke Kan trække sig ud til hver tid Datatilsyn

11-10-2013 27


MATCHING – STYRKER OG SVAGHEDER

• Styrke:

• Mere fleksibel metode end regressionsanalyse: • Sammenhæng ikke nødvendigvis lineær • Heterogene effekter kan belyses bedre

• Potentielle svagheder: • Hvis ikke-målbare forhold af betydning => misvisende

resultater • Hvis manglende overlap => behov for stort datamateriale for

at finde éns grupper


METODER TIL HÅNDTERING AF ”USYNLIGE”/IKKE-MÅLBARE FORSKELLE


Indsats Udfald

Målbare forhold

Ikke-målbare forhold

REGRESSION DISCOUNTINUITY - ANVENDELSE

• Når deltagelse/ikke-deltagelse i indsats er bestemt af, om person ligger over/under grænseværdi for variabel, der er afgørende for modtagelse af indsats • Eksempel: Ansatte på virksomhed, der har arbejdsrelateret

stress og ligger på mindst 80 på en skala fra 1-100


REGRESSION DISCOUNTINUITY – IDE OG INTUITION

• Ide: • Sammenligning af personer, der ligger hhv. lige over og lige

under grænseværdi = indsats- og kontrolgruppe

• Intuition: • Personer i de to grupper er ikke forskellige, bortset fra, om

de får en indsats. • Argument: De er i høj grad ens mht. den variabel, der afgør

om de får indsats


REGRESSION DISCOUNTINUITY

• Kausal effekt af indsats = spring i udfald ved grænseværdi • Forudsætning = Ikke andre spring omkring grænseværdi,

der kan påvirke udfaldsmål

• Tænkt eksempel: • Indsatsgruppe består af elever, der har mindre end 50%

rigtige i en given test (test1). • Hvordan påvirker en given indsats disse elevers andel

rigtige i ny test (test2)?


REGRESSION DISCOUNTINUITY – EKSEMPEL


Indsatskriterie: Andel rigtige i test1

Udf

ald:

And

el r

igtig

e i t

est2



Udf

ald:

And

el r

igtig

e i t

est2

Indsatskriterie: Andel rigtige i test1


Eksempel fra forskerverdenen (Leuven m.fl., 2007) • Indsats = ekstra økonomiske midler til hollandske skoler med

mange børn, der • var etniske minoriteter eller • havde forældre med et lavt uddannelsesniveau

• Indsatskriterie = Mindst 70% af eleverne opfyldte krav

• Formål: at forbedre elevers præstationer på udvalgte skoler



Eksempel (Leuven m.fl., 2007) • Fremgangsmåde:

• Sammenligne skoler, der fik ekstra midler med skoler, der ikke fik disse midler

• Sammenligne før og efter introduktion af program (plus/minus 5% og 10% omkring de 70%)

• Resultat: ingen klar effekt – svag tendens til negativ effekt


REGRESSION DISCOUNTINUITY – POTENTIELLE SVAGHEDER

• Vanskeligheder, hvis sammenhæng mellem indsatskriterie og udfaldsmål er ikke-lineær

• Der er ingen værdier for indsatskriterie, hvor der både er personer i indsats- og kontrolgruppe

• Kun effekt omkring grænseværdien


• Paneldatametode: Bygger på data, hvor hver person (eller aldersgruppe eller skole eller… etc.) er observeret mindst to gange over tid

• Datamateriale: • To grupper, hvoraf kun den ene modtager en indsats

mellem de to observationstidspunkter

DIFFERENCE-IN-DIFFERENCES


Tid

Tid

Tid

DIFFERENCE-IN-DIFFERENCES - IDÉ

• De to grupper kan være forskellige på målbare forhold

• De gruppespecifikke gennemsnit for udfaldsmål kan være forskellige i fravær af indsats

• Men: Forskel kan ”differentieres ud” • Trække ændring for kontrolgruppe fra ændring for

indsatsgruppe • Tilbageværende forskel = kausal effekt


DIFFERENCE-IN-DIFFERENCES – EKSEMPEL: JENSEN OG NIELSEN (2010)


• Effekt af UU-vejledning på påbegyndelse af ungdomsuddannelse

C = (Indsatsgruppeefter-indsatsgruppefør) – (kontrolgruppeefter-kontrolgruppefør)

DIFFERENCE-IN-DIFFERENCES – EKSEMPEL : JENSEN OG NIELSEN (2010)


• Brug af kontrolvariabler som elevsammensætning, familiestatus, mors alder ved fødsel, mors uddannelse, antal uddannelsestilbud i kommunen, ledighed i kommunen, m.m.

• Tager højde for årgangsforskelle • Fx vil regeringens budskab om, at unge skal hurtigere i

gang med en uddannelse påvirke begge grupper ens => påvirker ikke det endelige resultat

• => Resultater af DiD kan fortolkes som egentlige årsagssammenhænge

DIFFERENCE-IN-DIFFERENCES – ANTAGELSER

• Gruppespecifikke udviklingstræk for udfaldsmål ville have været være ens (= parallelle) i fravær af indsats, dvs. forskel skal være konstant over tid

• ”Før-måling” må ikke være påvirket af fremtidig indsats (annonceringseffekt)

• Der må ikke – samtidig med indsatsen – være andre ændringer af betydning for adfærd, der påvirker de to grupper forskelligt


DIFFERENCE-IN-DIFFERENCES – STYRKER OG SVAGHED

• Styrker: • anvender kontrolgruppe • tager højde for gruppespecifikke uobserverbare forhold, der

er konstante over tid…

• Potentiel svaghed: • …men tager ikke højde for uobserverbare forhold, der

varierer over tid


OPSAMLING

• ÉN METODE, der kan løse alle udfordringer, FINDES IKKE

• Regressionsanalyse og matching: • Fortolkes med forsigtighed, især overveje ikke-målbare

forholds betydning

• Brug af regression discountinuity: • ”Naturlige” eksperimenter – kræver diskontinuitet i

indsatsvariabel

• Differences-in-differences: • Kan tage højde for individ- eller gruppespecifikke ikke-

målbare forhold, der er konstante over tid



Hvad er forudsætningen for at lave en effektmåling •Veldefineret indsats

•Veldefineret (stor) målgruppe

•Veldefineret (stor) kontrolgruppe

•Målbare effekter

•Data for BÅDE indsatsgruppe og kontrolgruppe

•Effektmål

•Oplysninger til brug for korrektion af forskelle =>

MANGE data skal indsamles for både indsatsgruppe og

kontrolgruppe

SPØRGSMÅL OG

KOMMENTARER?!

MIKRO-ØKONOMETRISKE METODER 46

11-10-2013

alternativer til randomiserede kontrollerede forsøg

Documents