Erfaringer med bruk av difference-in-difference
30-09-16
Michael Spjelkavik Mark
Økt ønske om å gjennomføre kvantitative evalueringer
Verdensbanken, OECD og ESA (EFTA Surveilliance Authority)
Sterkere fokus på «evidence-based policy making»– Forbedring af kvaliteten av programmer– Forbedring af efficiens av programmer – Forbedring af effektivitet av programmer – Men frem for alt et ønske om at kunne sige nået om: BFTB
ESA Guidelines til evaluering av statsstøtteordninger er tydelig:– Evaluerer direkte og indirekte effekter av et virkemiddel– Evaluering må bygge på metoder der analyserer kausale effeker
Difference-in-difference er da en mulighed
30-09-16 3
Difference-in-difference i teorien
4
Forudsetninger i praksis
Programmet må ha klart og tydeligt formål og målgruppe
Der må være klar og tydelig målhierarki som henger nøye sammen med ovenstående
Det krever mye databearbeiding og beviste valg av økonometriske modeller
Spørsmål om selvseleksjon og endogenitet, stiller krav til kontrollgrupper
5
Eksempel på målhieraki – HöG prosjekter hos KK-Stiftelsen
6
Økt konkurrenceevne målt ved økt produktivitet
Økt kvalitet på forskningen ved ”nya lärosäten”.
Hovedformål
Underliggande mål
De stora globala samhällsutmaningarna (globalisering, migration, klimatförändringar etc.)
Globalisering av forskningsfinansiering och resultat
Globalisering av svenskt näringsliv
«Bakgrund»
Økt FoU kapacitet hos de ”nya lärosätena” Økt kapacitet hos foretak
Datagrunnlag
01-02-03Endres i topp-/bunntekst 7
Antal observasjoner: Tidsdimension
Tid
Effe
kter
av
ordn
inge
n/vi
rkem
idde
let
Adferd
Resultat
Effekt
Eksempel fra Skattefunn
01-02-03Endres i topp-/bunntekst 8
Resultater Effekter
Datagrunnlag
01-02-03Endres i topp-/bunntekst 9
Antal observasjoner:
Tidsserier! – Poole data
Tidsdimension
Håndtering av outliers– Samt intra og ekstrapolering
Tid
Effe
kter
av
ordn
inge
n/vi
rkem
idde
let
Adferd
Resultat
Effekt
Parallel (or common) trend assumption
10
Valg av økonometrisk tilgang
Parallel trend assumption – korrigerer for heterogenitet eller utvelg kontrollgruppe
01-02-03Endres i topp-/bunntekst 11
*PSM= Propensity Score Matching
*RDD= Regression Discontinuerity Design
Difference-in-difference
PSM*RDD*
Krav til kontrollgruppe
Antalobservasjoner
Difference in difference udgangspunkt
𝑌𝑌𝑡𝑡 = 𝛽𝛽0 + 𝛽𝛽1𝑇𝑇 + 𝛽𝛽2𝐷𝐷 + 𝛽𝛽3𝑇𝑇 × 𝐷𝐷 + 𝛾𝛾𝑋𝑋𝑡𝑡 + 𝜀𝜀𝑡𝑡
01-02-03Endres i topp-/bunntekst 12
𝑌𝑌𝑡𝑡: Output – performance indikator
𝑇𝑇: Er en tidsdummy (før/etter treatment)𝐷𝐷: Er dummy for treatment𝑇𝑇 × 𝐷𝐷: Er dummy for om observasjon er i treatment gruppe eller ej, før eller etter treatment𝑋𝑋𝑡𝑡: Kontrolvariable
Kontrolgrupper via matching
01-02-03Endres i topp-/bunntekst 13
Trin i matching prosedure
Seleksjon av kontrollgruppe - må matche «treatmentgruppen»– velg de som har lignende forudsetninger for treatment og performance (strategisk, finansielt, teknologisk og human capital)– Typisk igjennom estimering av propensity score (fx logit model)
Vælg «tvillinger» i statistisk forstand til treatmentgruppen– Stil krav om «Common Support» hvor der stilles grenser for hvor forskellige tvillingerne må være målt på propensity score
Vælg flere tvillinger – Fx gjennom 1:5 eller 1:10 matching
Balance tests. – Tester balanse mellom treatment og kontrollgruppe– Nået som sjeldent presenteres
01-02-03Endres i topp-/bunntekst 14
Eksempler på matching: HöG-programmet Deltagande
ForetakKontrollgrupp,før matchning
Kontrollgrupp,etter matchning
Omsetning 470.000 29.200*** 590.000
Produktivitet 980.000 630.000*** 860.000
Antall sysselsatte 157 10*** 160
Kapitalintensitet 480.000 170.000*** 580.000
Eksportintensitet 0,327 0.024*** 0,347
Andel sysselsatte med mellomlang og landutdanning 0,59 0,40*** 0,58
Andel sysselsatte med min bachelor 0,34 0,20*** 0,33
Andel sysselsatte med PhD 0.036 0.011*** 0.038
First difference i produktivitet 5.86 8.49 7,82
First difference i sysselsetting 6.57 6.73 7.02
First difference i omsetning 10.63 7.85 12.81
01-02-03Endres i topp-/bunntekst 15
Effekt av deltagelse i HöG
01-02-03Endres i topp-/bunntekst 16
90
100
110
120
130
140
150
160
t-1 t 0 t+1 t+2 t+3 t+4 t+5 t+6
Akk
umul
eret
tilv
ekst
i pr
osen
t
Tiden fra første samarbeide
Detagare Icke deltagere
** Signifikant på et 5% signifikansniveau
*** Signifikant på et 1% signifikansniveau
t=2,02**
t=2,67***
t=3,31***
Eksempel på matching: Effekt av samarbeide mellom næringsliv og acakademia
Før matching Etter matching
Coefficient t-value Coefficient t-value
Sysselsatte: 50-249 0,47** (6,75) 0,04 (0,33)Sysselsatte: 250-999 0,69** (6,55) -0,06 (-0,34)Sysselsatte: 1,000-2,499 0,89** (4,94) 0,07 (0,24)Sysselsatte: >2,500 1,39** (5,87) 0,08 (0,23)Export intensityt-1 -0,07 (-0,89) -0,10 (-0,71)Ln(kapital t-1) 0,11** (7,48) 0,02 (0,67)Andel sysselsatte med ISCED (4&5A) t-1
0,82** (7,57) 0,10 (0,44)Andel sysselsatte med ISCED (5B) t-1
3,89** (11,72) -0,35 (-0,52)Andel sysselsatte med ISCED (5B)2
t-1
-3,45** (-6,71) 0,79 (0,74)Andel sysselsatte med ISCED (6) t-1
2,59** (17,05) -0,15 (-0,61)Ln(produktivitet t-1) 0,01 (0.12) -0,02 (-0,23)
01-02-03Endres i topp-/bunntekst 17
Produktivitetseffekt av samspil
01-02-03Endres i topp-/bunntekst 18
90
95
100
105
110
115
120
125
130
-3 -2 -1 1 2 3 4 5 6
Inde
x for
the p
rodu
ctivi
ty g
row
th (y
ear o
f pa
rtici
patio
n =
inde
x 100
)
Years before and after participation
Companies participating in R&D collaboration with the University of Copenhagen
Control group
Sign. 10%
Sign. 5%
6,3%
7,8%
11,3%11,6%
15,8%
Omsamling
Ex post evaluering basert på observerbare data
Tenkt lenge og dypt over målhierarki og intervensjonslogikk
Anvend intervensjonslogikken til at definere performans indikatorer, kontrollvariabler og forventet effekttidspunkt
Data, data, data…. Test, test, test
Analysere og forstå samt presentere på forståelig vis (bruk intervensjonslogikk)
01-02-03Endres i topp-/bunntekst 19
www.nifu.no