8/19/2019 Mostly Harmless Econometrics Notes Part 1

1/3

Ch a p t e r 1 : Q u e s t i o n s a b o u t Q u e s t i o n s

4 F A Q s :

● W h a t i s th e c a us a l re l a ti o n s h ip o f i n t e re s t ?○ D e s c r i p t i v e r e s e a r c h is l e s s i n t e r e s t i n g b / c i t d o e s n ’ t a n s w e r q u e s t i o n s

o f b u s i n e s s o r p o l i c y

● W h a t i s t h e i d e a l e x p e ri m e n t?

○ O f t e n i m p o ss i b le t o a c t u a ll y c a r r y o u t

○ g u i d e s t h e s tr u c t ur e / g o a ls o f th e a ct u a l ex p e r im e n t

○ H e l p d e c i d e o n f r u i t f u l r e s e a r c h t o p i c s - - i f y o u c a n ’ t s a t i s f a c t o r i l y r e s o l v e

t h e q u e s t i o n w i t h a n i d e a l e x p e r i m e n t , i t ’ s a w a s t e o f t i m e

○ A v o i d F U Q ’ d q u e s t io n s ( F u n d am e n t a ll y U n i d e nt i f i ed Q u e s t io n s )

■ e x a m p le i s t he e f f e ct o f s ch o o l e nt r y d at e o n e d uc a t i on a l

o u t c o m e s - - o l d e r k i d s d o b e t t e r b e c a u s e t h e y ’ r e o l d e r , e v e n i f

t h e y e n d u p w o r s e o f f a t a g e 2 0

●   W h a t i s y o u r id e n t i f i c a t i o n s t r a t e g y ?

○ U s e d w h en d a t a i s no t g e n e ra t e d b y a r an d o m i ze d t r i al t o a p p r ox i m a te a

r e a l e x p e r i m e n t

●   W h a t i s y o u r m o d e o f s t a t i s ti c a l i n f e r e n c e ?

○ D a t a r a re l y c ov e r s t he w h o l e p op u l a t io n - - h o w d o yo u e x t r ap o l a t e?

Ch a p t e r 2 : T h e I d e a l Ex p e r i m e n t

R a n d o m a s s i g n m e n t i s t h e b e s t r e s e a r c h d e s i g n , b u t t h e y ’ r e v e r y e x p e n s i v e

C o r r e l a t i o n d o e s n ’ t i m p l y c a u s a t i o n - - d o h o s p i t a l s m a k e p e o p l e s i c k e r ?

, y i i s t h e m e a s u r e o f i n t e r e s t , D i i s t h e t r e a t m e n t e f f e c t ( f o r a n

i n d i v i d u a l )

y0i

i s t h e b a s e o u t c o m e f o r t h e p a t i e n t ( w i t h o u t t h e t r e a t m e n t

e f f e c t )

y1i

- y0i

i s t h e c a u s a l e f f e c t o f t h e t r e a t m e n t f o r t h e i n d i v i d u a l

i n r e a l d a t a , s e l e c t i o n b i a s s k e w s r e s u l t s

- - s i c k p e o p l e g o t o h o s p i t a l s , h e a l t h y p e o p l e d o n ’ t

r a n d o m a s s i g n m e n t g e t s r i d o f s e l e c t i o n b i a s , l e t t i n g u s u s e t h e o b s e r v e d d i f f e r e n c e i n

o u t c o m e s a s a r e l i a b l e m e a s u r e o f c a u s a l i t y

8/19/2019 Mostly Harmless Econometrics Notes Part 1

2/3

H o w e v e r , r a n d o m i z e d t r i a l s a r e d i f f i c u l t a n d e x p e n s i v e , s o m o s t r e s e a r c h e x p l o i t s n a t u r a l

s o u r c e s o f r a n d o m v a r i a t i o n

R e g r e s s i o n i s u s e f u l :

i f t r e a t m e n t e f f e c t i s s a m e f o r e v e r y b o d y :

   ρ = treatmen t effect, α = base outcome , ŋ = r a n d o m v a r i a t i o n f r o m E ( y 0i         )

s e l e c t i o n b i a s = c o r r e l a t i o n b e t w e e n t h e r e g r e s s i o n e r r o r ( ŋ i) & t h e r e g r e s s o r ( D i)

t o f i n d t h e t r e a t m e n t e f f e c t i n a r a n d o m e x p e r i m e n t , r e g r e s s Yi

o n Di

C o n t r o l l i n g f o r v a r i a b l e s r e d u c e s t h e r e s i d u a l v a r i a n c e , m a k i n g t h e e s t i m a t e m o r e a c c u r a t e

M a k i n g Re g r e s s i o n M a k e Se n s e

W i t h o u t r a n d o m i z e d e x p e r i m e n t s , r e g r e s s i o n j u s t m a k e s p r e d i c t i o n s , c a n ’ t s p e a k t o c a u s a l i t y

P r e d i c t i v e p o w e r s u m m a r i z e d b y C o n d i t i o n a l E x p e c t a t i o n F u n c t i o n ( C E F )

C E F i s t h e p o p u l a t i o n a v e r a g e o f Y i when multiple covariat es X k i a r e h e l d f i x e d ( E [ Y i|X i])

fy

i s t h e c o n d i t i o n a l d e n s i t y d i s t r i b u t i o n

- - t h a t i s , t h e m e a n o f yi

a c r o s s t h e p o p u l a t i o n i s t h e u n c o n d i t i o n a l

e x p e c t a t i o n o f t h e C E F ( l a w o f i t e r a t e d e x p e c t a t i o n s )  

i m p o r t a n c e i s t h a t i t b r e a k s a r a n d o m v a r i a b l e i n t o t w o p i e c e s :

t h e C E F - D e c o m p o s i t i o n P r o p e r t y  

ϵ i i s m e a n - i n d e p e n d e n t o f Xi ( E [ ϵ i|X i])

ϵi

i s t h u s u n c o r r e l a t e d w i t h Xi

( u s e t h e C E F - D e c o m p o s i t i o n P r o p e r t y , t h e n b r e a k a p a r t t h e t e r m s o f t h e e x p e c t a t i o n f u n c t i o n

- - t h e s e c o n d t e r m w i l l r e d u c e i n t o E [ Yi

|Xi

] b y t h e l a w o f i t e r a t e d e x p e c t a t i o n s )

8/19/2019 Mostly Harmless Econometrics Notes Part 1

3/3

T h e C E F - P r e d i c t i o n P r o p e r t y s a y s t h a t t h e C E F i s t h e b e s t p r e d i c t o r o f Y i g i v e n Xi b / c i t

s o l v e s a m i n i m u m m e a n s q u a r e d e r r o r p r e d i c t i o n p r o b l e m

f o r m a l s t a t e m e n t :

a r g m i n ( f ( m ( xi) ) = t h e v a l u e o f m ( x i) f o r w h i c h t h e f u n c t i o n f ( m ( x i) i s m i n i m i z e d

P r o o f : v a r i a n c e o f Y i i s v a r i a n c e o f C E F + v a r i a n c e o f r e s i d u a l

v a r i a n c e o f t h e r e s i d u a l = E [ ϵi

2] a s v a r i a n c e i s t h e e x p e c t a t i o n o f t h e d i f f e r e n c e f r o m t h e m e a n

( w h i c h i s 0 f o r t h e r e s i d u a l ) .

l i n e a r r e g r e s s i o n i s d o n e b y f i n d i n g t h e C E F t h a t f i t s t h e f o l l o w i n g f u n c t i o n

( X ’ib = m ( x ) f r o m t h e g e n e r a l i z e d C E F e q u a t i o n )

W h e n w e a s s u m e t h a t t h e e x p e c t a t i o n o f t h e e r r o r a c r o s s Xi

i s 0 :

u s e l e s s m a t e r i a l o u t p u t s

M S W = r e f u s e f r o m m u n i c i p a l i t i e s ( h o u s e h o l d s , s m a l l b u s i n e s s e s , i n s t i t u t i o n s )