pertemuan 08.1 extra sum of squares

8/17/2019 Pertemuan 08.1 Extra Sum of Squares

1/23

REGRESI BERGANDA II

Extra Sum of Squares


2/23

Uji F Parsial dan SekuensialPada analisis regresi linier berganda, terhadap

semua peubah penjelas yang tersedia : Diuji peubah penjelas apa yang berpengaruhnyata terhadap respon.

Dari yang ada dalam model, usahakan yang dipakai hanya peubah penjelas yang

keberadaannya dalam model menyum ‐bangkan keragaman kepada garis regresicukup besar.

[email protected] ‐ 2


3/23

Uji F Parsial dan SekuensialTerhadap semua peubah penjelas yang tersedia(lanjutan) :

Jika suatu peubah penjelas keberadaannya

dalam model sudah dapat diwakili oleh yang lainnya, maka peubah penjelas tersebut tidakperlu lagi digunakan dalam model.

Lebih disenangi model yang memilikibanyaknya peubah penjelas yang lebih sedikit.



4/23


5/23

Uji F Parsial dan Sekuensial• Uji F parsial:

Model dibangun dengan mengeluarkan satupeubah penjelas yang akan diuji pengaruhnya

dari model lengkap.• Uji F sekuensial:

Model dibangun dengan menambahkan satupersatu peubah penjelas baru ke dalammodel.



6/23

Uji F Parsial dan Sekuensial• Jika R(β ) = SS Regresi model penuh• Uji F parsial

• Uji F sekuensial

0 1 0 2 0 1 3 0 1 2

0 1 1

| | , | , ,

... | , ,...,k k

R R R R R

R

0 1 2 1 0 2 3

2 0 1 3 0 1 2 1

| , ,..., | , , ,...,

| , , ,..., ... | , , ,...,

k k

k k k

R R R

R R



7/23

Extra Sum of Squares• Data body fat


i 1 2 3 4 5 6 7 8 9 10

X1 19.5 24.7 30.7 29.8 19.1 25.6 31.4 27.9 22.1 25.5

X2 43.1 49.8 51.9 54.3 42.2 53.9 58.5 52.1 49.9 53.5

X3 29.1 28.2 37 31.1 30.9 23.7 27.6 30.6 23.2 24.8

Y 11.9 22.8 18.7 20.1 12.9 21.7 27.1 25.4 21.3 19.3

i 11 12 13 14 15 16 17 18 19 20

X1 31.1 30.4 18.7 19.7 14.6 29.5 27.7 30.2 22.7 25.2

X2 56.6 56.7 46.5 44.2 42.7 54.4 55.3 58.6 48.2 51

X3 30 28.3 23 28.6 21.3 30.1 25.7 24.6 27.1 27.5

Y 25.4 27.2 11.7 17.8 12.8 23.9 22.6 25.4 14.8 21.1


8/23

Contoh• Matriks korelasi antar variabel X (cek

multikolinieritas)

• Anova antara Y dan X1

X1 X2 X3X1 1X2 0.9238 1X3 0.4578 0.0847 1

df SS MS F P‐value

Regression 1 352.27 352.27 44.30 0.00

Residual 18 143.12 7.95

Total 19 495.39



9/23

Contoh• Anova antara Y dan X2

• Anova antara Y dan X1, X2


Regression 1 381.97 381.97 60.62 0.00

Residual 18 113.42 6.30

Total 19 495.39


Regression 2 385.44 192.72 29.80 0.00

Residual 17 109.95 6.47

Total 19 495.39



10/23

Contoh• SSR(X1) = 352.27 ; SSE(X1) = 143.12• SSR(X1,X2) = 385.44 ; SSE(X1,X2) = 109.95• SSE(X1,X2) < SSE(X1)• Selisih diantara keduanya dinamakan extra

sum of squares • SSR(X2|X1) = SSE(X1) – SSE(X1,X2)

=143.12 – 109.95 = 33.17



11/23

Contoh• Berkurangnya nilai SSE adalah karena

masuknya X2 kedalam model ketika X1 sudahada dalam model.

• Jadi, extra sum of squared mengukur efekmarjinal penambahan X2 ke dalam model regresi ketika X1 sudah ada dalam model.

• Extra sum of squares berarti juga mengukurpenambahan marjinal pada SSR.



12/23

Contoh• SSR(X2|X1) = SSR(X1,X2) – SSR(X1)

= 385.44 – 352.77 = 33.17• Extra sum of squares masuknya X3 ke model

ketika X1 dan X2 sudah ada dalam model

SSR(X3|X1,X2) = SSE(X1,X2) – SSE(X1,X2,X3)= 109.95 – 98.41 = 11.54

• Ekivalen dengan:SSR(X3|X1,X2) = SSR(X1,X2,X3) – SSR(X1,X2)

= 396.98 – 385.44 = 11.54



13/23

Contoh• Skema extra sum of squares – contoh body fat



14/23

Tabel Anova• Tabel anova dekomposisi SSR dengan tiga

variabel independen



15/23

Uji βk Parsial• Misal menguji apakah β3 = 0• Hipotesis:• SSE model penuh = SSE(X1,X2,X3) = SSE(F)

dengan df = n – 4.• Jika H0 benar, maka SSE nya adalah SSE(X1,X2)

= SSE(R) dengan df = n – 3.• F‐hitung:

0 3 1 3: 0 : 0 H vs H

* R F F

SSE R SSE F SSE F F

df df df



16/23

Uji βk Parsial• F‐hitung menjadi:

• SSE(X1,X2) – SSE(X1,X2,X3) = SSR(X3|X1,X2)• F‐hitung menjadi:

1 2 1 2 3 1 2 3* , , , , ,3 4 4

SSE X X SSE X X X SSE X X X F

n n n

3 1 2 1 2 3*

3 1 2

1 2 3

| , , ,1 4

| ,

, ,

SSR X X X SSE X X X F n

MSR X X X

MSE X X X



17/23

Uji βk Parsial• Apakah β3 bisa didrop dari model?

• Jika α = 0.01, maka F(0.99; 1, 16) = 8.53• F* = 1.88 ≤ F‐tabel = 8.53 gagal tolak H0• X3 bisa didrop dari model yang sudah memuat X1

dan X2

3 1 2 1 2 3* | , , ,1 4

11.54 98.41 1.881 16




18/23

Uji βk Parsial• Hasil ini ekivalen dengan uji parsial dengan uji t

• Nilai t‐hitung:

• t^2 = (‐1.37 )^2 = 1.88 = F*

Coefficients Standard Error t Stat P ‐value

Intercept 117.08 99.78 1.17 0.26

X1 4.33 3.02 1.44 0.17

X2 ‐2.86 2.58 ‐1.11 0.28

X3 ‐2.19 1.60 ‐1.37 0.19

* 3

3

2.86 1.371.60

bt

s b



19/23

Uji βk Parsial• Statistik uji

merupakan statistik uji untuk uji F parsial• Statistik uji ini berbeda uji F pada uji overall.

3 1 2 1 2 3* | , , ,1 4

SSR X X X SSE X X X F

n



20/23

Uji Beberapa βk = 0• Hipotesis

• SSE(R) = SSE(X1) dengan df = n‐2.•

Statistik uji

0 2 3 1 2 3: 0 : 0 H vs H dan

*

1 1 2 3 1 2 3, , , , 2 4 4

R F F

SSE R SSE F SSE F F

df df df

SSE X SSE X X X SSE X X X

n n n



21/23

Uji Beberapa βk = 0• SSE(X1) – SSE(X1,X2,X3) = SSR(X2,X3|X1)

dengan df = 2.• Statistik uji menjadi:

2 3 1 1 2 3*

2 3 1

1 2 3

, | , ,2 4

, |

, ,


MSR X X X

MSE X X X



22/23

Uji Beberapa βk = 0• Contoh data body fat• SSR(X2,X3|X1) = SSR(X2|X1) + SSR(X3|X1,X2)

= 33.17 + 11.54 = 44.71•

Statistik uji: 2 3 1* 1 2 3

, |, ,

244.71 6.15 3.63

2

SSR X X X F MSE X X X



23/23

Uji Beberapa βk = 0• Untuk α = 0.01, maka F(0.99; 2, 16) = 6.23.• Karena F* = 3.63 ≤ 6.23 maka gagal tolak H0.• X2 dan X3 dapat didrop dari model regresi

yang sudah memuat X1.


pertemuan 08.1 extra sum of squares

Documents