DIAGNOSA

PENYIMPANGAN ASUMSI

& TINDAKAN PERBAIKAN

DALAM REGRESI LINIER

BERGANDA

Materi Kuliah Analisis Regresi STIS

Disiapkan oleh: Agung Priyo Utomo

Agung Priyo Utomo - STIS 1

Pencilan (Outlier(s)) & Amatan

Berpengaruh (Influential Case(s))

Agung Priyo Utomo - STIS 2

Definisi:

Pencilan (outlier(s)): data (pada variabel tak bebas) yang jauh berbeda dari yang lainnya

Leverage(s): data (pada variabel bebas) yang jauh berbeda dari rata-ratanya

Amatan berpengaruh: data/amatan yang memiliki pengaruh besar terhadap perubahan nilai estimator koefisien regresi

Pencilan tidak selalu merupakan amatan berpengaruh

Data/amatan yang merupakan outlier(s)/ leverage(s)/influential case(s) berpotensi menyebabkan pelanggaran asumsi klasik

Agung Priyo Utomo - STIS 3

Cara deteksi:

Mahalanobis Distance mengukur seberapa jauh suatu

observasi (menurut variabel tak bebas) dibandingkan yang lainnya.

Observasi dengan nilai D2 > nilai kritis chi-squares dengan db k

(banyaknya variabel bebas dalam model) diidentifikasi sebagai

pencilan.

Studentized Residuals Residuals dibagi dengan estimasi

standard error nya (seperti t-statistics). Observasi dengan nilai

absolut Studentized Residuals > 3 diidentifikasi sebagai outliers.

Leverage Values (Hat Diag) mengukur seberapa jauh suatu

observasi (menurut variabel bebas) dibandingkan yg lain.

Observasi dengan nilai > 2(k+1)/n diidentifikasi sebagai

leverage(s) yang dapat merupakan amatan berpengaruh, dimana k

mpk banyaknya variabel bebas dapat model dan n mpk ukuran

sampel.

Agung Priyo Utomo - STIS 4

Cara deteksi:

DFFITS mengukur seberapa besar pengaruh dari suatu

observasi terhadap nilai prediksi Y pada suatu model regresi. Nilai

absolut DFFITS yang lebih besar dari 2*sqrt((k+1)/n)

diidentifikasi sebagai amatan berpengaruh. Gunakan standardized

DFFITS dalam SPSS.

DFBETAS mengukur seberapa besar pengaruh suatu

observasi terhadap perubahan nilai suatu estimator koefisien

regresi (ada satu DFBETA untuk setiap koefisien regresi). Nilai

absolut DFBETAS lebih besar dari 2/sqrt(n) diidentifikasi sebagai

amatan berpengaruh. Gunakan Standardized DFBETAS.

Cooks D mengukur besarnya pengaruh secara agregat dari

masing-masing observasi terhadap sekelompok koefisien regresi.

Nilai lebih besar dari 4/n diidentifikasi sebagai amatan

berpengaruh.

Agung Priyo Utomo - STIS 5

HETEROSKEDASTISITAS

(Heteroscedasticity)

Agung Priyo Utomo - STIS 6

SIFAT DASAR

Homoskedastisitas mpk salah satu asumsi model

regresi linier

Homoskedastis berarti varians error bersyarat X

merupakan suatu angka konstan, dilambangkan dengan

, ..., n i XE i 1 )|(22

Agung Priyo Utomo - STIS 7

X

Y

0+1X

Ilustrasi pada model

regresi linier sederhana

SIFAT DASAR

Sebaliknya, heteroskedastis berarti varians error

bersyarat X merupakan angka yg tidak konstan,

dilambangkan dengan

, ..., n i XE ii 1 )|(22

Agung Priyo Utomo - STIS 8

Ilustrasi pada model

regresi linier sederhana

X

Y

0+1X

KONSEKUENSI

HETEROSKEDASTIS

Jika asumsi regresi linier klasik terpenuhi kecuali adanya

heteroskedastisitas, maka penaksir OLS tetap tak bias dan

konsisten, namun penaksir tsb tidak lagi efisien baik dalam

sampel kecil maupun sampel besar (secara asimtotik)

Jika tetap menggunakan penaksir OLS pada kondisi

heteroskedastis, maka varian penaksir parameter koefisien

regresi akan underestimate (menaksir terlalu rendah) atau

overestimate (menaksir terlalu tinggi)

Agung Priyo Utomo - STIS 9

PENDETEKSIAN

HETEROSKEDASTIS

Agung Priyo Utomo - STIS 10

Scatter plot antara residual dan nilai prediksi Y

Apabila scatter plot menunjukkan pola acak, maka asumsi

kesamaan varians (homoscedasticity) terpenuhi.

PENDETEKSIAN

HETEROSKEDASTIS

Agung Priyo Utomo - STIS 11

BREUSCH-PAGAN TEST FOR

HETEROSKEDASTICITY (BP-TEST)

Prosedur:

Misal RLB:

= 0 + 11 + 22 ++ + Misalkan semua asumsi terpenuhi kecuali terjadi

heterscedastic, maka hipotesis yang diuji adalah:

0: | = 2| = 2 (Homoscedastic)

1: | = 2 (Heteroscedastic)

Jika merupakan fungsi dari X (dipengaruhi X), maka terjadi heteroscedasticity

PENDETEKSIAN

HETEROSKEDASTIS

Agung Priyo Utomo - STIS 12

Tahapan Breusch-Pagan test

1. Estimasilah = 0 + 11 + 22 ++ + sehingga diperoleh (= )

2. Estimasilah 2 = 0 + 11 + 22 ++ +

selanjutnya hitung nilai 2

2 (koef. determinasi dari model

regresi ini)

3. Hitung Statistik LM = n. 2

2

4. Keputusan:

Tolak H0 jika

> ;2

yang berarti terdapat hetersocedasticity

Agung Priyo Utomo - STIS 13

MENGATASI

HETEROSKEDASTISITAS

FEASIBLE GLS

Menganggap bahwa

| = 2 0 + 11 + 22 ++

Dimulai dengan:

2 = 2 0 + 11 + 22 ++

2 = =

2 + 0 + 11 ++ +

Estimasilah model regresi diatas menggunakan OLS,

selanjutnya hitung

= 0 + 11 ++

Hitung = dan gunakan 1/ untuk estimasi menggunakan WLS

NORMALITAS

Agung Priyo Utomo - STIS 14

PENDETEKSIAN

ASUMSI NORMALITAS

Agung Priyo Utomo - STIS 15

plot antara residual yang

diurutkan dengan nilai

harapan dibawah asumsi

normal atau dikenal dengan

Normal Probability Plot

Jika pencaran titik-titiknya

membentuk atau mendekati

suatu garis linier maka

mengindikasikan asumsi

kenormalan terpenuhi

MENGATASI

KETIDAKNORMALAN

Agung Priyo Utomo - STIS 16

Salah satu cara adalah menggunakan Transformasi Tangga transformasi Tukey:

-1/x2 -1/x logX X1/2 X X2 X3 anti log X

lebih kuat sedang tetap sedang lebih kuat

Positif Skewness Negative Skewness

MULTIKOLINIERITAS

(MULTICOLLINEARITY)

Agung Priyo Utomo - STIS 17

KONSEKUENSI

MULTIKOLINIERITAS

Agung Priyo Utomo - STIS 18

meski penaksir OLS bisa diperoleh, standard error cenderung

semakin besar dengan meningkatnya korelasi antar variabel

bebas

besarnya standard error berakibat, selang keyakinan

(confidence interval) untuk suatu parameter menjadi lebih

lebar

Kesalahan tipe II meningkat

Pada multikolinieritas yang tinggi tapi tidak sempurna,

estimator koefisien regresi bisa diperoleh, tapi estimator dan

standard error menjadi sensitif terhadap perubahan data

Pada multikolinieritas yang tinggi tapi tidak sempurna, bisa

terjadi R2 (koefisien determinasi) tinggi namun tidak satupun

variabel signifikan secara statistik.

PENDETEKSIAN

MULTIKOLINIERITAS

Agung Priyo Utomo - STIS 19

Matriks korelasi antar variabel bebas. Periksa apakah

terdapat nilai korelasi yang tinggi (sempurna) antar variabel

bebas.

Kestabilan koefisien regresi parsial (perubahan nilai koefisien

regresi pada saat suatu variabel ditambahkan atau

dikurangkan).

Kesesuaian tanda koefisien regresi menurut suatu teori.

R2 tinggi, tapi tidak ada/hanya sedikit variabel bebas yang

signifikan secara statistik.

Menggunakan nilai VIF (Variance Inflation Factor). Jika nilai VIF

10 maka dapat dikatakan terjadi kolinieritas/

multikolinieritas

MENGATASI

MULTIKOLINIERITAS

Agung Priyo Utomo - STIS 20

Memperbanyak jumlah observasi atau menghubungkan data cross-sectional dan data time series (panel data)

Mengeluarkan satu atau beberapa variabel bebas, yang saling berkolinier atau mengelompokkan variabel bebas yang saling berkolinier.

Ridge Regression (mentransformasi variabel)

BOX-COX

TRANSFORMATION

Agung Priyo Utomo - STIS 21

BOX-COX TRANSFORMATION

Agung Priyo Utomo - STIS 22

untuk mengatasi masalah kemencengan (skewness) distribusi dari error, ketidaksamaan varian error, dan ketidaklinieran fungsi regresi

Transformasi dapat dituliskan dalam bentuk:

=

= 2 = 2

= 0,5 =

= 0 = log

= ln

= -0,5 =1

= -1,0 =1

BOX-COX TRANSFORMATION

Agung Priyo Utomo - STIS 23

Nilai yang paling tepat adalah yang meminimalkan SSE pada

regresi linier dimana transformasi tersebut diterapkan.

Formula yang digunakan adalah sebagai berikut:

= 1

1 0

2 log = 0

dimana

2 =

=1

1

1 =1

21

SEMOGA BERMANFAAT

& MATUR TENGKYU

Agung Priyo Utomo - STIS 24