Matematički fakultet

Univerzitet u Beogradu

Tema

Logistička regresija

Student: Sanja Pašanjski 1107/2013

Mentor: Slobodanka Janković

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

Sadržaj

1 Uvod .......................................................................................................................................... 1

2 Logistička funkcija ..................................................................................................................... 2

2.1 Maltusov populacioni model ............................................................................................. 2

2.2 Logistički Verhulstov model .............................................................................................. 3

3 Logistička regresija .................................................................................................................... 7

3.1 Regresija ............................................................................................................................ 7

3.2 Uopšteni linearni modeli ................................................................................................... 8

3.3 Logistička regresija ............................................................................................................ 9

3.4 Logit transformacija ........................................................................................................ 12

3.5 Verovatnoda i šansa događaja ........................................................................................ 13

4 Parametri logističke regresije .................................................................................................. 15

4.1 Značenje parametara ..................................................................................................... 15

4.2 Ocenjivanje parametara .................................................................................................. 17

4.2.1 GSK metod ..................................................................................................................... 20

4.3 Testiranje značajnosti parametara .................................................................................. 22

4.3.1Test količnika verodostojnosti ........................................................................................ 22

4.3.2Wald-ov test .................................................................................................................... 24

4.3.3Score test......................................................................................................................... 25

4.4 Intervali poverenja za parametre .................................................................................... 26

5 Tumačenje modela .................................................................................................................. 27

5.1 Binarna nezavisna promenljiva ....................................................................................... 28

5.2 Politohomna nezavisna promenljiva ............................................................................... 31

5.3 Neprekidna nezavisna promenljiva ................................................................................. 34

5.4 Interakcija između promenljivih ..................................................................................... 35

5.5 Identifikacija važnih opservacija ..................................................................................... 36

5.5.1Autlajeri ........................................................................................................................... 36

5.5.2Delta-beta statistika ........................................................................................................ 37

6 Kreiranje modela i procena slaganja modela sa podacima..................................................... 39

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

6.1 Izbor promenljivih u model ............................................................................................. 39

6.2 Procena slaganja modela sa podacima ........................................................................... 40

6.2.1 Pirsonov𝝌𝟐 test i odstupanje .................................................................................. 41

7 Zaključak .................................................................................................................................. 43

8 Literatura ................................................................................................................................. 44

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

1

1 Uvod

Regresija se koristi za opisivanje i predviđanje zavisne promenljive na osnovu skupa nezavisnih

i prvi put se pojavila krajem 19. veka. Ukoliko je zavisna promenljiva binarna, tada logistička

regresija daje bolje rezultate od linearne, pa se češde i koristi.

Kako se binarne promenljive pojavljuju u mnogim sferama života, logistička regresija ima široku primenu. Prvi put se pojavila sredinom 20. veka a do danas je našla primene u medicini, biologiji, mašinskom kodiranju, marketingu i raznim drugim istraživanjima. Na osnovu nje se može proučiti efikasnost leka, koji su spoljni uticaji na bolesti, da li se dati tekst i u kojoj meri poklapa sa proizvoljnim drugim tekstom, da li su ispitanici zainteresovani za kupovinu proizvoda i slično. Logistička funkcija je prepoznatljiva po svom S-obliku pomodu koga se najlakše može proceniti stopa rasta neke populacije ili odnos broja starosedelaca u odnosu na broj doseljenika nekog grada.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

2

2 Logistička funkcija

2.1 Maltusov populacioni model

Tomas Robert Maltus (Thomas Robert Malthus) je u svom poznatom delu An essay on the principle of population as it affects the future improvement of society objavljenom 1789. godine, izneo svoje populacionističko gledište koje je povezao sa biološko-evolucionističkim i organističkim shvatanjem čoveka i društva ipokušao da skrene pažnju javnosti na problem prenaseljenosti. Maltus je tvrdio da čovečanstvo može opstati samo ako rast populacije bude povremeno prekidan povedanjem smrtnosti – epidemijama, ratovima, oskudicama, ograničenim rađanjem i katastrofama.[20] Prema njemu, sa povedanjem broja stanovnika, povedava se i potrebna količina hrane i drugih resursa neophodnih za preživljavanje, ali to povedanje raste aritmetičkom progresijom jer je zemlja proizvodni resurs sa ograničenim kapacitetom, dok broj stanovnika raste geometrijskom progresijom. Kako se broj stanovnika povedava brže od količine resursa, posle izvesnog vremena zavladade oskudice. Takvo stanje se naziva Maltusova (demografska) katastrofa.

Ako broj stanovnika na planeti u nekom trenutku 𝑡0 označimo sa 𝑃 0 , a sa 𝑟 označimo parametar koji opisuje priraštaj stanovništva, tada imamo da de u slededem trenutku broj stanovništva biti 𝑃 1 = 𝑟𝑃 0 . Pod pretpostavkom da su vremenski intervali jednake dužine u slededem trenutku dobijamo da broj stanovnika iznosi 𝑃 2 = 𝑟𝑃 1 = 𝑟2𝑃 0 ... Posle 𝑛 vremenskih intervala dobijamo da broj stanovnika na planeti iznosi 𝑃 𝑛 = 𝑟𝑛𝑃 0 . Kako je parametar priraštaja 𝑟 > 1, populacija se povedava i broj stanovnika, bez obzira na početnu vrednost 𝑃 0 , teži beskonačnosti.

Ako se sa𝛾 označikonstantna brzina rađanja u jedinici vremena (stopa nataliteta), a sa 𝛿 konstantna brzina umiranja(stopa mortaliteta), tada važi da je konstantan priraštaj u jedinici vremena 𝜆 = 𝛾 − 𝛿. Na osnovu toga, ako se sa 𝑃 𝑡 označi veličina populacije u trenutku 𝑡, posle vremena 𝛥𝑡, pri čemu je 𝛥𝑡 malo, imamo

𝑃 𝑡 + 𝛥𝑡 = 𝑃 𝑡 + 𝜆𝑃 𝑡 𝛥𝑡.

Prelaskom na limes kad Δ𝑡 → 0, dobijamo

𝑃′ 𝑡 = 𝜆𝑃 𝑡 (1)

𝑃 0 = 𝑃0

odakle dobijamo:

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

3

𝑑𝑃 𝑡

𝑑𝑡= 𝜆𝑃 𝑡

𝑑𝑃 𝑡

𝑃 𝑡 = 𝜆𝑑𝑡

𝑙𝑛 𝑃 𝑡 = 𝜆𝑡 + 𝑐

𝑃 𝑡 = 𝐶𝑒𝜆𝑡 .

Iz početnog uslova imamo da je 𝐶 = 𝑃0, odakle sledi da je𝑃 𝑡 = 𝑃0𝑒𝜆𝑡 , odnosno da veličina

populacije eksponencijalno zavisi od vremena. Ovakav model se naziva Maltusov populacioni model. [20]

Slika 1. Maltusov populacioni model

Glavni nedostatak ovog modela je taj što se pretpostavlja da je stopa rasta populacije konstantna čime se, bez obzira na to kolika je ta konstanta, za kratko vreme može dostidi nerealna veličina populacije.

2.2 Logistički Verhulstov model

Pjer Fransoa Verhulst (Pierre Francois Verhulst) je oko 1830. godine modifikovao Maltusov populacioni model, a skoro vek kasnije taj isti model su pronašli američki naučnici Loel Rid (Lowell Jacob Reed) i Rejmond Perl (Raymond Pearl). [8] Smatrajudi da nijedna sredina ne može da održava neograničen rast populacije, Verhulst je napravio model u kome su resursi ograničeni, pa samim

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

4

tim je i rast populacije ograničen konstantom. Osnovna razlika u odnosu na Maltusov model je u tome što stope nataliteta i mortaliteta nisu konstantne, ved zavise od veličine populacije i date su sa:

𝛾 𝑡 = 𝛾0 − 𝛾1𝑃 𝑡

𝛿 𝑡 = 𝛿0 + 𝛿1𝑃 𝑡 ,

gde su 𝛾0, 𝛾1, 𝛿0 i 𝛿1 nenegativne konstante. U ovom modelu se smanjuje brzina rađanja i povedava brzina umiranja.

Označimo sa 𝑎 = 𝛾0 − 𝛿0 maksimalan priraštaj populacije i neka je 𝑏 = 𝛾1 − 𝛿1, 𝑎, 𝑏 > 0. Tada imamo da priraštaj 𝜆 iznosi

𝜆 𝑡 = 𝛾0 − 𝛿0 − 𝛾1 + 𝛿1 𝑃 𝑡 ,

odnosno

𝜆 𝑡 = 𝑎 − 𝑏𝑃 𝑡 .

Početni problem 1 sada se transformiše u

𝑃′ 𝑡 = 𝑎 − 𝑏𝑃 𝑡 𝑃 𝑡

𝑃′ 𝑡 = 𝑎𝑃 𝑡 − 𝑏𝑃 𝑡 2

𝑃′ 𝑡 = 𝑎 1 −𝑏

𝑎𝑃 𝑡 𝑃 𝑡

𝑃′ 𝑡 = 𝑎 1 −1

𝐾𝑃 𝑡 𝑃 𝑡 ,

uz uslov

𝑃 0 = 𝑃0.

Na osnovu prethodne jednačine može se zaključiti da veličina populacije na početku raste eksponencijalno sa stopom rasta 𝑎, odnosno ponaša se u skladu sa Maltusovim modelom, a kasnije

se taj rast smanjuje kako se veličina populacije približava svom ograničenju 𝐾 =𝑎

𝑏 jer izraz u

zagradi teži nuli. Konstanta 𝐾 se naziva maksimalni kapacitet populacije. Za ljudsku populaciju je izračunato da je 𝑎 = 0.029, 𝑏 = 2.695 ∙ 10−12 , odnosno da je 𝐾 ≈ 10,76 ∙ 109. Osim na ljudsku ovaj model se može primeniti i na životinjsku i biljnu populaciju. Poznat je čuveni eksperiment

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

5

nemačkog biologa Gausa (Gause) koji je stavio pet jedinki Paramecium Caudatum-a u epruvetu u odgovarajadu sredinu, zbog čega je došlo do zasidenja posle četiri dana.

Primetimo da je:

𝑙𝑛𝐾 − 𝑃 𝑡

𝑃 𝑡

′

= −𝑃′ 𝑡

𝑃 𝑡 1 −𝑃 𝑡

𝐾

.

Odatle sledi:

𝑙𝑛 𝐾 − 𝑃 𝑡

𝑃 𝑡 = −𝑎𝑡 − 𝑐

𝐾

𝑃 𝑡 − 1 = 𝐶𝑒−𝑎𝑡 .

Iz početnog uslova sledi da je 𝐶 =𝐾−𝑃0

𝑃0, pa na osnovu toga rešenje sistema je dato sa:

𝑃 𝑡 =

𝑎

𝑏

1 +𝑎−𝑏𝑃0

𝑏𝑃0𝑒−𝑎𝑡

=𝐾

1 + 𝐶𝑒−𝑎𝑡.

Ova kriva je poznata pod nazivom logistička kriva a prepoznatljiva je po svom S-obliku zbog čega se još naziva i S-kriva (slika 2).

Slika 2. Logistički Verhulstov model

Ako je 0 < 𝑃0 < 𝐾, tada je stopa rasta pozitivna, pa populacija raste kako raste 𝑡. Kada 𝑡 → ∞, kriva 𝑃 𝑡 ima horizontalnu asimptotu 𝑃 𝑡 = 𝐾. Slučaj 𝑃0 > 𝐾 se u praksi retko dešava a označava smanjenje populacije jer je tada 𝜆 𝑡 negativno. Kod ljudske populacije to je posledica

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

6

vanrednih situacija kao što su ratovi, ekonomske krize, velike epidemije, loši klimatski uslovi i slično, koji dovode do velikog manjka hrane.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

7

3 Logistička regresija

3.1 Regresija

Prilikom analiziranja podataka neophodno je nadioblik povezanosti između zavisne (kriterijumske) i nezavisnih (prediktorskih) promenljivih. Povezavnost između promenljivih se analizira regresijom. Reč regresija potiče od latinske reči regressio koja znači vradanje, opadanje, odstupanje. U statistiku je dospela 1855. godine kada je Fransis Galton (Francis Galton) objavio publikaciju pod nazivom Regression towards mediocrity in hereditary stature u kojoj je analizirao visinu sinova u zavisnosti od visine očeva. Zaključak ove studije bio je da sinovi ekstremno visokih očeva nisu toliko visoki, odnosno da teže ka proseku.

Regresija podrazumeva zavisnost jedne slučajne promenljive od druge ili više njih. [6] Opšti model zavisnosti je

𝑌 = 𝑓 𝑋 + 휀,

gde je 휀 slučajna promenljiva nezavisna od 𝑋, pri čemu 𝑋 može biti skalarna ili vektorska veličina. [10] Ako je𝑋 skalarna veličina, radi se o jednostrukoj regresiji, inače se radi o višestrukoj. Funkcija 𝑓 opisuje povezanost između 𝑋 i 𝑌.

Karakteristike povezanosti između promenljivih su

- smer koji može biti pozitivan ili negativan u zavisnosti od toga da li rastom jedne promenljive raste ili opada druga promenljiva

- stepen (jačina) povezanosti koji uzima vrednosti između -1 i 1. Ako je apsolutna vrednost stepena povezanosti bliska jedinici, govorimo o jakoj vezi između promenljivih, a ako je bliska nuli, govorimo o slaboj

- oblik (forma) koji može biti linearan ili nelinearan u zavisnosti od toga da li se veza između promenljivih može opisati linearnom ili nelinearnom funkcijom. Ako je promenljiva 𝑋

vektorska promenljiva 𝑋1, 𝑋2, … , 𝑋𝑝 , tada je linearni model zadat jednačinom

𝑌 = 𝛽0 + 𝛽1𝑋1 + 𝛽2𝑋2 + ⋯ + 𝛽𝑝𝑋𝑝 , gde su 𝛽𝑖𝑖 = 0, … , 𝑛koeficijenti linearne regresije.

Još jedan pokazatelj povezanosti između promenljivih je dijagram rasturanja (povezanosti). Svaka tačka na dijagramu rasturanja predstavlja par podataka o jednoj statističkoj jedinici. Sa dijagrama se može mnogo toga zaključiti o vezi između promenljivih. Na primer, ako su tačke raspršene bez ikakvog pravila, onda se na osnovu dijagrama zaključuje da ne postoji veza između njih. Takođe, ako je prava linija na dijagramu rasturanja najprihvatljivija za date opservacije onda postoji linearan odnos između promenljivih.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

8

Cilj analize podataka je nalaženje funkcije koja ih najbolje aproksimira. Takav postupak se često naziva određivanje regresione linije. Na osnovu analize podatakase može utvrditi koliko je jaka zavisnost između 𝑋 i 𝑌, kolika je relativna važnost svake nezavisne promenljive u objašnjavanju zavisne, koja je najbolja predviđena vrednost zavisne promenljive za bilo koju kombinaciju nezavisnih promenljivih i koji se obim promene zavisne promenljive može očekivati za svaku jedinicu promene svake nezavisne promenljive. Upotrebom regresionih metoda takođe možemo za poznate vrednosti promenljive 𝑋 predvideti vrednosti promenljive 𝑌.

3.2 Uopšteni linearni modeli

Uopšteni linearni modeli (general linear models) predstavljaju uopštenje linearne regresije tako što dopuštaju obeležju da ima raspodelu iz eksponencijalne familije raspodela: binomne, normalne,Puasonove,gama raspodelei slično.Za slučajnu promenljivu 𝑌 se kaže da pripada eksponencijalnoj familiji raspodela ako se njena gustina ili raspodela verovatnoda može napisati na slededi način:

𝑓 𝑦, 𝜃 = 𝑠 𝑦 𝑡 𝜃 𝑒𝑎 𝑦 𝑏 𝜃 = 𝑒𝑎 𝑦 𝑏 𝜃 +ln(𝑠 𝑦 )+ln(𝑡 𝜃 ),

gde je 𝜃 parametar od koga zavisi raspodela, a 𝑎, 𝑏, 𝑠 i 𝑡realne funkcije.

Osnovne karakteristike uopštenog linearnog modela su komponenta slučajnsoti, komponenta sistematičnosti i funkcija veze. [14], [11]

- Komponenta slučajnosti definiše uslovnu raspodelu obeležja 𝑌𝑖 (za 𝑖-tu od 𝑛 nezavisnih vrednosti) za date vrednosti nezavisnih promenljivih u modelu.

- Komponenta sistematičnosti (linearno predviđanje, prediktor) predstavlja linearnu funkciju nezavisnih promenljivih i data je sa

𝜂𝑖 = 𝛽0 + 𝛽1𝑋𝑖1 + 𝛽2𝑋𝑖2 + ⋯ + 𝛽𝑝𝑋𝑖𝑝 .

- Funkcija veze je funkcija koja povezuje komponentu sistematičnosti sa funkcijom 𝜇𝑖 = 𝐸 𝑌𝑖 i data je sa

𝑔 𝜇𝑖 = 𝜂𝑖 = 𝛽0 + 𝛽1𝑋𝑖1 + 𝛽2𝑋𝑖2 + ⋯ + 𝛽𝑝𝑋𝑖𝑝 .

Zbog invertibilnosti funkcije veze važi da je [7]

𝜇𝑖 = 𝑔−1 𝜂𝑖 = 𝑔−1 𝛽0 + 𝛽1𝑋𝑖1 + 𝛽2𝑋𝑖2 + ⋯ + 𝛽𝑝𝑋𝑖𝑝 ,

pa se uopšteni linearni modeli mogu posmatrati i kao linearni modeli transformacija srednje vrednosti obeležja ili kao nelinearni regresioni modeli obeležja.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

9

3.3 Logistička regresija

Logistička regresija je jedan od modela uopštene linearne regresije u kome zavisna promenljiva uzima samo dve vrednosti (binarna promenljiva), a ređe više od dve, dok nezavisne promenljive mogu biti numeričke, kategorijalne ili njihova kombinacija. Zbog prirode zavisne promenljive, logistički regresioni model se naziva još i binarni logistički regresioni model (Binary Logistic Regression Model). Zavisna promenljiva se kodira tako što se jednom ishodu dodeljuje 1, a drugom 0, pri čemu je svejedno koji se ishod kodira jedinicom, a koji nulom. Na primer, zavisna promenljiva može biti da li je kupljen proizvod A ili proizvod B, da li je proizvod prošao kontrolu kvaliteta ili ne, da li je pacijent izlečen ili ne i slično. Zbog svoje prirode, ovakav vid regresije je pogodan u mnogim marketinškim, ekonomskim i demografskim istraživanjima.

Na primer, ako je zavisna promenljiva da li je proizvod prošao kontrolu proizvoda, onda se sa 0 može kodirati - proizvod nije prošao kontrolu proizvoda, a sa 1 - proizvod je prošao kontrolu proizvoda. Kao nezavisne promenljive možemo imati temperaturu, kvalitet materijala, vreme pravljenja i slično.

Slededim primerom demo pokazati nedostatak primene linearne regresije kod binarne zavisne promenljive.

Primer 1 (Podaci su uzeti iz literature [23].): U tabeli 1 su dati podaci koji govore o tome da li određena osoba u zavisnosti od starosti boluje od povišenog krvnog pritiska ili ne. Rezultujuda promenljiva je binarna i uzima vrednost 0 ako osoba ne boluje od povišenog krvnog pritiska i vrednost 1 ako osoba boluje od povišenog krvnog pritiska. U ispitivanju su učestvovale 33 osobe.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

10

starost bolest starost bolest starost bolest

22 0 40 0 54 0

23 0 41 1 55 1

24 0 46 0 58 1

27 0 47 0 60 1

28 0 48 0 60 0

30 0 49 1 62 1

30 0 49 0 65 1

32 0 50 1 67 1

33 0 51 0 71 1

35 1 51 1 77 1

38 0 52 0 81 1

Tabela 1.

U slučaju da je rezultujuda promenljiva neprekidna, dobija se slededi grafik zavisnosti postojanja povišenog krvnog pritiska u odnosu na godine.

Slika 3. Veza između starosti i bolesti

Sa grafika se jasno vidi da sve tačke pripadaju jednoj od dve paralelne prave koje predstavljaju prisustvo (bolest=1) odnosno odsustvo (bolest=0) povišenog krvnog pritiska. Grafik ne daje jasnu sliku o vezi između starosti i pojave povišenog krvnog pritiska, ali se može zaključiti da su starije osobe sklonije tom oboljenju od mlađih. Da bi se dala jasnija slika o ovoj zavisnosti, isptanici se dele u grupe prema starosti, odnosno formiraju se intervali za nezavisnu promenljivu i

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

11

računaju se proporcije za rezultujudu promenljivu 𝑏𝑟𝑜𝑗 𝑜𝑠𝑜𝑏𝑎 𝑠𝑎 𝑝𝑜𝑣𝑖 š𝑒𝑛 𝑖𝑚 𝑘𝑟𝑣𝑛𝑖𝑚 𝑝𝑟𝑖𝑡𝑖𝑠𝑘𝑜𝑚

𝑢𝑘𝑢𝑝𝑎𝑛 𝑏𝑟𝑜𝑗 𝑜𝑠𝑜𝑏𝑎 𝑢 𝑑𝑎𝑡𝑜𝑗 𝑔𝑟𝑢𝑝𝑖 . Na taj način

se dobijaju podaci koji su dati u tabeli 2.

Tabela 2.

Na slici 4 je prikazan grafik sa koga se jasno vidi da se povedanjem godina povedava i rizik od povišenog krvnog pritiska.

Slika 4. Veza između starosti i bolesti

starost veličina grupe

broj obolelih

broj obolelih u procentima

20 – 29 5 0 0

30 – 39 6 1 17

40 – 49 7 2 29

50 – 59 7 4 57

60 – 69 5 4 80

70 – 79 2 2 100

80 – 89 1 1 100

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

12

3.4 Logit transformacija

Logistička ili logit transformacija se koristi za predviđanje verovatnode nastupanja pojave koja je kodirana jedinicom. [6] Na primer, ako je jedinicom kodirana kupovina proizvoda A, a nulom kupovina proizvoda B, traži se verovatnoda da de određeni kupac kupiti proizvod A. Primenom (višestruke) linearne regresije se dobija rešenje u kojem de zavisna promenljiva uzeti vrednost između 0 i 1. Ako je ta vrednost bliža jedinici, tada se može zaključiti da de kupac kupiti priizvod A. Međutim, često se dešava da se primenom linearne regresije dobiju i vrednosti van opsega 0, 1 . Pošto se ovakve vrednosti ne mogu tumačiti kao verovatnoda, linearna regresija u ovakvim situacijama nije dobro rešenje.

Da bi se dobio logistički regresioni model, potrebno je izvršiti određenu transformaciju zavisne promenljive,koja se naziva logit transformacija. Od velikog značaja za logit transformaciju je očekivana vrednost zavisne promenljive u odnosu na datu vrednost nezavisne promenljive 𝑋,𝐸 𝑌 𝒙 . U opštem slučaju 𝐸 𝑌 𝒙 uzima vrednost između −∞ i +∞, ali kako je promenljiva 𝑌binarna, 𝐸 𝑌 𝒙 uzima vrednosti ne manje od 0 i ne vede od 1. Promena u 𝐸 𝑌 𝒙 po jedinici promene za 𝑋 postaje progresivno manja kako uslovna sredina postaje bliža 0 ili 1. [2]

Pošto je zavisna promenljiva 𝑌 dihotomna, promenljiva 𝑌|𝑥takođeuzimadvevrednosti. [11] Neka je raspodela promenljive 𝑌 data na slededi način:

𝑌: 0 1

1 − 𝜋 𝜋 ,

gde je 0 ≤ 𝜋 ≤ 1. Tada je slučajna promenljiva 𝑌|𝑥 određena raspodelom:

𝑌|𝒙: 0 1

1 − 𝜋 𝒙 𝜋 𝒙 ,

a njeno matematičko očekivanje je:

𝐸 𝑌 𝒙 = 0 ∙ 1 − 𝜋 𝒙 + 𝜋 𝒙 = 𝜋 𝒙 .

U modelu logističke regresije odnos između verovatnode 𝜋 i promenljive 𝑋 se predstavlja na slededi način:

𝜋 𝒙 =𝑒𝛽0+ 𝛽𝑘𝑥𝑘

1 + 𝑒𝛽0+ 𝛽𝑘𝑥𝑘. 2

Funkcija 𝜋 𝒙 ima pozitivan prvi izvod, pa je rastuda na svom domenu i ima horizontalnu asimptotu 𝜋 𝒙 = 1, odnosno ima S-oblik. Takođe, funkcija je nelinearna po parametrima

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

13

𝛽0, 𝛽1, … , 𝛽𝑝 , alise određenom logit transformacijom može dovesti do linearnog oblika. Važi

sledede: [3], [4]

𝜋 𝒙 = 𝜋 𝑥1, 𝑥2, … , 𝑥𝑝 = 𝑃 𝑌 = 1 𝑋1 = 𝑥1, 𝑋2 = 𝑥2, … , 𝑋𝑝 = 𝑥𝑝 =𝑒𝛽0+ 𝛽𝑘𝑥𝑘

1 + 𝑒𝛽0+ 𝛽𝑘𝑥𝑘

1 − 𝜋 𝒙 = 1 − 𝜋 𝑥1, 𝑥2, … , 𝑥𝑝 = 𝑃 𝑌 = 0 𝑋1 = 𝑥1, 𝑋2 = 𝑥2, … , 𝑋𝑝 = 𝑥𝑝 =1

1 + 𝑒𝛽0+ 𝛽𝑘𝑥𝑘

𝜋 𝒙

1 − 𝜋 𝒙 = 𝑒𝛽0+ 𝛽𝑘𝑥𝑘

𝑔 𝒙 = 𝑙𝑛 𝜋 𝒙

1 − 𝜋 𝒙 = 𝛽0 + 𝛽1𝑥1 + ⋯ + 𝛽𝑝𝑥𝑝 .

Funkcija 𝑙𝑛 𝜋 𝒙

1−𝜋 𝒙 se naziva logit transformacija ili logit funkcija. Kako vrednost 𝜋 𝒙

pripada intervalu 0,1 , vrednost logit funkcije se krede od −∞ do +∞. [1], [7]

Kod logističke regresije vrednost rezultujude promenljive𝑌 za dato 𝒙 se može izraziti kao 𝑌|𝒙 = 𝜋 𝒙 + 휀. Najčešdi je slučaj da promenljiva 휀 ima normalnu raspodelu sa matematičkim očekivanjem koje je jednako nuli I konstantnom varijansom. Međutim, pošto je slučajna promenljiva 𝑌binarna, 휀 ima binarnu raspodelu. Iz činjenice da je 𝑌|𝒙 − 𝜋 𝒙 = 휀 sledi da promenljiva 휀 uzima vrednost 1 − 𝜋 𝒙 sa verovatnodom 𝜋 𝒙 (kada je 𝑦 = 1) i vrednost −𝜋 𝒙 sa verovatnodom 1 − 𝜋 𝒙 (kada je 𝑦 = 0). Dakle, promenljiva 휀 ima slededu raspodelu:

휀: 1 − 𝜋 𝒙 −𝜋 𝒙

𝜋 𝒙 1 − 𝜋 𝒙

a njeno matemetičko očekivanje i varijansa iznose 𝐸 휀 = 0 i 𝐷 휀 = 𝜋 𝒙 1 − 𝜋 𝒙 .

3.5 Verovatnoća i šansa događaja

Posmatrajmo binarnu promenljivu 𝑌 koja uzima vrednost 1 ako se posmatrani događaj desio i vrednost 0 ako se događaj nije desio. Srednja vrednost promenljive 𝑌 predstavlja verovatnodu ostvarenih događaja tj. 𝜇 = 𝑃 𝑌 = 1 . Na primer, ako je 𝜇 = 0.83, tada se od svih posmatranih događaja ostvarilo njih 83%.[4]

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

14

Šansa događaja (odds) predstavlja količnik verovatnode da se događaj desio i verovatnode da se događaj nije desio. [8] Ako sa 𝑃 označimo verovatnodu da se događaj desio, tada šansa događaja iznosi:

𝑜𝑑𝑑𝑠 =𝑃

1 − 𝑃. 3

Na primer, ako je verovatnoda da se događaj desi 0.83, tada je šansa događaja 𝑜𝑑𝑑𝑠 = 0.83 0.17 = 4.88, što znači da događaj ima 4.88 puta vede šanse da se desi nego da se ne desi. Iz formule 3 se vidi da šansa događaja rastuda funkcija jer je prvi izvod šanse pozitivna funkcija.

Ako je poznata šansa događaja, verovatnoda događaja se može izračunati kao

𝑃 =𝑜𝑑𝑑𝑠

1 + 𝑜𝑑𝑑𝑠.

U slučaju da je verovatnoda ostvarenja događaja 0.5, tada je šansa događaja 1 i jednaka je šansi komplementarnog događaja. Što je šansa nekog događaja veda, veda je i verovatnoda da se taj događaj desi, pa na taj način možemo videti da li je veda verovatnoda da se desi neki događaj ili njemu komplementarni događaj.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

15

4 Parametri logističke regresije

4.1 Značenje parametara

Posmatrajmo logistički model u kome je slučajna promenljiva 𝑋 jednodimenzionalna, odnosno funkcija 𝜋 𝑥 je definisana na slededi način:

𝜋 𝑥 =𝑒𝛽0+𝛽1𝑥

1 + 𝑒𝛽0+𝛽1𝑥.

Koeficijent𝛽1se naziva koeficijent nagiba i ukazuje na stopu rasta ili opadanja funkcije 𝜋 𝑥 u zavisnosti od toga da li je 𝛽1 pozitivna ili negativna konstanta.[8] Ako je 𝛽1 = 0, tada je 𝜋 𝑥 konstantna za sve vrednosti 𝑥, pa kriva logističke regresije prelazi u horizontalnu pravu. Nagib

tangente logističke krive je dat izrazom 𝛽1𝜋 𝑥 1 − 𝜋 𝑥 . Ako je, na primer, 𝜋 𝑥 = 0.5 tangenta

logističke krive ima nagib 0.25𝛽1, a ako je 𝜋 𝑥 = 0.9 ili 𝜋 𝑥 = 0.1, taj nagib iznosi 0.09𝛽1. Nagib se približava vrednosti 0, kako se 𝜋 𝑥 približava 0 ili 1. Najvedi nagib tangente se postiže kada je 𝜋 𝑥 = 0.5. [4]

Koeficijent 𝛽1 se može izraziti kao razlika logita u tačkama 𝑥 + 1 i 𝑥, pa se može protumačiti kao promena zavisne promenljive koja odgovara jediničnoj logita, odnosno𝛽1 = 𝑔 𝑥 + 1 − 𝑔 𝑥 . [7]

Slika 5. S-kriva i njena tangenta

Neka je dat model sa dvodimenzionalnom slučajnom promeljivom𝑋u kome se analizira da li su građani za ili protiv zakonodavstva u zavisnosti od pola i stepena privrženosti jednoj od dve ideologije: konzervatizmu ili liberalizmu. Pol 𝑋1 je binarna promenljiva koja uzima vrednost 0 ako je ispitanik žensko, odnosno 1 ako je muško. Stepen privrženosti ideologiji 𝑋2 može da uzme

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

16

vrednosti od −3 do 3. Ukoliko je negativan, ispitanik je okrenut više ka konzervatizmu, a ukoliko je pozitivan, okrenut je više ka liberalizmu. Stepen 0 govori da ispitanik nije okrenut nijednoj ideologiji.Zavisna promenljiva uzima vrednost 0, ako ispitanik ne podržava zakonodavstvo, a u suprotnom uzima vrednost 1. Pretpostavimo da je logit zadat formulom:

𝑔 𝒙 = 𝑙𝑛𝜋 𝒙

1 − 𝜋 𝒙 = 1.555 − 1.712𝑥1 − 0.513𝑥2.

Na primer, predviđena vrednost logita za muškarca kod koga je stepen privrženosti ideologiji2 iznosi

𝑔 1,2 = 1.555 − 1.712 ∙ 1 − 0.513 ∙ 2 = −1.183.

Eksponencijalnom transformacijom ove vrednosti dobija se 𝑒−1.183 = 0.306 što znači da je predviđena šansa za glasanje u korist zakonodavstva kod ovakvog profila ljudi (muškarac, stepen privrženosti ideologiji iznosi 2) približno 1 3 . Na sličan način se mogu odrediti i ostale šanse.

Slobodan koeficijent koji u ovom modelu iznosi 1.555 predstavlja vrednost logita u tački 0,0 . Promenljiva pol uzima vrednost 0, ako je osoba ženskog pola, pa tako kod osoba ženskog pola čiji je stepen privrženosti ideologiji0, logit uzima vrednost 1.555. Ako je posmatrana osoba muškog pola sa istom stepenom privrženosti ideologiji, njen logit iznosi −0.157. Eksponencijalnom transformacijom ovih vrednosti, dobijaju se predviđene vrednosti šansi za muški pol 𝑒−0.157 =

0.855 i za ženski pol 𝑒1.555 = 4.735. Odnos šansi u ovom slučaju iznosi 0.855

4.735= 0.1805, što znači da

kod osoba koje nisu okrenute nijednoj od ove dve ideologije muškarci imaju 0.1805 puta vede šanse da glasaju za zakonodavstvo od žena.

Koeficijent uz promenljivu koja označava pol je −1.712. Njegovom eksponencijalnom transformacijom se dobija 𝑒−1.712 = 0.1805 što je u stvari prethodno izračunata vrednost. Dakle, za binarnu promenljivu koja uzima vrednosti 0 i 1 važi da se, ako su ostale vrednosti promenljivih fiksirane, eksponencijalnom transformacijom koeficijenta koji stoji uz nju u jednačini logita, dobija odnos šansi kod binarne promenljive.

Ukoliko se fiksira vrednost promenljive koja označava pol (na primer, 𝑋1 = 0), možemo

izračunati vrednosti 𝑔 𝒙 i šanse glasanja u korist zakonodavstva𝑒𝑔 𝑥 za različite vrednosti ideologije.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

17

vrednosti promenljive 𝑋2 𝑔 𝒙 𝑒𝑔 𝑥 3 0.016 1.017 2 0.529 1.697 1 1.042 2.835 0 1.555 4.735

−1 2.068 7.909 −2 2.581 13.21 −3 3.094 22.065

Tabela 3

U tabeli 3 možemo da uočimo pravilo po kojem se računaju šanse glasanja u korist zakonodavstva. Prilikom povedanja vrednosti promenljive 𝑋2 za jednu jedinicu, vrednost šanse se pomnoži faktorom0.599. Na primer, ako se vrednost šanse koja je dobijena za vrednost 𝑥2 = −3 pomnoži sa 0.599, dobija se 22.065 ∙ 0.599 = 13.21 što je vrednost šanse koja se dobije za vrednost 𝑥2 = −2. Eksponencijalnom transformacijom koeficijenta koji stoji uz promenljivu 𝑋2, dobija se vrednost 𝑒−0.513 = 0.599, što je upravo koeficijent kojim smo množili vrednosti šanse. Kod kvantitativne promenljive, ako su ostale promenljive fiksirane, eksponencijalnom transformacijom koeficijenta koji stoji uz tu promenljivu u jednačini logita, dobija se multiplikativni faktor kojim se,ako se pomnoži vrednost šanse, dobija vrednost šanse u tački te promenljive povedane za jednu jedinicu. [4]

4.2 Ocenjivanje parametara

Za ocenjivanje nepoznatih parametara kod višestruke linearne regresije se koristi metod najmanjih kvadrata koji minimizira sumu kvadrata odstupanja registrovanih vrednosti od predviđenih vrednosti dobijenih na osnovu modela. Na taj način se dobijaju ocene nepoznatih parametara koje poseduju osobine nepristrasnosti,efikasnosti i osobine BLUE (best linear unbiased estimator – najbolja linearna nepristrasna ocena) za mali broj podataka i osobine asimptotske nepristrasnosti, asimptotske efikasnosti i konzistentnosti za veliki broj podataka. Kada bi se metod najmanjih kvadrata primenio na binarni model, ocene ne bi imale ove karakteristike.

Prilikom ocenjivanja parametara logističke regresije koristi se metod maksimalne verodostojnosti. Ovaj metod daje vrednosti parametara 𝛽𝑖 , 𝑖 = 0, … , 𝑝 koje maksimiziraju verovatnodu dobijanja registrovanog skupa podataka. Funkcija verodostojnosti ℒ 𝜷 =

ℒ 𝛽0, 𝛽2, … , 𝛽𝑝 koja se javlja u ovom metodu je funkcija nepoznatih parametara koja predstavlja

verovatnodu koja kombinuje doprinose svih subjekata u ispitivanju. Da bi se našle ocene nepoznatih parametara pomodu metode maksimalne verodostojnosti, potrebno je nadi maksimum funkcije verodostojnosti. Pod uslovom da je diferencijabilna, traže se one vrednosti parametara

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

18

koje su rešenje jednačine 𝑑ℒ 𝜷

𝑑𝜷= 0. Kako je logaritamska funkcija monotono rastuda na svom

domenu, rešenja jednačina𝑑ℒ 𝜷

𝑑𝜷= 0 se poklapaju sa rešenjima jednačine

𝑑𝑙𝑛 ℒ 𝜷

𝑑𝜷= 0, pa je nekad

jednostavnije posmatrati funkciju 𝑑𝑙𝑛ℒ 𝜷 . Neka je dat uzorak od 𝑛 nezavisnih registrovanih

vrednosti parova 𝒙𝒊, 𝑦𝑖 , gde je 𝒙𝒊 = 𝑥1𝑖 , 𝑥2𝑖 , … , 𝑥𝑝𝑖 , a 𝑦𝑖 uzima vrednost 0 ili 1 za svako

𝑖 = 1, … , 𝑛.

Neka je raspodela za 𝑌 data sa

𝑌: 0 1

1 − 𝜋 𝜋 .

Na osnovu našeg modela imamo da je:

𝜋 𝒙𝒊 = 𝑃 𝑌 = 1 𝑋𝑖 = 𝒙𝒊 =𝑒𝛽0+ 𝛽𝑘𝑥𝑘𝑖

1 + 𝑒𝛽0+ 𝛽𝑘𝑥𝑘𝑖

1 − 𝜋 𝒙𝒊 = 𝑃 𝑌 = 0 𝑋𝑖 = 𝒙𝒊 =1

1 + 𝑒𝛽0+ 𝛽𝑘𝑥𝑘𝑖

za svako 𝑖 = 1, … , 𝑛. Ako je 𝑦𝑖 = 1, doprinos para 𝒙𝒊, 𝑦𝑖 funkciji verodostojnosti je 𝜋 𝒙𝒊 , a ako je 𝑦𝑖 = 0, onda je doprinos jednak 1 − 𝜋 𝒙𝒊 , pa je doprinos para 𝒙𝒊, 𝑦𝑖 funkciji verodostojnosti

𝜋 𝒙𝒊 𝑦𝑖 1 − 𝜋 𝒙𝒊

1−𝑦𝑖.

Registrovane vrednosti parova su međusobno nezavisne pa je funkcija verodostojnosti jednaka proizvodu pojedinačnih doprinosa parova 𝒙𝒊, 𝑦𝑖 za svako 𝑖 = 1, … , 𝑛, odnosno: [11]

ℒ 𝜷 = 𝑃 𝑦1, 𝑦2,, … , 𝑦𝑛 = 𝑃 𝑦1 ∙ 𝑃 𝑦2 ∙ ⋯ ∙ 𝑃 𝑦𝑝

ℒ 𝜷 = 𝜋 𝒙𝒊 𝑦𝑖 1 − 𝜋 𝒙𝒊

1−𝑦𝑖

𝑛

𝑖=1

ℒ 𝜷 = 𝜋 𝒙𝒊

1 − 𝜋 𝒙𝒊

𝑦𝑖

1 − 𝜋 𝒙𝒊

𝑛

𝑖=1

.

Radi jednostavnosti, posmatrademo logaritam funkcije verodostojnosti.

𝑙𝑛ℒ 𝜷 = 𝑦𝑖𝑙𝑛 𝜋 𝒙𝒊

1 − 𝜋 𝒙𝒊 + 𝑙𝑛 1 − 𝜋 𝒙𝒊

𝑛

𝑖=1

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

19

𝑙𝑛ℒ 𝜷 = 𝑦𝑖𝒙𝒊𝑻𝜷 − 𝑙𝑛 1 + 𝑒𝒙𝒊

𝑻𝜷

𝑛

𝑖=1

.

Izjednačavanjem izvoda funkcije 𝑙𝑛ℒ 𝜷 sa nulom se dobija

𝑑𝑙𝑛ℒ 𝜷

𝑑𝜷= 𝑦𝑖 −

𝑒𝒙𝒊𝑻𝜷

1 + 𝑒𝒙𝒊𝑻𝜷

𝑛

𝑖=1

𝒙𝒊𝑻 = 0. (4)

Kako je sistem jednačina (4) nelinearan po 𝜷, rešenje sistema 𝜷 se može nadi nekom iteratvinom metodom. [3] Sistem se može napisati i u ekvivalentnom obliku:

𝑑𝑙𝑛ℒ 𝜷

𝑑𝜷= 𝑋𝑇 𝒚 − 𝑬 𝒀 = 𝑋𝑇 𝒚 − 𝒑 ,

gde je𝒑vektor generisan sa 𝑝𝑖 = 𝑃 𝑌 = 1 𝒙𝒊 = 𝜋 𝒙𝒊 = 𝜋𝑖 =𝑒𝒙𝒊

𝑻𝜷

1+𝑒𝒙𝒊𝑻𝜷

i 𝑋 =

1 𝑋11 ⋯ 𝑋1𝑝

1 𝑋21 ⋯ 𝑋2𝑝

⋮1

⋮𝑋𝑛1

⋱⋯

⋮𝑋𝑛𝑝

.

Ako sa 𝑉označimo dijagonalnu matricu 𝑉 = 𝜋1 1 − 𝜋1

⋱𝜋𝑛 1 − 𝜋𝑛

, tada je Hesijanova

matrica (kvadratna matrica generisana drugim parcijalnim izvodima) logaritma funkcije

verodostojnosti data sa 𝑑2𝑙𝑛ℒ 𝜷

𝑑𝜷2= −𝑋𝑇𝑉𝑋. Iterativna jednačina za dobijanje ocene 𝜷 nepoznatog

parametra 𝜷je:

𝜷 𝑚+1 = 𝜷 𝑚 + 𝑋𝑇𝑉 𝑚 𝑋 −1

𝑋𝑇 𝒚 − 𝒑 𝑚 , 5

pa tako za početne vrednosti parametra 𝛽 = 𝛽 0 nalazi se vrednost parametra 𝛽 = 𝛽 1 :

𝜷 1 = 𝜷 0 + 𝑋𝑇𝑉 0 𝑋 −1

𝑋𝑇 𝒚 − 𝒑 0 ,

odnosno:

𝜷 𝟏 = 𝜷 𝟎 + −𝑑2𝑙𝑛ℒ 𝜷 𝟎

𝑑𝜷 𝟎 𝟐

−𝟏𝑑𝑙𝑛ℒ 𝜷 𝟎

𝑑𝜷 𝟎 .

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

20

Slično, zamenom u jednačinu (5), mogu se nadi i vrednosti 𝜷 𝟐 , 𝜷 𝟑 ... Ove vrednosti konvergiraju

ka oceni nepoznatog parametra 𝜷, 𝜷 = 𝛽 1, 𝛽 2, … , 𝛽 𝑝 . Posledica jednakosti (5) je da važi

𝒚𝒊 = 𝝅 𝒊𝒏𝒊=𝟏

𝒏𝒊=𝟏 , gde je gde je 𝝅 𝒊 = 𝝅 𝒙𝒊 ocena dobijena na osnovu metode maksimalne

verodostojnosti, odnosno da je suma registrovanih vrednosti za 𝒚 jednaka sumi predviđenih

(očekivanih) vrednosti na osnovu modela. Za dovoljno velik uzorak važi da

𝜷 ~𝑵 𝜷, −𝑑2𝑙𝑛ℒ 𝜷

𝑑𝜷 2 −𝟏

. [3]

Matrica 𝐼 = 𝑋𝑇𝑉𝑋 se naziva informaciona matrica. Inverz te matrice, tj. 𝐼−1 =

𝑉𝑎𝑟 𝜷 predstavlja kovarijacionu matricu na čijoj se dijagonali nalaze elementi Var(𝜷 𝒊), a van

dijagonale vrednosti kovarijacija𝐶𝑜𝑣 𝛽 𝑖 , 𝛽 𝑗 .

4.2.1 GSK metod

GSK metod (Grizzle, Starmer, Koch metod) je zasnovan na neiterativnom metodu najmanjih kvadrata sa težinama. [3] Glavno ograničenje ovog metoda je to što zahteva da ocena verovatnode 𝜋𝑖 za vedinu vrednosti 𝑥𝑖 ne bude 0 ili 1. Podelom uzorka prema vrednosti zavisne promenljive, dobijaju se dve grupe za 𝑦 = 0 i 𝑦 = 1 . Ako nezavisna promenljiva ima asimpotski normalnu raspodelu na svakoj od tih grupa sa različitim matematičkim očekivanjima i jednakim disperzijama, tj.

𝑋|𝑌~𝑁 𝜇𝑗 , 𝜎2 , 𝑗 = 0,1

tada su logistički koeficijenti dati sa:

𝛽0 = 𝑙𝑛𝜃1

𝜃0

−0.5 𝜇1

2 − 𝜇02

𝜎2

𝛽1 =𝜇1 − 𝜇0

𝜎2,

gde je 𝜃𝑗 = 𝑃 𝑌 = 𝑗 , za 𝑗 = 0,1. Da bi se izračunale vrednosti 𝛽0 i 𝛽1, potrebno je iz uzorka oceniti

parametre 𝜃0, 𝜃1, 𝜇0, 𝜇1 i 𝜎2. Parametar 𝜇𝑗 se ocenjuje kao sredina odgovarajude podgrupe

(formirane u zavisnosti od vrednosti 𝑦) tj. 𝜇 𝑗 = 𝑥𝑗 , za 𝑗 = 0,1, 𝜃 1 = 𝑛1 𝑛 ,𝜃 0 = 1 − 𝜃 1 i

𝜎 2 = 𝑛0 − 1 𝑠0

2 + 𝑛1 − 1 𝑠12

𝑛0 + 𝑛1 − 2,

gde je 𝑠𝑗2 nepristrasna ocena 𝜎2 izračunata u odgovarajudoj podgrupi za 𝑦 = 𝑗, 𝑗 = 0,1, a 𝑛0 i 𝑛1

veličine odgovarajudih grupa.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

21

Ovaj metod se može primeniti i kod višestruke logističke regresije. Slično kao u jednodimenzionalnoj logističkoj regresiji uzorak se deli u dve grupe u zavisnosti od ishoda zavisne promenljive. Pretpostavlja se da je uslovna raspodela𝑿 u svakoj od tih podgrupa p-dimenzionalna normalna raspodela sa vektorom matematičkih očekivanja koji zavisi od vrednosti𝑦 i kovarijacionom matricom koja ne zavisi od vrednosti𝑦, tj:

𝑿|𝑌~𝑁 𝜇𝑗 , Σ , 𝑗 = 0,1

gde je 𝝁𝒋 p-dimenzioni vektor matematičkih očekivanja za 𝑗 = 0,1, a Σ kovarijaciona matrica

dimenzije 𝑝 × 𝑝. Tada su koeficijenti dati jednačinama:

𝛽0 = 𝑙𝑛𝜃1

𝜃0

− 0.5 𝝁𝟏 − 𝝁𝟎 𝑇Σ−1 𝝁𝟏 + 𝝁𝟎

𝛽∗ = 𝝁𝟏 − 𝝁𝟎 𝑇Σ−1

gde je 𝜷∗ = 𝛽1, 𝛽2, … , 𝛽𝑝 i 𝜃𝑗 = 𝑃 𝑌 = 𝑗 , za 𝑗 = 0,1. Za ocenjivanje 𝛽0 i 𝛽∗ moraju se najpre

oceniti parametri 𝝁𝟎, 𝝁𝟏, 𝜃0, 𝜃1 i Σ. Matematičko očekivanje 𝜇𝑗 se ocenjuje odgovarajudom

sredinom podgrupe, tj. 𝝁 𝒋 = 𝒙𝒋. Parametri 𝜃0 i 𝜃1 se ocenjuju kao i u jednodimenzionalnom

slučaju. Ocena kovarijacione matrice je data sa:

𝑆 = 𝑛0 − 1 𝑆0 + 𝑛1 − 1 𝑆1

𝑛0 + 𝑛1 − 2

gde su 𝑆𝑗 nepristrasne ocene kovarijacionih matrica dimenzije 𝑝 × 𝑝, izračunate u odgovarajudoj

podgrupi.

Primer 2: Ako je uzorak isti kao u primeru 1, nađimo ocene nepoznatih parametara 𝛽0 i 𝛽1. Prikazademo postupak ocenjivanja parametara u programskom jeziku R.

podaci<-read.table("C:/Users/User/Desktop/podaci.txt", header=T) #ucitavamo podatke model<-glm(bolest~starost, data=podaci, family="binomial") #pravimo logisticki model summary(model) Call: glm(formula = bolest ~ starost, family = "binomial", data = podaci) Deviance Residuals: Min 1Q Median 3Q Max -1.7025 -0.6497 -0.2377 0.6508 2.1075

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

22

Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) -6.70846 2.35397 -2.850 0.00437 ** starost 0.13150 0.04634 2.838 0.00454 ** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion parameter for binomial family taken to be 1) Null deviance: 44.987 on 32 degrees of freedom Residual deviance: 28.672 on 31 degrees of freedom AIC: 32.672 Number of Fisher Scoring iterations: 5

Iz priloženog se može zaključiti da je ocenakoeficijenta 𝛽1 koji stoji uz promenljivu

starost𝛽 1=0.13150, dok je 𝛽 0=-6.70846.

4.3 Testiranje značajnosti parametara

Nakon ocenjivanja parametara višestruke logističke regresije, potrebno je nadi najbolji model, odnosno model koji najbolje opisuje zavisnu promenljivu. Ovo uključuje formulisanje i testiranje statističkih hipoteza za određivanje da li su nezavisne promenljive u modelu značajno povezane sa zavisnom promenljivom, tj. da li značajno utiču na ponašanje zavisne promenljive. Testira se hipoteza 𝐻0: promenljiva nije značajna protiv alternative 𝐻1: promenljiva je značajna. Prilikom takvog testiranja treba porediti registrovane vrednosti rezultujude promenljive sa vrednostima dobijenih pomodu dva modela, od kojih jedan sadrži a drugi ne sadrži promenljivu čija se značajnost testira. Ako su predviđene vrednosti na osnovu modela koji sadrži tu promenljivu bolje ili tačnije nego vrednosti koje su predviđene na osnovu modela koji ne sadrži tu promenljivu, tada je promenljiva u modelu značajna i model koji sadrži tu promenljivu se smatra boljim od modela koji je ne sadrži.

Postoji mnogo načina za testiranje značajnosti parametara a kao najefikasniji se pokazao test količnika verodostojnosti (likelihood ratio test).

4.3.1 Test količnika verodostojnosti

U logističkoj regresiji poređenjeregistrovaneipredviđenevrednostidobijeneizmodelakojisadržinezavisnupromenljivuimod

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

23

elakojijenesadrži, baziranojenalogaritmufunkcijeverodostojnosti. Pri tome se smatra da je registrovana vrednost zavisne promenljive ona predviđena vrednost koja se dobija na osnovu zasidenog modela. Zasiden, potpun ili kompletan model (saturated model) je onaj model koji ima onoliko parametara koliko i registrovanih vrednosti, tj. 𝑛. On reprodukuje podatke tačno, bez pojednostavljivanja, pa prema tome nije previše pogodan za interpretaciju. Najjednostavniji primer zasidenog modela je model proste linearne regresije koji ima samo dve tačke (𝑛 = 2).

Za poređenje registrovanih sa predviđenim vrednostima koristi se funkcija verodostojnosti:

𝐷 = −2𝑙𝑛ℒ

ℒ𝑠𝑎𝑡

= −2 𝑦𝑖𝑙𝑛𝜋 𝑖

𝑦𝑖

+ 1 − 𝑦𝑖 𝑙𝑛1 − 𝜋 𝑖

1 − 𝑦𝑖

𝑛

𝑖=1

,

gde je ℒ𝑠𝑎𝑡 funkcija verodostojnosti zasidenog modela. Statistika ℒ

ℒ𝑠𝑎𝑡 se naziva količnik

verodostojnosti. Za statistiku −2𝑙𝑛ℒ

ℒ𝑠𝑎𝑡se koristi i naziv devijacija, pa se zbog toga ta statistika

označava sa 𝐷. Dobija se da statistika 𝐷 iznosi: [11]

𝐷 = 2𝑙𝑛ℒ𝑠𝑎𝑡

ℒ= 2𝑙𝑛ℒ𝑠𝑎𝑡 − 2𝑙𝑛ℒ. 6

Iz definicije zasidnog modela sledi da je 𝜋 𝑖 = 𝑦𝑖 , pa je funkcija verodostojnosti

ℒ𝑠𝑎𝑡 = 𝑦𝑖𝑦𝑖 1 − 𝑦𝑖

1−𝑦𝑖

𝑛

𝑖=1

= 1

odakle sledi da je 𝐷 = −2𝑙𝑛ℒ.

Pri ispitivanju značajnosti nezavisne promenljive posmatraju se modeli sa i bez nezavisne

promenljive. Označimo sa 𝐺 promenu koja nastaje u 𝐷 prilikom uključivanja nezavisne

promenljive, odnosno: [9]

𝐺 = 𝐷 𝑚𝑜𝑑𝑒𝑙 𝑏𝑒𝑧 𝑛𝑒𝑧𝑎𝑣𝑖𝑠𝑛𝑒 𝑝𝑟𝑜𝑚𝑒𝑛𝑙𝑗𝑖𝑣𝑒 − 𝐷 𝑚𝑜𝑑𝑒𝑙 𝑠𝑎 𝑛𝑒𝑧𝑎𝑣𝑖𝑠𝑛𝑜𝑚 𝑝𝑟𝑜𝑚𝑒𝑛𝑙𝑗𝑖𝑣𝑜𝑚

𝐺 = −2𝑙𝑛 𝑣𝑒𝑟𝑜𝑑𝑜𝑠𝑡𝑜𝑗𝑛𝑜𝑠𝑡 𝑚𝑜𝑑𝑒𝑙𝑎 𝑏𝑒𝑧 𝑛𝑒𝑧𝑎𝑣𝑖𝑠𝑛𝑒 𝑝𝑟𝑜𝑚𝑒𝑛𝑙𝑗𝑖𝑣𝑒

+2𝑙𝑛 𝑣𝑒𝑟𝑜𝑑𝑜𝑠𝑡𝑜𝑗𝑛𝑜𝑠𝑡 𝑚𝑜𝑑𝑒𝑙𝑎 𝑠𝑎 𝑛𝑒𝑧𝑎𝑣𝑖𝑠𝑛𝑜𝑚 𝑝𝑟𝑜𝑚𝑒𝑛𝑙𝑗𝑖𝑣𝑜𝑚

𝐺 = −2𝑙𝑛𝑣𝑒𝑟𝑜𝑑𝑜𝑠𝑡𝑜𝑗𝑛𝑜𝑠𝑡 𝑚𝑜𝑑𝑒𝑙𝑎 𝑏𝑒𝑧 𝑛𝑒𝑧𝑎𝑣𝑖𝑠𝑛𝑒 𝑝𝑟𝑜𝑚𝑒𝑛𝑙𝑗𝑖𝑣𝑒

𝑣𝑒𝑟𝑜𝑑𝑜𝑠𝑡𝑜𝑗𝑛𝑜𝑠𝑡 𝑚𝑜𝑑𝑒𝑙𝑎 𝑠𝑎 𝑛𝑒𝑧𝑎𝑣𝑖𝑠𝑛𝑜𝑚 𝑝𝑟𝑜𝑚𝑒𝑛𝑙𝑗𝑖𝑣𝑜𝑚.

Ako koristimo sledede oznake:𝑛1 = 𝑦𝑖 , a 𝑛0 = 𝑛 − 𝑦𝑖 , statistika 𝐺 je data sa:

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

24

𝐺 = −2𝑙𝑛

𝑛1

𝑛

𝑛1

𝑛0

𝑛

𝑛0

𝜋 𝑖𝑦𝑖 1 − 𝜋 𝑖

1−𝑦𝑖𝑛𝑖=1

,

odnosno

𝐺 = 2 𝑦𝑖𝑙𝑛𝜋 𝑖 + 1 − 𝑦𝑖 𝑙𝑛𝜋 𝑖 − 𝑛1𝑙𝑛𝑛1 + 𝑛0𝑙𝑛𝑛0 − 𝑛𝑙𝑛𝑛

𝑛

𝑖=1

.

Pod hipotezom da je 𝛽1 jednako nuli, statistika 𝐺ima hi-kvadrat raspodelu sa jednim stepenom slobode.

4.3.2 Wald-ov test

Dva asimptotski ekvivalentna testa koja se koriste za proveru značajnosti koeficijenata su Wald-ov test i score test. [3] Wald-ov test za jednodimenzionalnu logističku regresiju koristi

statistiku koja je jednaka kvadratu količnika ocene maksimalne verodostojnosti parametra 𝛽1, 𝛽 1 i

njene standardne greške 𝑆𝐸𝛽 1 = 𝑉𝑎𝑟 𝛽 𝑖 . Pod pretpostavkom da je 𝛽1 = 0, statistika 𝑍 =𝛽 1

𝑆𝐸𝛽 1

ima približno normalnu 𝑁 0,1 raspodelu. Wald statistika jednodimenzione logističke regresije je [19]:

𝑍2 =𝛽 1

2

𝑆𝐸𝛽 12 : 𝜒1.

2

Ako se odbaci nulta hipoteza, tada se može zaključiti da de uklanjanje te promenljive iz modela značajno promeniti model, odnosno da je ta promenljiva statistički značajna.

Isti princip testiranja se primenjuje kod višestruke logističke regresije uz određenu modifikaciju test statistike. Takođe, u slučaju višestruke logističke regresije može se koristiti statistika

𝑊 = 𝜷 𝑻 𝑉𝑎𝑟 𝜷 −1

𝜷 = 𝜷 𝑻𝑋𝑇𝑉𝑋𝜷 ,

ako želimo da testiramo značajnost svih 𝑝 + 1 primenljivih. Statistika 𝑊 pod pretpostavkom da su svih 𝑝 + 1 koeficijenata jednaki 0, ima 𝜒𝑝+1

2 raspodelu. Ukoliko ne želimo da testiramo značajnost

koeficijenta 𝛽0, tada se statistika 𝑊 transformiše tako što se iz vektora 𝜷 eliminiše 𝛽 0 a iz matrica 𝑋 i 𝑉 odgovarajude kolone i vrste. U tom slučaju statistika 𝑊 ima 𝜒𝑝

2 raspodelu.

Za velike uzorke, Wald test i test količnika maksimalne verodostojnosti daju približno iste rezultate. Međutim, za male uzorke se pokazalo da se rezultati mogu razlikovati i da u tim

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

25

situacijama test količnika verodostojnosti daje tačnije rezultate.Takođe, kod višestruke logističke regresije Wald-ov test često ne odbacuje nultu hipotezu iako su koeficijenti značajni.

4.3.3 Score test

Score test je zasnovan na prvom izvodu logaritma funkcije verodostojnosti i prilikom testiranja značajnosti koeficijenata ne zahteva njihovo prethodno ocenjivanje. Test je jednostavan za primenu, ali se, za razliku od Wald-ovog testa, ne nalazi u mnogim softverskim paketima, pa se zbog toga retko koristi. [5]

Radi jednostavnosti, posmatrademo slučaj jednostruke logističke regresije. Verovatnode 𝜋 𝑥𝑖 i 1 − 𝜋 𝑥𝑖 su zadate na slededi način:

𝜋 𝑥𝑖 =𝑒𝛽0+𝛽1𝑥𝑖

1 + 𝑒𝛽0+𝛽1𝑥𝑖

1 − 𝜋 𝑥𝑖 =1

1 + 𝑒𝛽0+𝛽1𝑥𝑖.

Logaritam funkcije maksimalne verodostojnosti je dat sa:

𝑙𝑛ℒ 𝜷 = 𝑦𝑖 𝛽0 + 𝛽1𝑥𝑖 − 𝑙𝑛 1 + 𝑒𝛽0+𝛽1𝑥𝑖

𝑛

𝑖=1

.

Diferenciranjem logaritma funkcije maksimalne verodostojnosti po parametrima 𝛽0 i 𝛽1 dobijaju se jednačine verodostojnosti:

𝑦𝑖 − 𝜋 𝑥𝑖 = 0

𝑛

𝑖=1

𝑥𝑖 𝑦𝑖 − 𝜋 𝑥𝑖 = 0

𝑛

𝑖=1

. 7

Score test koristi vrednosti ovih sumaizračunatih za 𝛽0 = 𝑙𝑛 𝑛1 𝑛0 i 𝛽1 = 0. Koristedi ocene 𝜋 = 𝑛1 𝑛 = 𝑦leva strana jednačine (7) postaje 𝑥𝑖 𝑦𝑖 − 𝑦 𝑛

𝑖=1 . Ocena varijanse je data formulom

𝑦 1 − 𝑦 𝑥𝑖 − 𝑥 2𝑛𝑖=1 gde je 𝑥 =

1

𝑛 𝑥𝑖

𝑛𝑖=1 , a statistika koju koristi score test je data sa

𝑆𝑇 = 𝑥𝑖 𝑦𝑖 − 𝑦 𝑛

𝑖=1

𝑦 1 − 𝑦 𝑥𝑖 − 𝑥 2𝑛𝑖=1

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

26

i ima normalnu𝑁 0,1 raspodelu. [3]

4.4 Intervali poverenja za parametre

Interval poverenja (pouzdanosti) nepoznatog parametra je interval koji sa verovatnodom 1 − 𝛼 100% sadrži taj parametar, gde je 𝛼 nivo značajanosti. Za nivo značajnosti se obično biraju vrednosti bliske 0: 0.1, 0.05, 0.01. Na primer, ako je nivo značajnosti 0.1, tada je pouzdanost da de nepoznati parametar biti sadržan u intervalu 90%. Interval poverenja je određen na slededi način:

𝑜𝑐𝑒𝑛𝑗𝑒𝑛𝑎 𝑣𝑟𝑒𝑑𝑛𝑜𝑠𝑡 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑟𝑎 − 𝑔𝑟𝑒š𝑘𝑎, 𝑜𝑐𝑒𝑛𝑗𝑒𝑛𝑎 𝑣𝑟𝑒𝑑𝑛𝑜𝑠𝑡 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑟𝑎 + 𝑔𝑟𝑒š𝑘𝑎 .

Kod proste logističke regresije intervali poverenja nepoznatih parametara se baziraju na ocenama koje su dobijene Wald-ovim testom (Wald-based confidence intervals). Intervali poverenja za koeficijente 𝛽0 i 𝛽1sa nivoom značajnosti 𝛼su zadati sa:

𝛽 0 − 𝑧1−𝛼2 𝑆𝐸 𝛽 0 , 𝛽 0 + 𝑧1−𝛼

2 𝑆𝐸 𝛽 0

𝛽 1 − 𝑧1−𝛼2 𝑆𝐸 𝛽 1 , 𝛽 1 + 𝑧1−𝛼

2 𝑆𝐸 𝛽 1

gde je 𝑆𝐸 ∙ ocena standardne greške odgovarajudeg parametra iz modela koji se koristi kao bazni,

a 𝑧1−𝛼2 tablična vrednost standardne normalne raspodele za koju važi 𝑃 𝛽 𝑖 ≤ 𝑧1−𝛼

2 = 1 − 𝛼,

za 𝑖 = 0 ili 𝑖 = 1.

Takođe, na ovaj način se može nadi i interval poverenja linearne funkcije koja povezuje promenljive, tj. interval poverenja za logit funkciju. Ocena za logit funkciju je data sa

𝑔 𝑥 = 𝛽 0 + 𝛽 1𝑥.

Da bi se našao interval poverenja za logit, potrebno je oceniti disperziju prethodne sume:

𝑉𝑎𝑟 𝑔 𝑥 = 𝑉𝑎𝑟 𝛽 0 + 𝑥2𝑉𝑎𝑟 𝛽 1 + 2𝑥𝐶𝑜𝑣 𝛽 0, 𝛽 1

Interval poverenja sa nivoom značajnosti𝛼 za logit je dat sa: [3]

𝑔 𝑥 − 𝑧1−𝛼2 𝑆𝐸 𝑔 𝑥 , 𝑔 𝑥 + 𝑧1−𝛼

2 𝑆𝐸 𝑔 𝑥

gde je 𝑆𝐸 𝑔 𝑥 pozitivan koren od ocene za 𝑉𝑎𝑟 𝑔 𝑥 .

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

27

Na osnovu ocene za logit može se nadi ocena logističke verovatnode 𝜋𝑖 i njen interval poverenja. Ocena logističke verovatnode iznosi:

𝜋 𝑖 =𝑒𝑔 𝑥𝑖

1 + 𝑒𝑔 𝑥𝑖 ,

a interval poverenja sa nivoom značajnosti 𝛼 logističke verovatnode iznosi:

𝑒

𝑔 𝑥 −𝑧1−𝛼2 𝑆𝐸 𝑔 𝑥

1 + 𝑒𝑔 𝑥 −𝑧1−𝛼

2 𝑆𝐸 𝑔 𝑥 ,

𝑒𝑔 𝑥 +𝑧1−𝛼

2 𝑆𝐸 𝑔 𝑥

1 + 𝑒𝑔 𝑥 +𝑧1−𝛼

2 𝑆𝐸 𝑔 𝑥 .

Kod višestruke logističke regresije intervali poverenja za nepoznati parametar se dobijaju na isti način kao i kod jednostruke logističke regresije. Ocena logita se dobija pomodu formule

𝑔 𝑥 = 𝛽 0 + 𝛽 1𝑥1 + 𝛽 2𝑥2 + ⋯ + 𝛽 𝑝𝑥𝑝 = 𝑥𝑇𝛽

gde je 𝛽 𝑇 = 𝛽 0, 𝛽 1, … , 𝛽 𝑝 , a 𝑥𝑇 = 1, 𝑥1, … , 𝑥𝑝 , tj. 𝑥0 = 1.

Ocena varijanse logita je:

𝑉𝑎𝑟 𝑔 𝑥 = 𝑥𝑗2

𝑝

𝑗 =0

𝑉𝑎𝑟 𝛽 𝑗 + 2

𝑝

𝑘=𝑗+1

𝑝

𝑗 =𝑜

𝑥𝑗𝑥𝑘𝐶𝑜𝑣 𝛽 𝑗 , 𝛽 𝑘 .

Koristedi jednakost 𝑉𝑎𝑟 𝛽 = 𝑋𝑇𝑉 𝑋 −1

, 𝑉𝑎𝑟 𝑔 𝑥 se može da zapisati u slededem obliku:

𝑉𝑎𝑟 𝑔 𝑥 = 𝑥𝑇𝑉𝑎𝑟 𝛽 𝑥 = 𝑥𝑇 𝑋𝑇𝑉 𝑋 −1

𝑥

Dalja izračunavanje se vrše analogno jednostrukoj logističkoj regresiji.

5 Tumačenje modela

Pod pretpostavkom da su promenljive u modelu značajne, želimo da izvedemo zaključak o modelu na osnovu koeficijenata. Radi jednostavnosti posmatrajmo model jednodimenzione logističke regresije čiji je logit zadat formulom 𝑔 𝑥 = 𝛽0 + 𝛽1𝑥.

Prilikom tumačenja modela posmatraju se dva problema a to su:

- određivanje funkcionalne veze između zavisne i nezavisne promenljive

- definisanje jedinice promene za nezavisnu promenljivu.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

28

5.1 Binarna nezavisna promenljiva

Slučaj binarne nezavisne promenljive predstavlja teorijsku osnovu za ostale slučajeve – sa polihotomnom i neprekidnom nezavisnom promenljivom. [3] Pretpostavimo da je promenljiva 𝑿 kodirana nulom i jedinicom. Tada koeficijent nagiba 𝛽1možemo izraziti kao promenu logita po jedinici promene nezavisne promenljive, odnosno:

𝑔 1 − 𝑔 0 = 𝛽0 + 𝛽1 − 𝛽0 = 𝛽1.

Da bismo bolje interpretirali koeficijent nagiba, izračunademo šanse u zavisnosti od vrednosti nezavisne promenljive. Uzimajudi u obzir da je raspodela za 𝑌|𝑋 data sa:

𝑌|𝑥: 0 1

1 − 𝜋 𝑥 𝜋 𝑥 ,

pa primenom formule (3) važi da je šansa da zavisna promenljiva uzme vrednost 1, kada nezavisna promenljiva uzme vrednost 0 je data sa

𝑃 𝑌 = 1 𝑋 = 0

1 − 𝑃 𝑌 = 1 𝑋 = 0 =

𝑃 𝑌 = 1 𝑋 = 0

𝑃 𝑌 = 0 𝑋 = 0 =

𝜋 0

1 − 𝜋 0 .

Šansa da zavisna promenljiva uzme vrednost 1, kada nezavisna promenljiva uzme vrednost 1 je data sa

𝑃 𝑌 = 1 𝑋 = 1

1 − 𝑃 𝑌 = 1 𝑋 = 1 =

𝑃 𝑌 = 1 𝑋 = 1

𝑃 𝑌 = 0 𝑋 = 1 =

𝜋 1

1 − 𝜋 1 .

Odnos šansi (odds ratio) je pozitivna konstanta data sa:

𝑂𝑅 =

𝜋 1

1−𝜋 1

𝜋 0

1−𝜋 0

8

i predstavlja odnos šansi ostvarenja događaja u grupi u kojoj nezavisna promenljiva uzima vrednost 1 i u grupi u kojoj nezavisna promenljiva uzima vrednost 0.

Koristedi to da je 𝜋 1 =𝑒𝛽0+𝛽1

1+𝑒𝛽0+𝛽1 i 𝜋 0 =

𝑒𝛽0

1+𝑒𝛽0, daljim izračunavanjem se dobija:

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

29

𝑂𝑅 =

𝑒𝛽0+𝛽1

1+𝑒𝛽0+𝛽1

1

1+𝑒𝛽0+𝛽1

𝑒𝛽0

1+𝑒𝛽0

1

1+𝑒𝛽0

=𝑒𝛽0+𝛽1

𝑒𝛽0= 𝑒𝛽1 .

Dakle, ako je nezavisna promenljiva binarna, koeficijent 𝛽1 je jednak prirodnom logaritmu odnosa šansi.[9]Takođe, možemo nadi i interval poverenja slučajne promenljive 𝑂𝑅. Raspodela promenljive 𝑙𝑛𝑂𝑅 = 𝛽1 je normalna, a za velike uzorke i𝑂𝑅 ima normalnu raspodelu. Interval poverenja za𝑂𝑅 sa nivoom značajnosti 𝛼 dat je sa:

𝑒𝛽 1−𝑧1−𝛼 2 𝑆𝐸 𝛽 1 , 𝑒𝛽 1+𝑧1−𝛼 2 𝑆𝐸 𝛽 1

gde je 𝑆𝐸 𝛽 1 standardno odstupanje slučajne promenljive 𝑙𝑛𝑂𝑅. Njegova vrednost se može

izračunati iz kovarijacione matrice, ali kako je slučajna promenljiva 𝑋 jednodimenzionalna i uzima samo dve vrednosti, ono se može izračunati i na slededi način:

𝑆𝐸 𝛽 1 = 1

1 − 𝜋 0 +

1

𝜋 0 +

1

1 − 𝜋 1 +

1

𝜋 1 .

Primer 3(Podaci su uzeti iz literature [20].): U ispitivanju povezanosti konzumiranja alkohola i raka jednjaka je učestvovalo 975 osoba. Nezavisna promenljiva označava konzumiranje alkohola i kodirana je sa 0 ako osoba ne konzumira alkohol, a sa 1 ako konzimira. Zavisna promenljiva je kodirana sa 0 ako osoba ne boluje od raka jednjaka, a sa 1 ako osoba boluje. Na osnovu istraživanja, dobijeni su slededi rezultati:

prisustvo raka jednjaka

konzumiranje alkohola ukupno

da ne

da 96 104 200 ne 109 666 775

ukupno 205 770 975

Tabela 4

Pomodu formule za odnos šansi izračunademo koliko puta vedu šansu da dobiju rak jednjaka imaju alkoholičari.

𝑂𝑅 =96 109

104 666 = 5.64.

Dakle, osobe koje konzumiraju alkohol imaju 5.64 puta vede šanse da obole od raka jednjaka nego osobe koje ne konzumiraju alkohol. Koeficijent 𝛽1 i standardno odstupanje

promenljive 𝑙𝑛𝑂𝑅 iznose 𝛽1 = 𝑙𝑛𝑂𝑅 = 1.7299, 𝑆𝐸 𝑙𝑛𝑂𝑅 = 0.1752.Interval poverenja sa

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

30

nivoom značajnosti 𝛼 = 0.05 za 1 je 𝑒1.7299∓1.96∙0.1752 = 4, 7.95 , a interval poverenja sa nivoom

značajnosti 𝛼 = 0.1 je 𝑒1.7299∓1.645∙0.1752 = 4.23, 7.52 .

Relativni rizik (relative risk) predstavlja odnos verovatnoda uspeha u okviru dve grupe.

𝑅𝑅 =𝑃 𝑌 = 1 𝑋 = 1

𝑃 𝑌 = 1 𝑋 = 0 =

𝜋 1

𝜋 0 =

1 − 𝜋 1

1 − 𝜋 0 𝑂𝑅.

U slučaju kada 1−𝜋 1

1−𝜋 0 → 1, relativni rizik i odnos šansi imaju približno jednake vrednosti. To

se dešava u slučaju kada su verovatnode uspeha u obe grupa približne, odnosno kad je verovatnoda 𝜋 𝑥 mala bilo da je 𝑥 = 0 ili 𝑥 = 1. U praksi ova situacija se javlja kod ispitivanja retkih bolesti. Ukoliko je vrednost 𝑅𝑅 > 1, vedu verovatnodu ostvarenja posmatrani događaj ima u grupi u kojoj nezavisna promenljiva uzima vrednost 1, a ako važi 𝑅𝑅 < 1, tada vedu verovatnodu ostvarenja ima u grupi u kojoj nezavisna promenljiva uzima vrednost 0.

Prilikom utvrđivanja intervala poverenja za relativni rizik, koristi se statistka 𝑙𝑛𝑅𝑅 koja ima normalnu raspodelu. Interval poverenja sa nivoom značajnosti 𝛼 je dat sa

𝑒𝑙𝑛𝑅𝑅 −𝑧1−𝛼 2 𝑆𝐸 𝑙𝑛𝑅𝑅 , 𝑒𝑙𝑛𝑅𝑅 +𝑧1−𝛼 2 𝑆𝐸 𝑙𝑛𝑅𝑅

gde je 𝑆𝐸 𝑙𝑛𝑅𝑅 standardno odstupanje 𝑙𝑛𝑅𝑅 dato formulom

𝑆𝐸 𝑙𝑛𝑅𝑅 = 1

𝑁0𝜋 0 +

1

𝑁1𝜋 1 +

1

𝑁0

+1

𝑁1

,

gde je 𝑁1 = 𝑥𝑖 , a sa 𝑁0 = 𝑁 − 𝑥𝑖 .

Primer 4 (Podaci su uzeti iz literature [5]): Ispitujemo povezanost starosti (nezavisna promenljiva) sa postojanjem HIV virusa (zavisna promenljiva). U istraživanju je učestvovalo 1496 osoba koje su podeljene u dve starosne grupe – mlađe (kodirano sa 0) i starije od 30 godina (kodirano sa 1). Podaci su dati u tabeli 6.

𝑌 𝑋 mlađi od 30 godina 30 godina i stariji ukupno

HIV negativni 623 816 1439

HIV pozitivni 18 39 57

ukupno 641 855 1496

Tabela 5

Relativnim rizikom upoređujemo verovatnodu oboljenja od HIV-a u ove dve grupe.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

31

𝑅𝑅 =39 855

18 641 = 1.62

Na osnovu ovoga može se zaključiti da osobe koje imaju 30 godina i više imaju vedu verovatnodu

oboljenja od HIV-a.Posle računanja se dobija da je 𝑙𝑛𝑅𝑅 = 0.48,

𝑆𝐸 𝑙𝑛𝑅𝑅 = 1

18+

1

39+

1

641+

1

855= 0.29, pa je interval poverenja sa nivoom značajnosti

𝛼 = 0.05dat sa𝑒0.48∓1.96∙0.29 = 0.915, 2.853 .

5.2 Politohomna nezavisna promenljiva

U logističkoj regresiji se često javljaju kategorijalne (kvalitativne) promenljive, tj. promenljive koje se mogu meriti samo u smislu pripadanja nekoj grupi (kategoriji), pri čemu su te grupe disjunktne. Najčešdi primeri takvih promenljivih su rasa, pol, stepen obrazovanja, opština boravka u republici... Da bi se izučavala kategorijalna promenljiva koja ima više od 2 kategorije, ona se pretvara u niz indikatora. Koeficijent za svaki takav indikator predstavlja efekat te kategorije upoređene sa kategorijom koja nije uključena u taj model (referentna kategorija). Kada se prave indikatori, jedna od najvažnijih stavki je izbor referentne kategorije. Uglavnom se bira onakategorija koja je opravdana sa biološkog stanovišta (tj. kategorija za koju postoji opravdanje da bude referentni nivo) i ona koja ima prihvatljiv broj posmatranja. [9]. Cilj ovakvog istraživanja je da se uporede šanse određene grupe u odnosu na referentnu grupu.

Primer 5 (Podaci su uzeti iz literature [22].): U slededoj tabeli su dati podaci koji govore o

tome da li je student položio izabrani kurs iz prvog pokušaja ili nije. Student bira jedan od tri kursa koje smo označili sa kurs_1, kurs_2 i kurs_3. Ukupno je ispitano 394 studenta.

status izabrani kurs

kurs_1 kurs_2 kurs_3 ukupno

nije položio 27 7 124 236

položio 8 24 204 158

ukupno 35 31 328 394

𝑂𝑅 0.1801 2.0840 1

𝑙𝑛𝑂𝑅 -1.7142 0.7343 0

Tabela 6

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

32

Kao referentnu promenljivu izabrademo kurs_3. Dizajn promenljiva je data u tabeli 7.Na primer,

šansa za kurs_1 iznosi 𝑂𝑅 = 8/27 204/124 = 0.1801,što znači da studenti koji su izabrali kurs_1 imaju 0.1801 puta vede šanse da polože iz prve nego studenti koji su izabrali kurs_3.

izabrani kurs (kod) izabrani_kurs_1 izabrani_kurs_2

kurs_1 1 0

kurs_2 0 1

kurs_3 0 0

Tabela 7

U programskom jeziku R demo oceniti koeficijente slededeg logističkog modela:

status=𝛽1 ∙izabrani_kurs_1+𝛽2 ∙izabrani_kurs_2+𝛽0

gde promenljiva status može da uzme vrednost 0 (ako kurs nije položen iz prve) i vrednost 1 (ako je kurs položen iz prve).

Kod programa je slededi:

podaci1<-read.table("C:/Users/User/Desktop/podaci1.txt", header=T) model<-glm(status~izabrani_kurs_1 + izabrani_kurs_2, data=podaci1, family="binomial") summary(model) Call: glm(formula = status ~ izabrani_kurs_1 + izabrani_kurs_2, family = "binomial", data = podaci1) Deviance Residuals: Min 1Q Median 3Q Max -1.7251 -1.3948 0.9746 0.9746 1.7181 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.4978 0.1139 4.372 1.23e-05 *** izabrani_kurs_1 -1.7142 0.4183 -4.098 4.17e-05 *** izabrani_kurs_2 0.7343 0.4444 1.652 0.0985 . --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion parameter for binomial family taken to be 1)

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

33

Null deviance: 530.66 on 393 degrees of freedom Residual deviance: 505.74 on 391 degrees of freedom AIC: 511.74 Number of Fisher Scoring iterations: 4

Ocene koeficijenata i njihovo standardno odstupanje su dati sa:

promenljiva ocena koeficijenta standardno odstupanje

izabrani_kurs_1 −1.7142 0.4183

izabrani_kurs_2 0.7343 0.4444

slobodan koeficijent 0.4978 0.1139

Tabela 8.

Ocene koeficijenata smo mogli da nađemo i na slededi način:

𝑙𝑛 𝑂𝑅 𝑖𝑧𝑎𝑏𝑟𝑎𝑛𝑖_𝑘𝑢𝑟𝑠_1, 𝑘𝑢𝑟𝑠_3 = 𝛽 1 = −1.7142

𝑙𝑛 𝑂𝑅 𝑖𝑧𝑎𝑏𝑟𝑎𝑛𝑖_𝑘𝑢𝑟𝑠_2, 𝑘𝑢𝑟𝑠_3 = 𝛽 2 = 0.7343.

Sada demo pokazati da ovo važi zbog načina na koji smo kreirali dizajn promenljivu. Za primer demo uzeti 𝑖𝑧𝑎𝑏𝑟𝑎𝑛𝑖_𝑘𝑢𝑟𝑠_1 i 𝑘𝑢𝑟𝑠_3.

𝑙𝑛 𝑂𝑅 𝑖𝑧𝑎𝑏𝑟𝑎𝑛𝑖_𝑘𝑢𝑟𝑠_1, 𝑘𝑢𝑟𝑠_3 = 𝑔 𝑖𝑧𝑎𝑏𝑟𝑎𝑛𝑖_𝑘𝑢𝑟𝑠_1 − 𝑔 𝑘𝑢𝑟𝑠3 =

𝛽 0 + 𝛽 1 ∙ 𝑖𝑧𝑎𝑏𝑟𝑎𝑛𝑖_𝑘𝑢𝑟𝑠_1 = 1 + 𝛽 2 ∙ 𝑖𝑧𝑎𝑏𝑟𝑎𝑛𝑖_𝑘𝑢𝑟𝑠_2 = 0 −

𝛽 0 + 𝛽 1 ∙ 𝑖𝑧𝑎𝑏𝑟𝑎𝑛𝑖_𝑘𝑢𝑟𝑠_1 = 0 + 𝛽 2 ∙ 𝑖𝑧𝑎𝑏𝑟𝑎𝑛𝑖_𝑘𝑢𝑟𝑠_2 = 0 = 𝛽 1

Na osnovu standardnog odstupanja i vrednosti koeficijenata, mogu se nadi intervali poverenja što je prikazano u prethodnom primeru.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

34

5.3 Neprekidna nezavisna promenljiva

Opšti postupak oceneodnosa šansi za jednu jedinicu priraštaja promenljive 𝑿 je data je u slededim koracima:

1. iz jednačine za logit 𝑔 𝑥 = 𝛽0 + 𝛽1 𝑥 dobija se 𝑔 𝑥 + 1 = 𝛽0 + 𝛽1 𝑥 + 1

2. ocena koeficijenta 𝛽1 na osnovu logita je 𝛽 1 = 𝑔 𝑥 + 1 − 𝑔 𝑥

3. ocena odnosa šansi je data sa 𝑂𝑅 = 𝑒𝛽 1 .

Međutim, u slučaju neprekidne promenljive promena za jednu jedinicu nije previše interesantna. Na primer, povedanje telesne težine za jedan kilogram kod odraslih osoba je od manjeg značaja nego povedanje težine za 10 kilograma. Ili, ako je opseg slučajne promenljive interval 0,1 , promena za jednu jedinicu je suviše velika i realnije je posmatrati promenu za 0.01 ili 0.05.

Da bi se obezbedila pravilna interpretacija, metod procene odnosa šansi se prilagođava tačkama intervala na kome je definisana promenljiva 𝑋. Taj interval se deli na određeni broj jedinica. Ako se desila promena od 𝑐 jedinica, razlika ocene logita u tačkama 𝑥 + 𝑐 i 𝑥 iznosi:

𝑔 𝑥 + 𝑐 − 𝑔 𝑥 = 𝛽 0 + 𝛽 1 𝑥 + 𝑐 − 𝛽 0 − 𝛽 1𝑥 = 𝑐𝛽 1.

Na osnovu toga, ocena odnosa šansi je data sa 𝑂𝑅 = 𝑂𝑅 𝑥 + 𝑐, 𝑥 = 𝑒𝑐𝛽 1 . Za ocenu

standardnog odstupanja 𝑐𝛽 1 važi 𝑆𝐸 𝑐𝛽 1 = 𝑐 𝑆𝐸 𝛽 1 . Interval poverenja sa nivoom značajnosti

𝛼 za 𝑂𝑅 𝑥 + 𝑐, 𝑥 je dat sa

𝑒𝑐𝛽 1−𝑧1−𝛼 2 𝑐 𝑆𝐸 𝛽 1 , 𝑒𝑐𝛽 1+𝑧1−𝛼 2 𝑐 𝑆𝐸 𝛽 1 .

Primer 6 (Podaci su uzeti iz literature [3]): Neka zavisna promenljiva predstavlja prisustvo ili odsustvo srčanog oboljenja, a nezavisna promenljiva 𝑋 starost pacijenta i neka je logit ocenjen sa

𝑔 𝑥 = −1.44 + 0.038𝑥. Ocenjeni odnos šansi ima slededi oblik: 𝑂𝑅 𝑥 + 𝑐, 𝑥 = 𝑒0.038𝑐Ako bismo hteli da vidimo kako povedanje starosti od 10 godina utiče na pojavu srčane bolesti u prethodnom

izrazu 𝑐 demo zameniti sa 10 i dobiti𝑂𝑅 10 = 𝑒0.038∙10 = 1.46. Dakle, sa svakim povedanjem starosti od 10 godina rizik za pojavu srčanog oboljenja se povedava 1.46puta.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

35

5.4 Interakcija između promenljivih

Ukoliko je uticaj nezavisne promenljive na zavisnu posredan, odnosno zavisi od vrednosti neke trede promenljive, tada kažemo da su takve promenljive u međusobnoj interakciji, a promenljivu koja utiče na promenu odnosa između promenljivih nazivamo uticajna promenljiva (moderator variable) i označavamo sa 𝒁.Na primer, ako psihoterapija smanjuje depresiju kod muškaraca više nego kod žena, kažemo da polutiče na vezu između psihoterapije i depresije. [13]

Pretpostavimo da je dat model sa dve nezavisnepromenljive, od kojih je jedna neprekidna 𝑋 , a druga binarna 𝑍 , čiji je logit zadat slededom jednačinom:

𝑔 𝑥, 𝑧 = 𝛽0 + 𝛼𝑥 + 𝛽2𝑧. 9

Ako se uticaj promenljive 𝑋 na zavisnu promenljivu razlikuje u zavisnosti od vrednosti promenljive 𝑍, onda kažemo da se javlja efekat interakcije između promenljivih. [4] Koeficijent koji odražava efekat delovanja promenljive 𝑋 na zavisnu promeljivu je linearna funkcija od 𝑍 i zadat je jednačinom:

𝛼 = 𝛽1 + 𝛽3𝑧.

Prema ovoj formulaciji, pri promeni promenljive 𝑍 za jednu jedinicu, vrednost koeficijenta 𝛽1 se promeni za 𝛽3 jedinica. Zamenom u izraz 9 dobija se

𝑔 𝑥, 𝑧 = 𝛽0 + 𝛽1 + 𝛽3𝑧 𝑥 + 𝛽2𝑧

= 𝛽0 + 𝛽1𝑥 + 𝛽3𝑥𝑧 + 𝛽2𝑧

= 𝛽0 + 𝛽1𝑥 + 𝛽2𝑧 + 𝛽3𝑥𝑧

gde je sa 𝑥𝑧 označena vrednost interakcije između promenljivih 𝑋 i 𝑍.

Da bismo ocenili odnos šansi, posmatrademo logite za oba vrednosti binarne promenljive. Eksponencijalnom transformacijom njihove razlike, dobija se ocena odnosa šansi.

Logit ovog modela dat je jednačinom

𝑔 𝑥, 𝑧 = 𝛽0 + 𝛽1𝑥 + 𝛽2𝑧 + 𝛽3𝑥𝑧.

Ako sa 𝑧0 i 𝑧1označimo vrednosti binarne promenljive, tada se zamenom u prethodnu jednačinu dobija:

𝑔 𝑥, 𝑧0 = 𝛽0 + 𝛽1𝑥 + 𝛽2𝑧0 + 𝛽3𝑥𝑧0

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

36

𝑔 𝑥, 𝑧1 = 𝛽0 + 𝛽1𝑥 + 𝛽2𝑧1 + 𝛽3𝑥𝑧1.

Računanjem razlike ova dva izraza, dobija se logaritam odnosa šansi.

𝑔 𝑥, 𝑧1 − 𝑔 𝑥, 𝑧0 = 𝛽0 + 𝛽1𝑥 + 𝛽2𝑧0 + 𝛽3𝑥𝑧0 − 𝛽0 + 𝛽1𝑥 + 𝛽2𝑧1 + 𝛽3𝑥𝑧1 =

𝛽2 𝑧1 − 𝑧0 + 𝛽3𝑥 𝑧1 − 𝑧0

𝑂𝑅 = 𝑒𝛽2 𝑧1−𝑧0 +𝛽3𝑥 𝑧1−𝑧0 .

Da bismo našli interval poverenja, potrebno je nadi varijansu ocene 𝑙𝑛𝑂𝑅

𝑉𝑎𝑟 𝑙𝑛𝑂𝑅 = 𝑧1 − 𝑧0 2𝑉𝑎𝑟 𝛽 2 + 𝑥2 𝑧1 − 𝑧0 2𝑉𝑎𝑟 𝛽 3 + 2𝑥 𝑧1 − 𝑧0

2𝐶𝑜𝑣 𝛽 2, 𝛽 3 .

Interval poverenja za 𝑂𝑅 sa nivoom značajnosti 𝛼 je dat sa

𝑒𝛽 2 𝑧1−𝑧0 +𝛽 3𝑥 𝑧1−𝑧0 −𝑧1−𝛼 2 𝑆𝐸 𝑙𝑛𝑂𝑅 , 𝑒𝛽 2 𝑧1−𝑧0 +𝛽 3𝑥 𝑧1−𝑧0 +𝑧1−𝛼 2 𝑆𝐸 𝑙𝑛𝑂𝑅 .

gde je 𝑆𝐸 𝑙𝑛𝑂𝑅 pozitivan koren veličine 𝑉𝑎𝑟 𝑙𝑛𝑂𝑅 .

5.5 Identifikacija važnih opservacija

5.5.1 Autlajeri

Autlajeri predstavljaju ekstremne vrednosti u uzorku, tj. vrednosti koje vidljivo odstupaju od drugih. Statističari na različite načine definišu autlajere, u zavisnosti od strukture podataka. Hokins (Hawkins, 1980) definiše autlajer kao opažanje koje mnogo odstupa od drugih opažanja pod sumnjom da su generisani različitim mehanizmom. Barnet i Luis (Barnett i Lewis, 1994) ukazuju da udaljeno opažanje, ili autlajer, je opažanje koje deluje da odstupa upadljivo od drugih članova posmatranog uzorka. Džonson (Johnson, 1992) definiše autlajer kao opažanje u skupu podataka koje deluje da je nekonzistentno sa ostatkom skupa podataka. [5]

Autlajeri se često smatraju greškom merenja, mada to ne moraju biti. To mogu biti podaci dobijeni za neke ekstremne vrednosti nezavisne promenljive. U logističkoj regresiji najčešde nastaju kao pogrešna vrednost zavisne promenljive. Neotkriveni autlajeri mogu voditi ka pogrešnoj specifikaciji modela, pristrasnoj oceni parametara, smanjenju značajnosti promenljivih i netačnim rezultatima. Stoga je važno identifikovati autlajere pre analize podataka. Autlajeri nekad mogu nositi važnu informaciju o modelu, pa bi njihovo uklanjanje povlačilo gubitak te informacije. Pre uklanjanja autlajera potrebno je ispitati njihov uticaj na model, kao i detaljnu proveru modela sa i bez autlajera (broj promenljivih, značajnost koeficijenata i standardne greške) i odabrati najbolji model.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

37

Ako model sadrži jednu ili dve nezavisne promenljive, autlajer se može identifikovati grafičkom metodom. Nakon kreiranja modela koji opisuje podatke i njegovim grafičkim predstavljanjem, potrebno je pronadi tačke koje su izdvojene od drugih. Takve podatke smatramo mogudim autlajerima. U slučaju da model sadrži više od dve nezavisne promenljive, ova metoda nije primenljiva.

Jedan od najpopularnijih načina utvrđivanja da li je nešto autlajer ili ne je Kukovo rastojanje (Cook’s distance). [21] Kukovo rastojanje se računa po formuli

𝐶𝐷𝑖 = 𝜷 −𝒊 − 𝜷

𝑇 𝑋𝑇𝑉𝑋 𝜷 −𝒊 − 𝜷

𝑝 + 1 𝜎 2 𝑖 = 1, … , 𝑛

gde je 𝜷 −𝒊 ocena vektora 𝜷 bez i-te opservacija, a 𝜎 pozitivan koren srednjekvadratne greške

ocenjivanja, tj. 𝜎 = 1

𝑛 𝑦𝑖 − 𝑦 𝑖

2𝑛𝑖=1 . Ukoliko je 𝐶𝐷𝑖 ≥

4

𝑛− 𝑝+1 , tada se 𝑖-ta opservacija može

smatrati autlajerom.

U mnogim statističkim softverima postoji ugrađena funkcija koja prema Kukovom rastojanju izdvaja autlajere.

5.5.2 Delta-beta statistika

Statistika delta-beta (deletion displacement) meri promenu izazvanu brisanjem svih zapažanja koja se poklapaju saodabranimelementom iz skupa vrednosti nezavisnih promenljivih i koristi se za otkrivanje zapažanja koje imaju jak uticaj na procenu modela. [16] Na ovaj način se može utvrditi da li uklanjanje nekog od elemenata skupa vrednosti nezavisnih promenljivih ima značajnog uticaja na ocene odnosa šansi i koeficijenata u modelu.

Pretpostavimo da model sadrži 𝑝 različitih nezavisnih promenljivih 𝒙𝑻 = 𝑥1, 𝑥2, … , 𝑥𝑝 i

neka se uzorak sastoji od 𝑛 elemenata. Neka je 𝑚𝑗 , 𝑗 = 1, … , 𝐽 broj elemenata koji imaju iste

vrednosti nezavisnih promenljivih kao određen element skupa vrednosti nezavisne promenljive, a 𝑦𝑗 broj elemenata za koje zavisna promenljiva uzima vrednost 1 među 𝑚𝑗 elemenata i neka je

𝑦𝑗 = 𝑛1. [1]

Da bismo ovo objasnili, posmatrajmo primer sa nezavisnim promenljivama koje označavaju pol, rasu i visinu. Veličina uzorka je 𝑛 = 8, dok je broj različitih vrednosti nezavisnih promenljivih 𝐽 = 6. Podelom u grupe prema različitim vrednostima imamo:

- jednu belkinju visine 167, 𝑚1 = 1 - jednog belca visine 202, 𝑚2 = 1 - dve crnkinje visine 156, 𝑚3 = 2 - jednog crnca visine 189, 𝑚4 = 1 - dva belca visine 139, 𝑚5 = 2

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

38

- jednu crnkinju visine 142, 𝑚6 = 1.

Promena koja se dešava prilikom izbacivanja svih opservacija koje se poklapaju sa 𝑗 −im elementom skupa vrednosti nezavisne promenljive se izračunava kao [15]:

Δ𝛽𝑗 =𝑟 𝑦𝑗 , 𝜋 𝑗

2𝑕𝑗𝑗

1 − 𝑕𝑗𝑗

,

gde je 𝑕𝑗𝑗 j-ta dijagonalna vrednost matrice𝐻 = 𝑊1 2 𝑋 𝑋𝑇𝑊𝑋 −1𝑋𝑇𝑊1 2 , asa 𝑊 dijagonalna

matrica koja je generisana elementom 𝑤𝑗𝑗 = 𝑚𝑗 𝜋 𝑗 1 − 𝜋 𝑗 ,a sa 𝑟 𝑦𝑗 , 𝜋 𝑗 Pirsonov rezidual

(Pearson’s residual) koji se definiše kao [15]:

𝑟 𝑦𝑗 , 𝜋 𝑗 𝑦𝑗 − 𝑚𝑗𝜋 𝑗

𝑚𝑗 𝜋 𝑗 1 − 𝜋 𝑗

, 𝑗 = 1, … , 𝐽.

Matrica 𝑊1 2 je generisana elementima 𝑤𝑗𝑗1 2 . Umesto delta-beta vrednosti, može se koristiti i

standardizovana delta-beta vrednost (standardized deletion displacement) koja se izračunava na slededi način:

Δ𝛽𝑠𝑗 =𝑟𝑠 𝑦𝑗 , 𝜋 𝑗

2𝑕𝑗𝑗

1 − 𝑕𝑗𝑗

,

gde je sa𝑟𝑠 𝑦𝑗 , 𝜋 𝑗 , 𝑗 = 1, … , 𝐽 označenstandardizovan Pirsonov rezidual koji se definiše na slededi

način:

𝑟𝑠 𝑦𝑗 , 𝜋 𝑗 𝑟 𝑦𝑗 , 𝜋 𝑗

1 − 𝑕𝑗𝑗

.

Vede vrednosti ovih veličina ukazuju na značajnost posmatranog elementa skupa vrednosti nezavisnih promenljivihza model.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

39

6 Kreiranje modela i procena slaganja modela sa podacima

6.1 Izbor promenljivih u model

Proces izgradnje logističkog regresionog modela je sličan procesu izgradnje modela linearne regresije. Prilikom ovakve analize potrebno je međusobno upoređivanje modela i izbor modela koji najbolje objašnjava date podatke. Takav model bi trebalo da ima što manje promenljivih jer povedanje broja promenljivih povlači sa sobom povedanje standardnih grešaka ocena, pa model postaje numerički nestabilan. Izbor promenljivih koje najbolje opisuju podatke demo prikazati kroz nekoliko koraka. [12]

Korak 1. Deskriptivna analiza

Tokom deskriptivne analize potrebno je utvrditi raspodelu svake od promenjivih, na primer konstrukcijom štapidastih dijagramaili kreiranjem histograma ili box-plot-ova. Takođe, neophodno je proveriti disperziju i matematičko očekivanje svake promenljive u zavisnosti od ishoda zavisne promenljive. Ukoliko promenljiva ima malu disperziju ili veliki broj nedostajudih podataka, najbolje bi bilo izostaviti je iz modela.

Korak 2. Jednodimenziona analiza svake promenljive

Jednodimenzionom analizom se testira odnos jedne promenljive sa zavisnom promenljivom (ishodom), bez obzira na ostale promenljive koje se javljaju u modelu. Cilj ovakve analize je priprema modela za višedimenzionu analizu i smanjenje broja promenljivih i ovaj korak je posebno važan ako model sadrži veliki broj promenljivih.Hi-kvadrat testom količnika verodostojnosti ili nekim drugim testom neophodno je oceniti koeficijente a zatim testirati njihovu značajnost (na primer Wald-testom) i oceniti standardne greške i intervale poverenja. Ukoliko promenljiva ne pokazuje veliki stepen povezanosti sa zavisnom promenljivom, tj. nije značajna za model, treba je izbaciti iz modela. Za promenljivu se može redi da je značajna ukoliko je p-vrednost testa manja od 0.25. Posebnu pažnju treba obratiti na autlajere i testirati model sa i bez observacija koje se smatraju autlajerima. Takođe, potrebno je oceniti pojedinačni odnos šansi promenljivih sa zavisnom promenljivom. Ukoliko je odnos šansi 1, može se zaključiti da ne postoji povezanost. Ako je odnos šansi manji ili vedi od 1, onda postoji negativna, odnosno pozitivna povezanost sa ishodom.

Korak 3. Višedimenziona analiza

Jednodimenziona analiza ignoriše mogudnost da skup promenljivih, od kojih je svaka slabo povezana sa zavisnom promenljivom, može postati važan prediktor ukoliko ih uzmemo zajedno u razmatranje. Višedimenzionom analizom se bira podskup promenljivih koje najbolje opisuju date podatke. Postoje dva načina na koji se može obaviti multivarijantna analiza. Prvi način za

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

40

izborpromenljivih počinje od modela sa jednom promenljivom, njenom analizom, dodavanjem još jedne promenljive i analizom takvog modela, itd. Drugi način podrazumeva analiziranje modela koji uključuje sve promenljive i postepenim uklanjanjem promenljivih iz modela. Ova tehnika se zove još i tehnika najboljeg podskupa.

Korak 4. Verifikacija značajnosti promenljivih uključenih u model

Nakon višedimenzione analize potrebno jeopet ispitati značajnost svake promenljive u modelu. Promenljive koje nisu značajne za model treba izbaciti, a zatim testom količnika maksimalne verodostojnosti uporediti nov model sa modelom koji sadrži tu promenljivu. Ovaj postupak treba primenjivati sve dok se ne pokaže da promenljive koje su izbačene iz modela statistički nisu značajne. Za neprekidne promenljive je takođe potrebno proveriti pretpostavku o linearnosti logita. Ukoliko logit nije linearan, potrebno je izvršiti odgovarajudu transformaciju promenljive.

6.2 Procena slaganja modela sa podacima

Često se dešava da prilikom analiziranja podataka i traženja najboljeg modela imamo više od jednog modela za koje smatramo da dobro opisuju podatke. Da bismo odabrali najbolji od njih, proveravamo koliko se svaki od njih uklapa u rezultujudu promenljivu i upoređujemo rezultate. Pretpostavimo da smo iz modela uklonili sve promenljive koje nisu značajno uticale na rezultujudu i da su promenljive koje su ostale u modelu unete u korektnom funkcionalnom obliku. Provera uklapanja modela sa rezultujudom promenljivom se naziva test slaganja (goodness of fit test).

Pre provere korektnosti i uklapanja modela moramo navesti osnovne kriterijume koji ukazuju na to šta se podrazumeva pod dobrim modelom. Pretpostavimo da smo ishode zavisne promenljive i njene ocene predstavili u vektorskom obliku, tj. da smo sa 𝒚𝑻 = 𝑦1, 𝑦2, … , 𝑦𝑛

označili vrednosti zavisne promenljive a sa 𝒚 𝑻 = 𝑦 1, 𝑦 2, … , 𝑦 𝑛 procenjene (fitovane) vrednosti vektora 𝒚𝑻. Model se smatra prilagođenim podacima ako zadovoljava dva uslova:

- sveukupna mera rastojanja između𝒚i 𝒚 je zanemarljivo mala - doprinos svakog para 𝑦𝑖 , 𝑦 𝑖 , 𝑖 = 1, … , 𝑛je mali u odnosu na grešku modela.

Prilikom procene modela neophodno je merenje rastojanja između vektora 𝒚 i 𝒚 , kao i merenje rastojanja između pojedinačnih komponenti. Osim računskim putem, mnogi zaključci o slaganju modela sa podacima se mogu dobiti i primenom grafičke metode.

Testom slaganja se testira nulta hipoteza 𝐻0:model je korektan protiv alternative 𝐻1:model nije korektan. [12] Kako je idealan model koji ne sadrži greške merenja i koji se uklapa u sve opservacije praktično nemogude nadi, ovim testiranjem u zavisnosti od praga

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

41

značajnostiodbacujemo ili prihvatamo nultu hipotezu i tražimo onaj model za koji za što manji nivo značajnosti ne odbacuje nultu hipotezu.Ovaj testse bazira na grupisanju vrednosti određenih pomodu vrednosti nezavisnih promenljivih u modelu.

Ako se broj vrednosti koje uzimaju nezavisne promenljivepovedava sa povedanjem veličine uzoraka, tada svaka od vrednosti 𝑚𝑗 ima tendenciju da bude mala. Za takve raspodele koje su

dobijene pod pretpostavkom da 𝑛 uzima dovoljno velike vrednosti, kažemo da su n-asimptotske raspodele. U prethodnom primeru ako imamo veliki uzorak, kako je visina neprekidna promenljiva, velike su šanse da demo imati i veliki broj različitih vrednosti. Ako se fiksira broj grupa, tada se sa povedanjem obima uzorka povedava i broj elemenata u svakoj od tih grupa. Odnosno, ako je 𝐽 < 𝑛 fiksirana vrednost, tada povedanjem veličine 𝑛, povedavaju se i veličine 𝑚𝑗 . Takve raspodele se

nazivaju m-asimptotske. Primer ovakvih raspodela je model koji sadrži dve nezavisne promenljive – pol i rasu.

Posmatrajudi neki model, prilikom testiranja testom slaganja pretpostavljamo da je 𝑱 ≈ 𝒏. Ovakvi slučajevi su česti i javljaju se kad u modelu postoji bar jedna neprekidna promenljiva. Razmotridemo nekoliko načina kojima se može ustanoviti slaganje modela sa podacima.

6.2.1Pirsonov 𝝌𝟐 test i odstupanje

Da bi model bio dobar, potrebno je da reziduali (razlika između stvarnih i ocenjenih vrednosti zavisne promenljive𝒚 − 𝒚 ) budu što manji. U logističkoj regresiji ocenjene vrednosti zavisne promenljive se mogu predstaviti kao

𝑦 𝑗 = 𝑚𝑗 𝜋 𝑗 = 𝑚𝑗

𝑒𝑔 𝑥𝑗

1 + 𝑒𝑔 𝑥𝑗 , 𝑗 = 1, … , 𝐽

gde je 𝑔 𝑥𝑗 = 𝛽 0 + 𝛽 1𝑥1 + ⋯ + 𝛽 𝑝𝑥𝑝 ocena logita za određenu vrednost iz skupa vrednosti

nezavisne promenljive. Funkciju maksimalne verodostojnosti i njen logaritam možemo napisati na slededi način:

ℒ 𝛽 = 𝑚𝑗

𝑦𝑗 𝜋 𝑥𝑗

𝑦𝑗

1 − 𝜋 𝑥𝑗 𝑚 𝑗−𝑦𝑗

𝐽

𝑗=1

𝑙𝑛ℒ 𝛽 = 𝑙𝑛 𝑚𝑗

𝑦𝑗 + 𝑦𝑗𝑥𝑗

𝑇𝛽 − 𝑚𝑗 𝑙𝑛 1 + 𝑒𝑥𝑗𝑇𝛽

𝐽

𝑗=1

.

Devijaciju𝐷 datu formulom (6) možemo predstaviti kao

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

42

𝐷 = 2 𝑦𝑗 𝑙𝑛𝑦𝑗 𝑚𝑗

𝑦 𝑗 𝑚𝑗 + 𝑚𝑗 − 𝑦𝑗 𝑙𝑛

1 − 𝑦𝑗 𝑚𝑗

1 − 𝑦 𝑗 𝑚𝑗 =

𝐽

𝑗 =1

2 𝑦𝑗 𝑙𝑛𝑦𝑗

𝑦 𝑗+ 𝑚𝑗 − 𝑦𝑗 𝑙𝑛

𝑚𝑗 − 𝑦𝑗

𝑚𝑗 − 𝑦 𝑗

𝐽

𝑗 =1

.

Devijaciju takođe možemo izraziti pomodu reziduala odstupanja (deviance residual) definisanih na slededi način: [5]

𝑑 𝑦𝑗 , 𝜋 𝑗 =

− 2𝑚𝑗 𝑙𝑛 1 − 𝜋 𝑗 za𝑦𝑗 = 0

2 𝑦𝑗 𝑙𝑛𝑦𝑗

𝑚𝑗𝜋 𝑗

+ 𝑚𝑗 − 𝑦𝑗 𝑙𝑛𝑚𝑗 − 𝑦𝑗

𝑚𝑗 1 − 𝜋 𝑗 za 0 < 𝑦𝑗 < 𝑚𝑗 , 𝑦𝑗 𝑚𝑗 > 𝜋 𝑗

− 2 𝑦𝑗 𝑙𝑛𝑦𝑗

𝑚𝑗 𝜋 𝑗

+ 𝑚𝑗 − 𝑦𝑗 𝑙𝑛𝑚𝑗 − 𝑦𝑗

𝑚𝑗 1 − 𝜋 𝑗 za 0 < 𝑦𝑗 < 𝑚𝑗 , 𝑦𝑗 𝑚𝑗 < 𝜋 𝑗

2𝑚𝑗 𝑙𝑛𝜋 𝑗 za𝑦𝑗 = 𝑚𝑗

Statistika testa saglasnosti se definiše kao

𝐷 = 𝑑 𝑦𝑗 , 𝜋 𝑗 2

𝐽

𝑗 =1

.

Još jedna statistika za procenu slaganja modela sa podacima je Pirsonova 𝜒2 statistika testa saglasnosti koja je bazirana na Pirsonovim rezidualima je data sa [12]

𝜒2 = 𝑟 𝑦𝑗 , 𝜋 𝑗 2

𝐽

𝑗 =1

.

Pod pretpostavkom da je fitovan model korektan, statistike 𝐷 i 𝜒2 imaju 𝜒𝐽− 𝑝+1 2

raspodelu.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

43

7 Zaključak

U ovom radu je obrađen pojam logističke regresije koja služi za opisivanje zavisne binarne promenljive i nalaženje najbolje veze između zavisne i skupa nezavisnih promenljivih.

Rad se sastoji iz pet poglavlja. U prvom poglavlju smo se upoznali sa populacionim modelima, poreklom logističke krive i njenim oblikom. U drugom poglavlju smo objasnili pojam zavisnosti promenljivih i karakterisike te zavisnosti i detaljnije se upoznali sa logističkom regresijom.

U slededem poglavlju upoznali smo se sa parametrima logističke regresije i njihovim značenjem, metodama ocenjivanja parametara i testovima kojim se može utvrditi da li neka promenljiva utiče na promenu nezavisne promenljive i u kojoj meri. Takođe smo se upoznali i sa intervalima poverenja (pouzdanosti) za parametre.

Poslednja dva poglavlja govore o kreiranju modela. U njima smo se detaljnije upoznali sa nezavisnom promenljivom i opservacijama koje mogu da dovedu do pogrešnih rezultata prilikom testiranja. Videli smo, takođe, na koji način možemo da izaberemo promenljive u model i koliko se izabrani model slaže sa podacima.

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs

44

8 Literatura

[1] Hallet D., Goodness of fit tests in logistic regression University of Toronto, 1999 [2] HarrellF., Regression Modeling Strategies, Springer, 2001 [3] Hosmer D, Lemeshow S, Studirvant R, Applied logistic regression 3rd ed., Wiley, 2013 [4] Jaccard J., Interaction Effects in Logistic Regression, Sage publications, 2001 [5] Kleinbaum D., Klein M., Logistic Regression, Springer, 2010 [6] Liu W, Simultaneous Inference In Regression, CRC Press, 2011 [7] Loader C, Local Regression and Likelihood, Springer, 1999 [8] Malthus T., An Essay on the Principle of Population, Paul’s church-yard, 1798 [9] Pampel C. Fred, Logistic regression: A Primer, Sage publications, 2000 [10] Stivenson M., An Introduction to Logistic Regression, Massey University, 2012 [11] Seber G., Wild C, Nonlinear Regression, Wiley, 1989 [12] Ying L., On goodness of fit of logistic regression model, Kansas, 2007 [13] http://www.medicine.mcgill.ca/epidemiology/joseph/courses/epib-

621/logistic2.pdf [14] http://sydney.edu.au/vetscience/biostat/macros/logistic_tut_model1.shtml [15] http://www.medicine.mcgill.ca/epidemiology/joseph/courses/epib-621/logfit.pdf [16] http://davidakenny.net/cm/moderation.htm [17] http://www.sagepub.com/upm-data/21121_Chapter_15.pdf [18] http://www.statsdirect.com/help/default.htm#regression_and_correlation/logistic.

htm [19] http://support.minitab.com/en-us/minitab/17/topic-library/modeling-

statistics/regression-and-correlation/logistic-regression/what-are-delta-statistics/ [20] http://www.artnit.net/društvo/item/638-tomas-robert-maltus-porast-

stanovništva.html [21] http://www.model.u-

szeged.hu/cd/content/Interreg_2008/Development%20in%20teaching%20science.pdf [22] http://stats.stackexchange.com/questions/59085/how-to-test-for-simultaneous-

equality-of-choosen-coefficients-in-logit-or-probit [23] http://www.iarc.fr/en/publications/pdfs-online/stat/sp32/SP32_vol1-6.pdf

Vir

tual

Lib

rary

of

Fac

ulty

of

Mat

hem

atic

s -

Uni

vers

ity

of B

elgr

ade

elib

rary

.mat

f.bg

.ac.

rs