wykład 11 analiza wariancji (anova)
DESCRIPTION
Wykład 11 Analiza wariancji (ANOVA). Sposób analizy danych gdy mamy więcej niż dwa zabiegi lub populacje. Omówimy ANOV-ę w najprostszej postaci. Te same podstawowe założenia/ograniczenia co przy teście Studenta W każdej populacji badana cecha ma rozkład normalny - PowerPoint PPT PresentationTRANSCRIPT
Wykład 11Analiza wariancji (ANOVA)
• Sposób analizy danych gdy mamy więcej niż dwa zabiegi lub populacje.
• Omówimy ANOV-ę w najprostszej postaci. • Te same podstawowe założenia/ograniczenia co przy
teście StudentaW każdej populacji badana cecha ma rozkład
normalnyObserwacje są niezależne i losoweBędziemy testowali hipotezy o średnich w populacjach i
Założenie – standardowe odchylenia badanej cechy w każdej populacji są sobie równe (podobne) więc możemy użyć uśrednionego SE
• Uwaga: ANOVA może być stosowana także gdy próby nie są niezależne
• Np. W układzie zrandomizowanym blokowym
• (zasada podobna do testu Studenta dla powiązanych par)
• Nie będziemy tego omawiać. Omówimy tylko układy zupełne zrandomizowane.
• Cel:
• Testujemy hipotezy postaci:
• H0: 1 = 2 = 3 = … = k
• HA: nie wszystkie średnie są równe
Dlaczego nie stosujemy wielu testów Studenta?
• Wielokrotne porównania– P-stwo błędu pierwszego rodzaju (p - stwo
odrzucenia prawdziwej hipotezy) jest trudne do kontrolowania)
Korekta Bonferoniego
– Prosta ale na ogół konserwatywna (p-stwo błędu pierwszego rodzaju mniejsze niż założone – strata mocy).
• Estymacja błędu standardowego– ANOVA wykorzystuje informację zawartą we
wszystkich obserwacjach: zwykle daje większą precyzję
Notacja: k = 3 zabiegi (próby, grupy)
Zabieg 1 Zabieg 2 Zabieg 3
1 48 40 39
2 39 48 30
3 42 44 32
4 43 35
średnia 43 44 34
SS 42 32 46
• Trzy rodzaje rachunków: • Wewnątrz grup, pomiędzy grupami,
całkowite.• Liczymy trzy wartości: SS, df, MS
SS df MS
Between
Within
Total
Notacja:
y440
4011
y
k = # grup (prób, zabiegów) k =
n1, n2, n3, …, nk = rozmiary grup
(# obserwacji)
n1 = , n2 = , n3 =
y1 , y2, … yk = średnie w
grupach
y1= ,y2 = ,
y3=
= całkowita średnia
n* = całkowita liczba obserwacji n* =
• Dwa podstawowe typy rachunków:
(gdzie konieczne, będziemy używali i do indeksowania grup a j do indeksowania obserwacji w każdej grupie : yij )
• Wewnątrz każdej grupy oznacza sumę ``wewnątrz grupy’’
11
1
jyyn
1
48 39 42 43
4y
• Uwzględniające wszystkie grupy
oznacza sumę we wszystkich grupach
np. n* =
i
1
k
i
in n
ijy
yn
172 132 13640
11y
• UWAGA: Gdy rozmiary prób nie są równe
nie jest średnią z k średnich!!!
Ale można ją obliczyć jako
• = (n1y1 + n2y2 + …+n3y3) / n*
y
y
Wewnątrz grup (wypełniamy drugi rząd w tabeli)
Suma kwadratów wewnątrz grup (SSW)
• Liczymy SS wewnątrz każdej grupy
(itd. - SS2, SS3 , …)
SS1 =
SS2 = … = 32, SS3 = … = 46
2
1 1 1jSS y y
• SSW = SS1+SS2+…+SSk=
• SSW = • Stopnie swobody wewnątrz grup:dfw = n* - k dfw = • Średnia suma kwadratów wewnątrz grupMSW = SSW / dfw MSW = To samo co uśredniona wariancja
Dla przypomnienia dla dwóch prób
2
i ij iSS y y
2 1 2
1 2 2c
SS SSs
n n
• Uśrednione standardowe odchylenie
sc =
• Pomiędzy grupami (wypełniamy pierwszy rząd tabeli)
Porównujemy średnie grupowe do średniej całkowitej
Ważone przez rozmiar grupy• Suma kwadratów pomiędzy grupami (SSB)• SSB = SSB =
MSW
2
i in y y
• Stopnie swobody pomiędzy grupami (dfb)
dfb = k – 1 dfb =
• Średnia suma kwadratów pomiędzy grupami (MSB)
MSB = SSB/dfb MSB =
• Całkowite
• Całkowita suma kwadratów (SST)
• SST= SST=82+12+22+…+82+52=348
2
ijy y
• Uwaga: SST = SSW+SSB 348 = 120 + 228
Zwykle nie trzeba liczyć SST z definicji
Całkowita liczba stopni swobody (dft)
dft = n* – 1 dft =
Uwaga: dft = dfb+dfw 10 = 2 + 8
Tablica ANOV-y
SS df MS
Between
Within
Total
Ta tabela będzie dostępna na kolokwium i egzaminie:
2
i in y y
2
i ij iSS y y
2
ijy y
SS df MS
Pomiędzy SSB= dfb = k – 1 SSB/dfb
Wewnątrz SSW= dfw = n* – k SSW/dfw
Całkowite SST= dft = n* – 1
Test F
• Dane dla k 2 populacji lub zabiegów są niezależne
• Dane w każdej populacji mają rozkład normalny ze średnią i dla populacji i, i tym samym odchyleniem standardowym
• Testujemy H0: 1 = 2 = 3 = … = k (wszystkie średnie są sobie równe)
• vs.
• HA: nie wszystkie średnie są sobie równe
• (HA jest niekierunkowa ale obszar odrzuceń będzie jednostronny)
• Kroki: Obliczenie tabeli ANOV-y Testowanie
Jak opisać F test• Zdefinować wszystkie • H0 podać za pomocą wzoru i słownie
• HA tylko słownie
• Statystyka testowa Fs = MSB/MSW
• przy H0, Fs ma rozkład Snedecora z dfb, dfw stopniami swobody
• Na kolejnych slajdach podane są wartości krytyczne z książki D.S. Moore i G. P. McCabe ``Introduction to the Practice of Statistics’’
• "numerator df" = dfb i
"denominator df" = dfw.
• Odrzucamy H0 gdy zaobserwowane Fs > Fkrytyczne
• Przykładowy wniosek - Na poziomie istotności α (nie) mamy przesłanki aby twierdzić, że grupy różnią się poziomem badanej cechy.
• Przykład: Losową próbę 15 zdrowych mężczyzn podzielono losowo na 3 grupy składające się z 5 mężczyzn. Przez tydzień otrzymywali oni lekarstwo Paxil w dawkach 0, 20 i 40 mg dziennie. Po tym czasie zmierzono im poziom serotoniny.
• Czy Paxil wpływa na poziom serotoniny u zdrowych, młodych mężczyzn ?
Niech 1 będzie średnim poziomem serotoniny u mężczyzn przyjmujących 0 mg Paxilu.
Niech 2 będzie średnim poziomem serotoniny u mężczyzn przyjmujących 20 mg Paxilu.
Niech 3 będzie średnim poziomem serotoniny u mężczyzn przyjmujących 40 mg Paxilu.
• H0: 1 = 2 = 3 ; średni poziom serotoniny nie zależy od dawki Paxilu
• HA: średni poziom serotoniny nie jest ten sam we wszystkich grupach (albo średni poziom serotoniny zależy od dawki Paxilu).
• Zastosujemy F-Test
Dawka 0mg 20mg 40mg
48,62 58,60 68,59
49,85 72,52 78,28
64,22 66,72 82,77
62,81 80,12 76,53
62,51 68,44 72,33 suma
n 5 5 5 15
srednia 57,60 69,28 75,70 67,53
SS(w) 235,87 249,31 119,29 604,47
SS(b) 492,64 15,36 334,03 842,02
Tablica ANOV-y SS df MSBetween Within Total
• Fs = MSB / MSW przy H0 ma rozkład
• Testujemy na poziomie istotności = 0.05. Wartość krytyczna F.05 = .
• Obserwujemy Fs =
• Wniosek:
Na jakiej zasadzie to działa ?
• Dla przypomnienia:
• Test Studenta patrzy na różnicę między średnimi (y1-y2)
• Dzieli ją przez miarę rozrzutu tej różnicy (SEy1-y2 )
• Jeżeli (y1-y2) jest duże w porównaniu do do SE to statystyka testu Studenta jest duża i odrzucamy H0.
• Dla testu F, Liczymy ``uśredniony kwadrat różnicy
między średnimi’’ (MSB)Dzielimy go przez oszacowanie
zróżnicowania w próbie (MSW)Jeżeli MSB jest duże w porównaniu do
MSW wówczas statystyka testu F jest duża i odrzucamy H0.
Test F jest analogiczny do testu Studenta ale umożliwia jednoczesne porównanie kilku średnich.
• Could actually do an F-test with only 2 samplesStatystyka testu F dla dwóch prób jest równa
kwadratowi statystyki testu StudentaDecyzje i p-wartości są dokładnie takie same
dla obu testów.
Porównania pomiędzy poszczególnymi grupami
• Test Studenta i korekta Bonferoniego ?
• Poszczególne testy w ANOV-ie nie są niezależne.
• Korekta Bonferoniego jest na ogół zbyt konserwatywne i daje małą moc.
• Możemy wykorzystać procedurę Newmana – Keulsa.
Newman-Keuls Procedure
• Sample sizes for each treatment group should be same
• Procedure– Construct an array of means in increasing
order
– Find qi from table 11 (df=dfw) and compute
Ri = qi sqrt(MSW/n) (Ri is the critical value), n=number of observation in each treatment group
–The pairwise comparison
Compare the difference between the largest and smallest of the k sample means with the critical value Rk. If the difference is smaller than Rk the corresponding null hypothesis is not rejected and the line is drawn under the entire array of means, if the difference is larger than Rk than proceed to the next step.
–Ignore the smallest mean and repeat the procedure for remaining subarray of (k-1) means. Ignore the largest mean and repeat the the procedure for other (k-1) means. (Use a separate line each time).
–Continue by looking at all subarrays of (k-2) means etc. Don’t test within any subarray that has already been underlined.
–When the procedure is complete, those pairs of means which are not connected by an underline correspond to null hypotheses that have been rejected.
Example
• Blood chemistry in ratsDiet A B C D E
mean 40.0 40.7 32.9 29.6 48.8
Source Df SS MS
Between 4 894.80 223.70
Within 15 319.35 21.79
Total 19 1214.15
• Ordered array
diet D C A B E
mean 29.6 32.9 40.0 40.7 48.8
• Scale factor = sqrt(MSW/n) = sqrt(21.29/4) = 2.307
• qi = 3.01 3.67 4.08 4.37
Ri = 6.9 8.5 9.4 10.1
• Largest – smallest: Mean(E) – Mean(D) =19.2 > R5 =10.1
• Reject null H0 : D = E
Value of i Comparison Conclusion
5 48.829.6=19.2>10.1 Reject
4 48.8-32.9=15.9>9.4 Reject
4 40.7-29.6=11.1>9.4 Reject
3 48.8-40=8.8>8.5 Reject
3 40.7-32.9=7.8<8.5 Do not reject
Line from C to B
3 40-29.6=10.4>8.5 Reject
2 48.8-40.7=8.1>6.9 Reject
2 32.9-29.6=3.3<6.9 Do not reject
Line from D to C
Two-way ANOVA• One way ANOVA model
yij =+γi + ij , ij ~independent N(0,2)
μ- grand population mean
μi – population mean for group i
γi= μi – μ
H0: 1 = 2 = 3 = … = k is equivalent to
H0: γ1 = γ2 = γ3 = … = γk=0
Two-way ANOVA model• Randomized block design
• Treatment effect, Block effect
• Model– Yijk = + γi + j + ijk
• Hypothesis– H0 : γ1 = γ2 = γ3 = … = γk=0 (no treatment effect)
– H1 : Not H0 (some of γ’s are different from zero)
Decomposition of SS
• Sum of squares between blocks
• SS(total) = SS(within)+SS(between)+SS(block)
• df(total) = df(within)+df(between)+df(block)
• Df(block)=b-1 = number of blocks -1
2
1
( )b
j jj
SSB m y y
ANOVA table
Source df SS MS F-ratio
Between k-1 SSBt MSBt=SSBt/(k-1)
Block b-1 SSBl MSBl= SSBl/(b-1)
Within n-k-b+1 SSW MSW=SSW/(n-k-b+1) F=MSBt/MSW
Total n-1 SST
Example (plant height)
Low Acid High Acid Control Block Mean
Block1 1.58 1.10 2.47 1.717
Block2 1.15 1.05 2.15 1.450
Block3 1.27 0.50 1.46 1.077
Block4 1.25 1.00 2.36 1.537
Block5 1.00 1.50 1.00 1.167
n 5 5 5
Trt mean 1.25 1.03 1.888
Build ANOVA table
• Grand mean = 1.389
• SSBt (SS treatment)
5(1.25-1.389)2 + …+5(1.888-1.389)2 =1.986
– MSBt = 1.986/(3-1)=.993
• SSBl (SS block)
3(1.717-1.389)2 + …+3(1.167-1.389)2=0.840
– MSBl = 0.840/(5-1)=.210
• SSW = SST – SSBt – SSBl = 1.452
• df(SSW) = 14-2-4 = 8, MSW = 1.452/8=0.182
• Fs = MSBt / MSW = .993/.182 = 5.47
• df for numerator=2, df for denominator=8
• 0.02 < P-value < 0.05
• Reject H0 at the significance level α=0.05.
At the significance level α=0.05 there is enough evidence to say that the acid content has an influence on the growth of alfalfa plants.