Podstawy statystyki dla psychologów

Korelacja i regresja ciąg dalszy

Karol Wolski

Zakres zmienności a korelacja

Zakres zmienności a korelacja

• 𝑺𝒀𝑿 = 𝑺𝒀 𝟏 − 𝒓𝟐 - standardowy błąd oszacowania czyli… zmienność wyników Y skupionych wokół linii regresji

– Bo 𝑺𝒀𝑿 jest rodzajem SD

• Po przekształceniu z tego wzoru możemy wyliczyć r

– 𝒓 = 𝟏 −𝑺𝒀𝑿

𝟐

𝑺𝒀𝟐

Zakres zmienności a korelacja

• Wartość współczynnika korelacji zależeć

będzie od stosunku 𝑺𝒀𝑿

𝑺𝒀 a nie tylko od wartości

błędu pomiaru

• Aby określić wielkość 𝑺𝒀𝑿 musimy odnieść ją do odchylenia standardowego Y

Zakres zmienności a korelacja

Zakres zmienności a korelacja

• 𝑺𝒀𝑼𝟐 = 𝟖

• 𝑺𝒀𝑹𝟐 = 𝟔

• 𝑺𝒀𝑿𝟐 = 𝟒

– Ta wartość nie ulegnie zmianie ponieważ zakładamy, że mamy do czynienia z homoskedastycznością

Zakres zmienności a korelacja

Zakres nieograniczony Zakres ograniczony

𝒓 = 𝟏 −𝑺𝒀𝑿

𝟐

𝑺𝒀𝟐 = 𝟏 −

𝟒

𝟖=

𝟏

𝟐= 𝟎, 𝟕𝟏

𝒓 = 𝟏 −𝑺𝒀𝑿

𝟐

𝑺𝒀𝟐 = 𝟏 −

𝟒

𝟔=

𝟏

𝟑= 𝟎, 𝟓𝟖

Zakres zmienności a korelacja

• Wartość r zależy zarówno od stopnia zmienności charakteryzującej każdą ze zmiennych, jak i od siły związku między nimi

• Jeśli pozostałe warunki pozostaną niezmienne, wraz z ograniczeniem zmienności X i/lub Y obniżeniu ulegnie współczynnik korelacji tych dwóch zmiennych

Korelacja w rozkładach nieciągłych

Korelacja w rozkładach nieciągłych

• Niezależnie czy nieciągłość dotyczy zmiennej X czy Y, czy też obu zmiennych jednocześnie, zazwyczaj współczynnik korelacji będzie wyższy niż w przypadku rozkładu ciągłego

Równanie regresji I

• Y=bX + a

• a- wyraz wolny

– Określa punkt, w którym linia regresji przecina oś Y

• b- współczynnik nachylenia

– Określa o ile wzrośnie/zmaleje wartość Y kiedy X wzrośnie o jedną jednostkę

– 𝑏 =𝑧𝑚𝑖𝑎𝑛𝑎 𝑛𝑎 𝑜𝑠𝑖 𝑌

𝑧𝑚𝑖𝑎𝑛𝑎 𝑛𝑎 𝑜𝑠𝑖 𝑋

Równanie regresji I

Równanie regresji I

• 𝒛′𝒀 = 𝒓𝒛𝑿 + 𝟎 • Interpretacja r dla danych standaryzowanych

– Określa o ile jednostek wzrośnie Y przy zmianie X o jedną jednostkę, wtedy gdy dane są wystandaryzowane czyli

– O ile SD zmieni się Y jeśli X zmieni się o 1SD

b a=0

Równanie regresji I

• 𝑌′ = 𝑟𝑆𝑌

𝑆𝑋𝑋 − 𝑟

𝑆𝑌

𝑆𝑋𝑋 + 𝑌

• b- współczynnik regresji

– Określa o ile przeciętnie wzrośnie Y kiedy X zmieni się o jedną jednostkę

b a

Równanie regresji II

Równanie regresji II

• Regresja do średniej – kiedy korelacja między zmiennymi jest <1, to im bardziej ekstremalny wynik na jednej zmiennej, tym bardziej prawdopodobne, że jest on związany z wynikiem mniej ekstremalnym na drugiej zmiennej

• Na podstawie 𝒛′𝒀 = 𝒓𝒛𝑿 + 𝟎 wiemy, że im wyższa wartość r tym mniejsza regresja do średniej

Regresja do średniej

• Kiedy osoby badane zostaną wybrane z powodu ekstremalnej lokalizacji wyników w danej zmiennej, to ich wyniki w innej zmiennej, skorelowanej z pierwszą wprost proporcjonalnie, będą prawdopodobnie również wysokie, ale będę mniej ekstremalne

Interpretacja r – współczynnik determinacji

• Całkowitą wariancję Y można potraktować jako sumę dwóch wariancji

– Związaną ze zmienną X

– Niezwiązaną ze zmienną X

Odchylenia wyników 𝑌 − 𝑌 = 𝑌 − 𝑌′ + (𝑌′ − 𝑌 )

Interpretacja r – współczynnik determinacji

Interpretacja r – współczynnik determinacji

• 𝑌 − 𝑌 - przekształcone na wariancję mierzy całkowitą wariancję Y, tak jak robiliśmy to na samym początku

𝑆2 = 𝑌−𝑌 2

𝑛

• 𝑌 − 𝑌′ - przekształcone na wariancję mierzy wariancję Y niezależną od X, czyli jest nasz błąd

oszacowania S𝒚𝒙𝟐 = (𝒀−𝒀′)𝟐

𝒏

• (𝑌′ − 𝑌 ) – przekształcona na wariancję mierzy wariancję Y zależną od zmiennej X

– 𝑺𝒀′𝟐 = (𝒀′−𝒀 )𝟐

𝒏

Interpretacja r – współczynnik determinacji

• Wiemy zatem, że

• 𝑆2 = S𝒚𝒙𝟐 + 𝑺𝒀′𝟐

• Dobrym sposobem na zrozumienie siły związku pomiędzy X i Y będzie poznanie proporcji

–𝑺𝒀′𝟐

𝑺𝒀𝟐 czyli stosunku wariancji zależnej od X do

całości wariacji Y

Interpretacja r – współczynnik determinacji

• Jeśli 𝑆2 = S𝒚𝒙𝟐 + 𝑺𝒀′𝟐 to

• 𝑺𝒀′𝟐 = 𝑺𝒀′𝟐 − S𝒚𝒙𝟐

• I jeśli 𝑺𝒀′𝟐

𝑺𝒀𝟐

• To po kilku przekształceniach…

• 𝑺𝒀′𝟐

𝑺𝒀𝟐= 𝒓𝟐 - współczynniki determinacji

Interpretacja r – współczynnik determinacji

• 𝑆2 = 𝑟2 + 𝑘2

• 𝑘2 - współczynnik indeterminacji, wskazuje nam jaki odsetek Y nie zależy od X, jest równy

1 − 𝑟2