Download - Rm20130626 10key
英語教育リサーチメソッドJune 26th, 2013
WATARI [email protected]
第10回 量的研究(1)
•量的研究のデザイン
•t-Test•ANOVA (analysis of variance)•Nonparametric tests/χ2 test
第10回 量的研究(1)
• テキスト・コンパニオン・ウェブサイト: http://mizumot.com/handbook/?page_id=85
• Excel, Mac R, ANOVA on the Web 4
• ノンパラメトリック検定用フリーExcelマクロ: http://sci.kj.yamagata-u.ac.jp/~columbo/Stat/
量的研究のデザイン
• 研究課題(Research Questions)の設定
• 研究のタイプの決定
• 実験研究(無作為割り当て有り)
• 準実験研究(無作為割り当て無し)
• 比較群: 各群に異なる処置
• 実験群・統制群: 統制群は処置を受けない
量的研究のデザイン
• 処置効果の測定法の選択:
• 事前・事後デザイン、事後のみのデザイン
• 反復測定デザイン
• 時系列デザイン
• 単発型デザイン
量的研究のデザイン
• 統計的仮説検定
• 主として「違い」を示すための検定
• 主として「関係」(「似ている」)を示すための検定
• 回帰分析,相関分析,因子分析(次回)
- 2 -
*�#����ŻƂ`w[.=@ Ę0,��)9x�$+�òŵ.�?�*)�"���ċ/þĝď/
=�.ųă.)ƇĚ ĘDů��+*=?Ƅé¨/�@ Ę�*�@/*0-��+ï�6�#�KJī0
Mwb�õ-,ďƗ���?6��ƭFtQwaƇĚ-,*9�&)7#�+ï�6�#�
) !"�����
v�ňŏƆƦƪResearch Questionsƫ/žÍ
v�ňŏ/[Hi/ĪÍ:
! ņƘňŏƪĢ½ƫ
! ÎƨňŏƪIJ�ı§?â)ē?ƫ
! įÎƨňŏƪIJ�ı§?â)IJ�ƫ
��ĦƋŤ: ´Ť.ŀ-@�ţ
��ÎƨŤvŠ¥Ť: Š¥Ť0�ţD±�-�
v��ţ©ę/ĭÍī/ƒû:
! �¦v�æ`UHt: ĦƋ²ũðDʼnÎ-9/+�@#8.�ÌŦŨ/ũ¨vŇƈ/¢ĔĶôD
�¦_Wa*ĭÍ�ÌŦ/©ęDĭÍ�@�æ_WaDÎĊ
! �æ/7/`UHt: ŤƗ/Ɛ� or�ţæ/ÌŦŨ/ũ¨vŇƈDĭÍ�@�æ_WaDÎĊ
! ®êĭÍ`UHt: ¶�ÌŦŨ�>ųă/TtirD¯ƞ
! Ŵ¾źĘ`UHt: è×Çă.Ƙ�)ųă/Çă/ãơD¸ºƪ→¾Ë ĘŔƫ
! ďŘ¡`UHt: ¢ĔÃįDČ>�.�5��ţ¦.ųă½ŹÑDÎĊ��ţæ.©ęDĭÍ
! «łÂ`UHt: �@ĵÍ/ďİ.��@ÌŦŨ/Ňƈ:ůªDĵë(�@
v�ŠżŃ�ƄĜÍ/ÎĊv Ęƪœ 4½(5Ē 8ċ)ƭ_NWaœ 4őDijƫ
! ~+�)Ɛ��DŊ�#8/ĜÍ
! ~+�)Ƙ��ƪor�)�@�ƫDŊ�#8/ĜÍ: ½Û ĘƭņƘ Ęƭ¾Ë Ę
一般化線形モデル (Generalized Linear Model) =固定効果
一般線形モデル(General Linear Model)
量的研究のデザイン
• 統計的仮説検定
• 主として「違い」を示すための検定
• 主として「関係」(「似ている」)を示すための検定
• 回帰分析,相関分析,因子分析(次回)
- 2 -
*�#����ŻƂ`w[.=@ Ę0,��)9x�$+�òŵ.�?�*)�"���ċ/þĝď/
=�.ųă.)ƇĚ ĘDů��+*=?Ƅé¨/�@ Ę�*�@/*0-��+ï�6�#�KJī0
Mwb�õ-,ďƗ���?6��ƭFtQwaƇĚ-,*9�&)7#�+ï�6�#�
) !"�����
v�ňŏƆƦƪResearch Questionsƫ/žÍ
v�ňŏ/[Hi/ĪÍ:
! ņƘňŏƪĢ½ƫ
! ÎƨňŏƪIJ�ı§?â)ē?ƫ
! įÎƨňŏƪIJ�ı§?â)IJ�ƫ
��ĦƋŤ: ´Ť.ŀ-@�ţ
��ÎƨŤvŠ¥Ť: Š¥Ť0�ţD±�-�
v��ţ©ę/ĭÍī/ƒû:
! �¦v�æ`UHt: ĦƋ²ũðDʼnÎ-9/+�@#8.�ÌŦŨ/ũ¨vŇƈ/¢ĔĶôD
�¦_Wa*ĭÍ�ÌŦ/©ęDĭÍ�@�æ_WaDÎĊ
! �æ/7/`UHt: ŤƗ/Ɛ� or�ţæ/ÌŦŨ/ũ¨vŇƈDĭÍ�@�æ_WaDÎĊ
! ®êĭÍ`UHt: ¶�ÌŦŨ�>ųă/TtirD¯ƞ
! Ŵ¾źĘ`UHt: è×Çă.Ƙ�)ųă/Çă/ãơD¸ºƪ→¾Ë ĘŔƫ
! ďŘ¡`UHt: ¢ĔÃįDČ>�.�5��ţ¦.ųă½ŹÑDÎĊ��ţæ.©ęDĭÍ
! «łÂ`UHt: �@ĵÍ/ďİ.��@ÌŦŨ/Ňƈ:ůªDĵë(�@
v�ŠżŃ�ƄĜÍ/ÎĊv Ęƪœ 4½(5Ē 8ċ)ƭ_NWaœ 4őDijƫ
! ~+�)Ɛ��DŊ�#8/ĜÍ
! ~+�)Ƙ��ƪor�)�@�ƫDŊ�#8/ĜÍ: ½Û ĘƭņƘ Ęƭ¾Ë Ę
線形混合モデル(Linear Mixed Model)=固定効果+ランダム(or 変量)効果
一般化線形モデル (Generalized Linear Model) =固定効果
一般線形モデル(General Linear Model)
- 2 -
*�#����ŻƂ`w[.=@ Ę0,��)9x�$+�òŵ.�?�*)�"���ċ/þĝď/
=�.ųă.)ƇĚ ĘDů��+*=?Ƅé¨/�@ Ę�*�@/*0-��+ï�6�#�KJī0
Mwb�õ-,ďƗ���?6��ƭFtQwaƇĚ-,*9�&)7#�+ï�6�#�
) !"�����
v�ňŏƆƦƪResearch Questionsƫ/žÍ
v�ňŏ/[Hi/ĪÍ:
! ņƘňŏƪĢ½ƫ
! ÎƨňŏƪIJ�ı§?â)ē?ƫ
! įÎƨňŏƪIJ�ı§?â)IJ�ƫ
��ĦƋŤ: ´Ť.ŀ-@�ţ
��ÎƨŤvŠ¥Ť: Š¥Ť0�ţD±�-�
v��ţ©ę/ĭÍī/ƒû:
! �¦v�æ`UHt: ĦƋ²ũðDʼnÎ-9/+�@#8.�ÌŦŨ/ũ¨vŇƈ/¢ĔĶôD
�¦_Wa*ĭÍ�ÌŦ/©ęDĭÍ�@�æ_WaDÎĊ
! �æ/7/`UHt: ŤƗ/Ɛ� or�ţæ/ÌŦŨ/ũ¨vŇƈDĭÍ�@�æ_WaDÎĊ
! ®êĭÍ`UHt: ¶�ÌŦŨ�>ųă/TtirD¯ƞ
! Ŵ¾źĘ`UHt: è×Çă.Ƙ�)ųă/Çă/ãơD¸ºƪ→¾Ë ĘŔƫ
! ďŘ¡`UHt: ¢ĔÃįDČ>�.�5��ţ¦.ųă½ŹÑDÎĊ��ţæ.©ęDĭÍ
! «łÂ`UHt: �@ĵÍ/ďİ.��@ÌŦŨ/Ňƈ:ůªDĵë(�@
v�ŠżŃ�ƄĜÍ/ÎĊv Ęƪœ 4½(5Ē 8ċ)ƭ_NWaœ 4őDijƫ
! ~+�)Ɛ��DŊ�#8/ĜÍ
! ~+�)Ƙ��ƪor�)�@�ƫDŊ�#8/ĜÍ: ½Û ĘƭņƘ Ęƭ¾Ë Ę
一般化線形モデル (Generalized Linear Model) =固定効果
一般線形モデル(General Linear Model)
t-Test(t検定)
• 母分散σ2が未知の場合の1つの平均値の検定
• 用途:
• a) 異なる2つのグループが同一テストを受け,その平均点の差を検証する場合
• b) ある1つのグループが2回のテストを受けて,その平均点の伸びを検証する場合
t-Test(t検定)
図(略)
t-Test(t検定)
• 適用条件: 1) 正規性が確保されていること
• 2) 尺度が間隔尺度・比率尺度であること
• 3) 比較する2グループのサンプルサイズに偏りがないこと
• 4) 1グループのサンプルサイズが30未満の場合は等分散の検証をしていること
t-Test(t検定)
• 適用条件: 4) 等分散の検証
• F検定:「データ分析」→「F検定」→
• 帰無仮説(H0)は「2標本に差がない」なので、α(A)=0.05で「P(F<f)片側」が0.05以上であれば棄却されない
• =等分散を仮定できる
t-Test(t検定)
• 適用条件: 5) 同じサンプルに対してt検定を繰り返し適用しないこと:
• 1-(0.95×0.95×0.95×…)=…0.1426..
• 繰り返しの検定を行なう場合:
• ボンフェローニの補正: 有意水準(α)を検定を繰り返す回数で割る(例:10回繰り返す場合は、p < .05÷10=.005)
統計的仮説検定における2種類の誤り
真実真実
決定 H0は正しい H0は間違い
H0を棄却 第1種の誤り勘違いヤロー
正しい決定確率1-β: 検定力
H0を棄却しない 正しい決定確率1-α
第2種の誤り鈍感ボーイ
t-Test(t検定)
• 手順: a) Excel「データ」→「データ分析」→
• t検定: 等分散を仮定した2標本による検定
• t検定:分散が等しくないと仮定した2標本による検定
• →入力範囲に各標本の範囲を指定→α(A)の値0.05→「出力オプション」を選択→「OK」
• →両側「P(F<f)」の値で有意性を判断
t-Test(t検定)
•手順: b) Excel「データ分析」
• t検定: 一対の標本による平均の検定
•→入力範囲」に各標本の範囲を指定→α(A)の値0.05→「出力オプション」を選択→「OK」
•→両側「P(F<f)」の値で有意性を判断
t-Test(t検定)
•報告: t (自由度df) = t値, p = p値
•値を示す記号は必ず斜体、
•検定が両側か片側かも示すと良い
•自由度(自由に値をとることができる数)はn-1で求める。
t-Test(t検定)
•報告: t (自由度df) = t値, p = p値
• 「発音練習をしたグループと発音練習をしなかったグループで発音テストの平均点の差が統計的に有意かを確かめるために,有意水準5%で両側検定のt検定を行なったところ,t (46) = 1.84, p = .07であり,両グループの平均点の差に有意差は見られなかった。」
Effect size効果量の測定
•Question
• この有意差にはどの程度意味がある?
• ×「p値が小さければ差が大きい」
Effect size効果量の測定
•標準偏差を単位として平均値がどれだけ離れているか
• 手順:
• http://www.mizumot.com/stats/effectsize.xlsからExcelファイルをDL
• 使用した検定に応じてシートを選択し,必要な数値を入
t-Test(t検定)(初回到達目標(B))
•報告: t (自由度df) = t値, p = p値, Cohen’s d= d値
• “An independent samples t-test found there was no statistical difference between groups, t (46) = 1.84, p = .07, but the Cohen’s d effect size (d = 0.53) was medium. ....”
ANOVA (分散分析)
•one-way ANOVA:一元配置分散分析
•データに影響を与える原因(要因)が1つの分散分析
ANOVA (分散分析)
• 用途:
• a) 異なる3つ以上のグループが同一テストを受け,その平均点の差を検証する場合(繰り返しなし)
• b) ある1つのグループが3回以上のテストを受けて,その平均点の伸びを検証する場合(繰り返しあり)
ANOVA (分散分析)
図(略)
ANOVA (分散分析)
•適用条件: t検定と同じ
•「繰り返しあり」の分散分析の場合,実質的に比較に値するものであること=構成概念や測定対象、難易度等において似た性質のテスト同士を比較していること
ANOVA (分散分析)
•手順: a) Excel「データ分析」→「分散分析: 一元配置」
•「入力範囲」に全標本の範囲を指定
•α(A)0.05→出力オプション→OK
•「P-値」→有意=「3群の平均点に差がある」→各組合わせを多重比較
ANOVA (分散分析)
•手順: b) Excel「データ分析」→「分散分析: 繰り返しのない二元配置」
•入力範囲: データID列も含む全標本
•α(A)0.05→出力オプション→OK
•「P-値」→有意=「3回の平均点に差がある」→各組合わせを多重比較
ANOVA (分散分析)
•報告:
• a) F (グループ間自由度, グループ内自由度) = 観測された分散比, p = p値
• b) F (列自由度, 誤差自由度) = 観測された分散比, p = p値
ANOVA (分散分析)
•報告: F (グループ間自由度, グループ内自由度) = 観測された分散比, p = p値
• “... A one-way ANOVA testing for differences in writing topic found a statistical difference between topics, F (2, 39) = 30.14, p < .001. Multiple comparison tests by Bonferroni’s Method found that all of the writing topics scores were statistically different from each other (p < .05) and the effect size for each contrast was large ...
ANOVA (分散分析)
•報告: F (列自由度, 誤差自由度) = 観測された分散比, p = p値
• 「…指導前、指導直後、指導3ヵ月後の3時点における平均点を分散分析で比較した。その結果、F (2, 36) = 66.94, p < .001で、平均点に有意差があることがわかった。ボンフェローニの方法を用いて多重比較を行ったところ、指導前と指導直後、指導直後と指導3ヵ月後の平均点には5%水準で有意差が確認されたものの、指導前と指導3ヵ月後の間には有意差がない...」
ANOVA (分散分析)
• two-way ANOVA:二元配置分散分析
• 用途:
• a) 2つ(かそれ以上)の要因がある場合に,テスト等の平均点の差を比べたい場合
• b) 2つ(かそれ以上)の要因がある場合に,テスト等の複数回の平均点の差を比べたい場合
ANOVA (分散分析)
• 適用条件: t検定&一元配置分散分析と同じ
• 手順:
• ANOVA4 on the Web (http://www.hju.ac.jp/~kiriki/anova4/)
• js-STAR 2012 (http://www.kisnet.or.jp/nappa/software/star/)
ANOVA (分散分析)
• 主効果(main effect): 要因単独の効果(影響)
• 交互作用(interaction): 要因の組み合わせによる効果
図(略)
ANOVA (分散分析)
ANOVA (分散分析)
• 報告: F (グループ間自由度, グループ内自由度) = 観測された分散比, p = p値、効果量η2
• “A two-way ANOVA showed statistically significant difference for the main effect of groups (F (1, 654) = 67.92, p = .000, partial η2 = .094), the main effect of demotivating factors (F (3.59, 2,345.75) = 196.99, p = .000, partial η2 = .231), and the interaction effect of the demotivating factors and the groups (F (3.59, 2,345.75) = 32.52, p = .000, partial η2 = .047). ...”
Nonparametric tests
• 用途: a) 尺度が名義尺度や順序尺度であった場合、b) 間隔尺度以上であっても、データの正規性の前提が満たさない場合
• 対応のない2群の検定: Mann-Whitney test
• 対応のある2群の検定: Wilcoxon signed-rank test
• 対応のない3群以上の検定: Kruskal-Wallis test
• 対応のある3群以上の検定: Friedman test
χ2 Test カイ二乗検定
• 比較される全てのグループで同じ度数が観測されると仮定した場合の値(期待値)と,観測された度数(実測値)がどの程度異なっているか
• 用途: 名義尺度で分類したグループ毎の頻度(回数や人数)データをもとに、カテゴリー間に差異があるかどうかを検証する場合
χ2 Test カイ二乗検定
• 適用条件:
• 1) データが名義尺度であること
• 2) データが累積の頻度であること
• 3) データが独立していること
• 4) 期待値が5以上であること
• 5) 自由度({(グループ数)-1}×{(グループ数)-1}で計算)が1の場合は「イェーツの補正」(式2)を用いる
χ2 Test カイ二乗検定
• 手順: a) サンプルが1つの場合(適合度判定)
• 分割表を用意: 「実測値」、「期待値」を入力
• カイ二乗(χ2)の有意水準を計算:
• 「数式」→「関数の挿入」→「CHISQ.TEST」07以前「CHITEST」→「実測値範囲」「期待値範囲」
• カイ二乗値を求める: 「数式」→別の空白セル上で関数バーに直接入力「CHIINV」→「確率」に上で求めた有意水準のセルを選択→自由度=「{カテゴリー数}-1」を入力
χ2 Test カイ二乗検定
• 手順: b) サンプル2つ以上の場合(独立性の検定)
• ①実測値と期待値の分割表をそれぞれ用意して、a)と同じ手順で計算
• 期待値の求め方
•
χ2 Test カイ二乗検定
• 手順: b) サンプル2つ以上の場合(独立性の検定)
• ②実測値の分割表のみで一気に計算する
• カイ二乗値を求める:
• カイ二乗(χ2)の有意水準を計算:「数式」→空白セル上で「関数の挿入」→「CHISQ.DIST.RT」07以前CHIDIST
• →「実測値範囲」「期待値範囲」→「X」=カイ二乗値
• →自由度=「{(グループ数)-1}×{(グループ数)-1}」入力
ěÐ�ðXpS� http://www.mizumot.com/stats/chi-square.xls
6
2. ����� 2������"������#
Source: Davies, M. (2007). Paralinguistic focus on form. TESOL Quarterly, 40, 841-855.
���
Mfi[JWDa)Åä+v&ĺ� ���� �� � ��ĸēĚ·¶+ëê�Ĺ'�->=`DpZ]UK
+Ïä��<4��� ���� ��� ��&,ĺ~ė+å>AÞ6=�')�ĺ¨ĈĊ*ĭĩ Aá$��
%ĸ7��,á$���*ĹĔß��=ÅAĎ 4���
�
�+ � ���� ��� ���PGQThpAy�=�'*:"%ĺ �*�Öô*)=�' �øþAĎ
4����KjQ& �Ĩĭ*ç<ĺPGQThpAy��ÅAĎ"�v&ĺ¨ĈĊ�`DpZ]UK
&Ĕß�>�ß� ÎÿA ����ĸĆ<Ĥ��Ĺ�Ì'ĺ�����=�')�ĺė�ą ��ÌA_
XI˸&Ç<Ĥ"%JFnY�4����>A4'6�7+�r+ď&��ďAĒ%5='ĺPGQ
ThpAy��3��ĺ�����Ġ�<8��"�:�&�ĸ���Ĺ��
�
�
2.1. Excel�������� }s+:�)��ď+'�*,ĺ¶ 1+·*)=:�*ĕā�>-�2�A���'�&�4��
� ��� ��� ���
��� �� � ��
��� � �� ��
��� ��� ��� ��
( )2121
22
mmnnNbc-ad×××
×=�χ ĸ¶ 1Ĺ
Ę� ĕā,`CEl+ÏAĒ%TGUK�4�9��
ěÐ�ðXpS� http://www.mizumot.com/stats/chi-square.xls
7
�2�ĸ}s+�&, 19.53Ĺ�ĕā�>�Rl+İ*ĺÓ¾ùíAĕā�4�� �ĮÌ+È���Ąĕ+v+�CHIDISTAĪÂ�4��
©¿�
� �� � � {�+�+:�) 2�2�+JExwÙª&,ĺ(1) XpSÌ�¯) '�'ĺ(2) Rl+v*”5”:<®� «è���=¡�*,�EHpV+ĐßĸYates’ correctionĹAð �Ï�Č '�>4��{�,With pfĸPGQThp�<Ĺ+ topic contĸė�ą ��ÌĹ+Rl*”7”' �ĵµ��<4�+&ĺ��+ĝÎ&,EHpV+ĐßAĎ"�7+AăÖ'�%Æ�% 4��
EHpV+Đß,¶+v*ĸĻŀ/2Ĺ��"% = �&��ĺ}s+¶ 2*Ò % =7+&��
2121
2
2
mmnn
N2Nbc-ad
×××
×"#
$%&
' −=�χ ĸ¶ 2Ĺ
�X*,�3(ĕā���2�A�>4� ĸr+�&, I8+RlĹ� �ċñµ,ĸ2Ļ1Ĺ&�1*�4��
χ2 Test カイ二乗検定
• 報告: χ2(自由度)=カイ二乗値, p < p値、あるいはχ2=カイ二乗値, df=自由度, p = p値
• “A chi-square test investigating the relationship of study abroad time on anxiety in third-year Japanese students (as measured by a categorical “low,” “mid,” or “high” scale) found these two variables were related (χ2 = 7.17, df = 2, p = .03).”
χ2 Test カイ二乗検定
• 報告: χ2(自由度)=カイ二乗値, p < p値、あるいはχ2 = カイ二乗値, df = 自由度, p = p値
• 「ある中学校の2年生の2クラスで英語に対する意識を,『好き』『ふつう』『きらい』という3つのどれかに回答するという調査を行った。その結果,χ2(2) = 7.63, p < .05で回答には有意な差が認められた。」
Task量的分析の準備・検討•次回授業内で数グループがプレゼン
•初回アンケート集計データを使用
• t検定、ANOVA, カイ二乗検定いずれか
• 4人グループ、各6~8分程度
• Research Questionsの観点や群の構成は自由: 実際の研究では違うが...
Task量的分析の準備・検討
• Research Questionsの設定
•手順1 仮説を設定: 帰無仮説/対立仮説/両側か片側か
•手順2 統計的検定に用いる手法を選択
•手順3 仮説の正否の判断の基準になる確率設定: 有意水準(α)
Task量的分析の準備・検討
• RQsの設定、手順1~3
•手順4 実際のデータから実現値を計算
•手順5 仮説が間違っているか正しいかを判断
•手順6 分析結果を要約