rm20130626 10key

英語教育リサーチメソッドJune 26th, 2013

WATARI [email protected]

mailto:[email protected]

mailto:[email protected]

第10回量的研究（1）

•量的研究のデザイン

•t-Test•ANOVA (analysis of variance)•Nonparametric tests/χ2 test

第10回量的研究（1）

• テキスト・コンパニオン・ウェブサイト: http://mizumot.com/handbook/?page_id=85

• Excel, Mac R, ANOVA on the Web 4

• ノンパラメトリック検定用フリーExcelマクロ: http://sci.kj.yamagata-u.ac.jp/~columbo/Stat/

http://mizumot.com/handbook/?page_id=85




http://sci.kj.yamagata-u.ac.jp/~columbo/Stat/




量的研究のデザイン

• 研究課題（Research Questions）の設定

• 研究のタイプの決定

• 実験研究（無作為割り当て有り）

• 準実験研究（無作為割り当て無し）

• 比較群: 各群に異なる処置

• 実験群・統制群: 統制群は処置を受けない


• 処置効果の測定法の選択:

• 事前・事後デザイン、事後のみのデザイン

• 反復測定デザイン

• 時系列デザイン

• 単発型デザイン


• 統計的仮説検定

• 主として「違い」を示すための検定

• 主として「関係」（「似ている」）を示すための検定

• 回帰分析，相関分析，因子分析（次回）

- 2 -

*�#��ŻƂ`w[.=@ Ę0,��)9x�$+�òŵ.�?�*)�"��ċ/þĝď/

=�.ųă.)ƇĚ ĘDů��+*=?Ƅé¨/�@ Ę�*�@/*0-��+ï�6�#�KJī0

Mwb�õ-,ďƗ��?6��ƭFtQwaƇĚ-,*9�&)7#�+ï�6�#�

) !"��

v�ňŏƆƦƪResearch Questionsƫ/žÍ

v�ňŏ/[Hi/ĪÍ:

! ņƘňŏƪĢ½ƫ

! ÎƨňŏƪĲ�ı§?â)ē?ƫ

! įÎƨňŏƪĲ�ı§?â)Ĳ�ƫ

��ĦƋŤ: ´Ť.ŀ-@�ţ

��ÎƨŤvŠ¥Ť: Š¥Ť0�ţD±�-�

v��ţ©ę/ĭÍī/ƒû:

! �¦v�æÙHt: ĦƋ²ũðDŉÎ-9/+�@#8.�ÌŦŨ/ũ¨vŇƈ/¢ĔĶôD

�¦_Wa*ĭÍ�ÌŦ/©ęDĭÍ�@�æ_WaDÎĊ

! �æ/7/ÙHt: ŤƗ/Ɛ� or�ţæ/ÌŦŨ/ũ¨vŇƈDĭÍ�@�æ_WaDÎĊ

! ®êĭÍÙHt: ¶�ÌŦŨ�>ųă/TtirD¯ƞ

! Ŵ¾źĘÙHt: è×Çă.Ƙ�)ųă/Çă/ãơD¸ºƪ→¾Ë ĘŔƫ

! ďŘ¡ÙHt: ¢ĔÃįDČ>�.�5��ţ¦.ųă½ŹÑDÎĊ��ţæ.©ęDĭÍ

! «łÂÙHt: �@ĵÍ/ďİ.��@ÌŦŨ/Ňƈ:ůªDĵë(�@

v�ŠżŃ�ƄĜÍ/ÎĊv Ęƪœ 4½(5Ē 8ċ)ƭ_NWaœ 4őDĳƫ

! ~+�)Ɛ��DŊ�#8/ĜÍ

! ~+�)Ƙ��ƪor�)�@�ƫDŊ�#8/ĜÍ: ½Û ĘƭņƘ Ęƭ¾Ë Ę

一般化線形モデル (Generalized Linear Model) ＝固定効果

一般線形モデル(General Linear Model)


• 統計的仮説検定

• 主として「違い」を示すための検定

• 主として「関係」（「似ている」）を示すための検定

• 回帰分析，相関分析，因子分析（次回）

- 2 -

*�#��ŻƂ`w[.=@ Ę0,��)9x�$+�òŵ.�?�*)�"��ċ/þĝď/

=�.ųă.)ƇĚ ĘDů��+*=?Ƅé¨/�@ Ę�*�@/*0-��+ï�6�#�KJī0


) !"��


v�ňŏ/[Hi/ĪÍ:

! ņƘňŏƪĢ½ƫ














! ~+�)Ɛ��DŊ�#8/ĜÍ


線形混合モデル(Linear Mixed Model)＝固定効果＋ランダム(or 変量)効果



- 2 -

*�#��ŻƂ`w[.=@ Ę0,��)9x�$+�òŵ.�?�*)�"��ċ/þĝď/

=�.ųă.)ƇĚ ĘDů��+*=?Ƅé¨/�@ Ę�*�@/*0-��+ï�6�#�KJī0


) !"��


v�ňŏ/[Hi/ĪÍ:

! ņƘňŏƪĢ½ƫ














! ~+�)Ɛ��DŊ�#8/ĜÍ




t-Test（t検定）

• 母分散σ2が未知の場合の１つの平均値の検定

• 用途:

• a) 異なる２つのグループが同一テストを受け，その平均点の差を検証する場合

• b) ある１つのグループが２回のテストを受けて，その平均点の伸びを検証する場合

t-Test（t検定）

図（略）

t-Test（t検定）

• 適用条件: 1) 正規性が確保されていること

• 2) 尺度が間隔尺度・比率尺度であること

• 3) 比較する２グループのサンプルサイズに偏りがないこと

• 4) １グループのサンプルサイズが30未満の場合は等分散の検証をしていること

t-Test（t検定）

• 適用条件: 4) 等分散の検証

• F検定:「データ分析」→「F検定」→

• 帰無仮説（H0）は「２標本に差がない」なので、α(A)=0.05で「P(F<f)片側」が0.05以上であれば棄却されない

• ＝等分散を仮定できる

t-Test（t検定）

• 適用条件: 5) 同じサンプルに対してt検定を繰り返し適用しないこと:

• 1-（0.95×0.95×0.95×…）＝…0.1426..

• 繰り返しの検定を行なう場合:

• ボンフェローニの補正: 有意水準(α)を検定を繰り返す回数で割る（例：10回繰り返す場合は、p < .05÷10=.005）

統計的仮説検定における2種類の誤り

真実真実

決定 H0は正しい H0は間違い

H0を棄却第1種の誤り勘違いヤロー

正しい決定確率1-β: 検定力

H0を棄却しない正しい決定確率1-α

第2種の誤り鈍感ボーイ

t-Test（t検定）

• 手順: a) Excel「データ」→「データ分析」→

• t検定: 等分散を仮定した２標本による検定

• t検定:分散が等しくないと仮定した２標本による検定

• →入力範囲に各標本の範囲を指定→α(A)の値0.05→「出力オプション」を選択→「OK」

• →両側「P(F<f)」の値で有意性を判断

t-Test（t検定）

•手順: b) Excel「データ分析」

• t検定: 一対の標本による平均の検定

•→入力範囲」に各標本の範囲を指定→α(A)の値0.05→「出力オプション」を選択→「OK」

•→両側「P(F<f)」の値で有意性を判断

t-Test（t検定）

•報告: t (自由度df) = t値, p = p値

•値を示す記号は必ず斜体、

•検定が両側か片側かも示すと良い

•自由度（自由に値をとることができる数）はn-1で求める。

t-Test（t検定）

•報告: t (自由度df) = t値, p = p値

• 「発音練習をしたグループと発音練習をしなかったグループで発音テストの平均点の差が統計的に有意かを確かめるために，有意水準5%で両側検定のt検定を行なったところ，t (46) = 1.84, p = .07であり，両グループの平均点の差に有意差は見られなかった。」

Effect size効果量の測定

•Question

• この有意差にはどの程度意味がある？

• ×「p値が小さければ差が大きい」

Effect size効果量の測定

•標準偏差を単位として平均値がどれだけ離れているか

• 手順:

• http://www.mizumot.com/stats/effectsize.xlsからExcelファイルをDL

• 使用した検定に応じてシートを選択し，必要な数値を入

http://www.mizumot.com/stats/effectsize.xls




t-Test（t検定）（初回到達目標(B)）

•報告: t (自由度df) = t値, p = p値, Cohen’s d= d値

• “An independent samples t-test found there was no statistical difference between groups, t (46) = 1.84, p = .07, but the Cohen’s d effect size (d = 0.53) was medium. ....”

ANOVA (分散分析)

•one-way ANOVA：一元配置分散分析

•データに影響を与える原因（要因）が１つの分散分析


• 用途:

• a) 異なる３つ以上のグループが同一テストを受け，その平均点の差を検証する場合（繰り返しなし）

• b) ある１つのグループが３回以上のテストを受けて，その平均点の伸びを検証する場合（繰り返しあり）


図（略）


•適用条件: t検定と同じ

•「繰り返しあり」の分散分析の場合，実質的に比較に値するものであること＝構成概念や測定対象、難易度等において似た性質のテスト同士を比較していること


•手順: a) Excel「データ分析」→「分散分析: 一元配置」

•「入力範囲」に全標本の範囲を指定

•α(A)0.05→出力オプション→OK

•「P-値」→有意＝「３群の平均点に差がある」→各組合わせを多重比較


•手順: b) Excel「データ分析」→「分散分析: 繰り返しのない二元配置」

•入力範囲: データID列も含む全標本

•α(A)0.05→出力オプション→OK

•「P-値」→有意＝「３回の平均点に差がある」→各組合わせを多重比較


•報告:

• a) F (グループ間自由度, グループ内自由度) = 観測された分散比, p = p値

• b) F (列自由度, 誤差自由度) = 観測された分散比, p = p値


•報告: F (グループ間自由度, グループ内自由度) = 観測された分散比, p = p値

• “... A one-way ANOVA testing for differences in writing topic found a statistical difference between topics, F (2, 39) = 30.14, p < .001. Multiple comparison tests by Bonferroni’s Method found that all of the writing topics scores were statistically different from each other (p < .05) and the effect size for each contrast was large ...


•報告: F (列自由度, 誤差自由度) = 観測された分散比, p = p値

• 「…指導前、指導直後、指導3ヵ月後の3時点における平均点を分散分析で比較した。その結果、F (2, 36) = 66.94, p < .001で、平均点に有意差があることがわかった。ボンフェローニの方法を用いて多重比較を行ったところ、指導前と指導直後、指導直後と指導3ヵ月後の平均点には5%水準で有意差が確認されたものの、指導前と指導3ヵ月後の間には有意差がない...」


• two-way ANOVA：二元配置分散分析

• 用途:

• a) ２つ（かそれ以上）の要因がある場合に，テスト等の平均点の差を比べたい場合

• b) ２つ（かそれ以上）の要因がある場合に，テスト等の複数回の平均点の差を比べたい場合


• 適用条件: t検定&一元配置分散分析と同じ

• 手順:

• ANOVA4 on the Web (http://www.hju.ac.jp/~kiriki/anova4/)

• js-STAR 2012 (http://www.kisnet.or.jp/nappa/software/star/)

http://www.hju.ac.jp/~kiriki/anova4/





• 主効果（main effect）: 要因単独の効果（影響）

• 交互作用（interaction）: 要因の組み合わせによる効果

図（略）


• 報告: F (グループ間自由度, グループ内自由度) = 観測された分散比, p = p値、効果量η2

• “A two-way ANOVA showed statistically significant difference for the main effect of groups (F (1, 654) = 67.92, p = .000, partial η2 = .094), the main effect of demotivating factors (F (3.59, 2,345.75) = 196.99, p = .000, partial η2 = .231), and the interaction effect of the demotivating factors and the groups (F (3.59, 2,345.75) = 32.52, p = .000, partial η2 = .047). ...”

Nonparametric tests

• 用途: a) 尺度が名義尺度や順序尺度であった場合、b) 間隔尺度以上であっても、データの正規性の前提が満たさない場合

• 対応のない２群の検定: Mann-Whitney test

• 対応のある２群の検定: Wilcoxon signed-rank test

• 対応のない３群以上の検定: Kruskal-Wallis test

• 対応のある３群以上の検定: Friedman test

χ2 Test カイ二乗検定

• 比較される全てのグループで同じ度数が観測されると仮定した場合の値（期待値）と，観測された度数（実測値）がどの程度異なっているか

• 用途: 名義尺度で分類したグループ毎の頻度（回数や人数）データをもとに、カテゴリー間に差異があるかどうかを検証する場合


• 適用条件:

• 1) データが名義尺度であること

• 2) データが累積の頻度であること

• 3) データが独立していること

• 4) 期待値が５以上であること

• 5) 自由度（{(グループ数)-1}×{(グループ数)-1}で計算）が1の場合は「イェーツの補正」（式2）を用いる


• 手順: a) サンプルが１つの場合（適合度判定）

• 分割表を用意: 「実測値」、「期待値」を入力

• カイ二乗（χ2）の有意水準を計算:

• 「数式」→「関数の挿入」→「CHISQ.TEST」07以前「CHITEST」→「実測値範囲」「期待値範囲」

• カイ二乗値を求める: 「数式」→別の空白セル上で関数バーに直接入力「CHIINV」→「確率」に上で求めた有意水準のセルを選択→自由度＝「{カテゴリー数}-１」を入力


• 手順: b) サンプル２つ以上の場合（独立性の検定）

• ①実測値と期待値の分割表をそれぞれ用意して、a)と同じ手順で計算

• 期待値の求め方

•


• 手順: b) サンプル２つ以上の場合（独立性の検定）

• ②実測値の分割表のみで一気に計算する

• カイ二乗値を求める:

• カイ二乗（χ2）の有意水準を計算:「数式」→空白セル上で「関数の挿入」→「CHISQ.DIST.RT」07以前CHIDIST

• →「実測値範囲」「期待値範囲」→「X」＝カイ二乗値

• →自由度＝「{(グループ数)-1}×{(グループ数)-1}」入力

ěÐ�ðXpS� http://www.mizumot.com/stats/chi-square.xls

6

2. �� 2��"��#

Source: Davies, M. (2007). Paralinguistic focus on form. TESOL Quarterly, 40, 841-855.

��

Mfi[JWDa)Åä+v&ĺ� �� ĸēĚ·¶+ëê�Ĺ'�->=`DpZ]UK

+Ïä��<4�� &,ĺ~ė+å>AÞ6=�')�ĺ¨ĈĊ*ĭĩ Aá$��

%ĸ7��,á$��*ĹĔß��=ÅAĎ 4��

�

�+ � �� PGQThpAy�=�'*:"%ĺ �*�Öô*)=�' �øþAĎ

4��KjQ& �Ĩĭ*ç<ĺPGQThpAy��ÅAĎ"�v&ĺ¨ĈĊ�`DpZ]UK

&Ĕß�>�ß� ÎÿA ��ĸĆ<Ĥ��Ĺ�Ì'ĺ��=�')�ĺė�ą ��ÌA_

XIË¸&Ç<Ĥ"%JFnY�4��>A4'6�7+�r+ď&��ďAĒ%5='ĺPGQ

ThpAy��3��ĺ��Ġ�<8��"�:�&�ĸ��Ĺ��

�

�

2.1. Excel�� }s+:�)��ď+'�*,ĺ¶ 1+·*)=:�*ĕā�>-�2�A��'�&�4��

� ��

��

��

��

( )2121

22

mmnnNbc-ad×××

×=�χ ĸ¶ 1Ĺ

Ę� ĕā,`CEl+ÏAĒ%TGUK�4�9��

ěÐ�ðXpS� http://www.mizumot.com/stats/chi-square.xls

7

�2�ĸ}s+�&, 19.53Ĺ�ĕā�>�Rl+İ*ĺÓ¾ùíAĕā�4�� ĮÌ+È��Ąĕ+v+�CHIDISTAĪÂ�4��

©¿�

� �� {�+�+:�) 2�2�+JExwÙª&,ĺ(1) XpSÌ�¯) '�'ĺ(2) Rl+v*”5”:<®� «è��=¡�*,�EHpV+ĐßĸYates’ correctionĹAð �Ï�Č '�>4��{�,With pfĸPGQThp�<Ĺ+ topic contĸė�ą ��ÌĹ+Rl*”7”' �ĵµ��<4�+&ĺ��+ĝÎ&,EHpV+ĐßAĎ"�7+AăÖ'�%Æ�% 4��

EHpV+Đß,¶+v*ĸĻŀ/2Ĺ��"% = �&��ĺ}s+¶ 2*Ò % =7+&��

2121

2

2

mmnn

N2Nbc-ad

×××

×"#

$%&

' −=�χ ĸ¶ 2Ĺ

�X*,�3(ĕā��2�A�>4� ĸr+�&, I8+RlĹ� �ċñµ,ĸ2Ļ1Ĺ&�1*�4��


• 報告: χ2(自由度)=カイ二乗値, p < p値、あるいはχ2=カイ二乗値, df=自由度, p = p値

• “A chi-square test investigating the relationship of study abroad time on anxiety in third-year Japanese students (as measured by a categorical “low,” “mid,” or “high” scale) found these two variables were related (χ2 = 7.17, df = 2, p = .03).”


• 報告: χ2(自由度)=カイ二乗値, p < p値、あるいはχ2 = カイ二乗値, df = 自由度, p = p値

• 「ある中学校の２年生の２クラスで英語に対する意識を，『好き』『ふつう』『きらい』という３つのどれかに回答するという調査を行った。その結果，χ2(2) = 7.63, p < .05で回答には有意な差が認められた。」

Task量的分析の準備・検討•次回授業内で数グループがプレゼン

•初回アンケート集計データを使用

• t検定、ANOVA, カイ二乗検定いずれか

• 4人グループ、各6～8分程度

• Research Questionsの観点や群の構成は自由: 実際の研究では違うが...

Task量的分析の準備・検討

• Research Questionsの設定

•手順１仮説を設定: 帰無仮説/対立仮説/両側か片側か

•手順２統計的検定に用いる手法を選択

•手順３仮説の正否の判断の基準になる確率設定: 有意水準（α）

Task量的分析の準備・検討

• RQsの設定、手順１～３

•手順４実際のデータから実現値を計算

•手順５仮説が間違っているか正しいかを判断

•手順６分析結果を要約

rm20130626 10key

Education