2013全国英語教育学会ws公開用スライド

Photo by JonathanCohen http://www.flickr.com/photos/34580986@N03/4985041197/

ARELE掲載論文に見る英語教育研究の現在

水本篤（関西大学）浦野研（北海学園大学）

—テーマと研究法—

全国英語教育学会第39回北海道研究大会ワークショップ（2013/08/11）「英語教育実践と研究の接点―研究の在り方と手法―」

1990年第1号発行

2013年第24号

第24号 (2013) までの掲載論文総数

479本

今回の分析対象

CiNiiで公開されているもののみ

450本

目的ARELE掲載論文のキーワード，テーマ・トピック，研究法を調べ，現在までの英語教育研究の傾向を探り，今後の提案を行う。

研究テーマと研究法

2.

3. 研究

4. 研究法

1. 先⾏研究

5. 効果量検定⼒

Review

•ナラティブ・レビューResearch Timeline (Language Teaching)

•メタ分析•特定のジャーナル以外（総括的）

特定のジャーナルのReview

•中部地区英語教育学会（CELES）

- 研究のタイプと研究領域　松川 (1991) 424本 → 平野 (2011) 963本

- 研究法浦野 (2012)，田中 (2012)，亘理 (2012)


•大学英語教育学会（JACET）寺沢 (2010) 1970~2004年の316本「学習者の内的なメカニズムに焦点

化した実証研究が非常に多い。」 → 量的で（一部）偏った教育研究


•外国語教育メディア学会（LET）高橋 (2010) 1961の1号~2009年の46号

LLの研究・実践報告にはじまり， CALL，マルチメディア，学習者主体に多様化するまでの変遷。


• JALT（全国語学教育学会）Stapleton and Collett (2010) JALT Journal 30年分297本著者の国籍，研究法，対象学校種別，

トピック


• JALT（全国語学教育学会）Stapleton (2013) JALT National Conference 1978~2010年までの30年間のデータテーマの変化，キーワード，　他学術会議との比較，引用の多い研究者


•Modern Language Journal（海外誌）Megnan (2005)

1996~2005年までの10年間のデータ国ごとの投稿者，掲載率，　研究法（8割が量的，2割が質的）


•全国英語教育学会（JASELE）柳瀬 (2013) ARELE 2002~2011年度 JACET Journal, Applied Linguistics と比較。「リフレクティブな英語教育」（質的研究）に関するキーワードが明らかに少ない。

なぜ今？

なぜ今？JASELE 40年

（2014年全国英語教育学会40周年記念誌）LET 50年JALT 30年JACET 50年TESOL since 1960s

“(R)eview studies ... serve as a summary of where a given field has been, and to project where it may head” (Stapleton, 2013).


2.

3. 研究

4. 研究法

1. 先⾏研究


英語タイトルとアブストラクト

•対象 450 本

•総語数 79,743

•異なり語数 5,152

•機能語，数字などは削除

使用したソフト: CasualConc

https://sites.google.com/site/casualconcj/

&

最頻語

http://www.wordle.net/

2-gram (bi-gram)を用いたネットワーク分析（頻度10以上）

文法テスト・評価

ライティング語彙

参加者

単語

学習者関連

指導

リーディング方略

コミュニケーション

研究

論文

分析・結果

レキシコン

入試

論文表現

テーマトピック

心理言語

合計頻度が30以上の300語（行）×

ARELE 1~24号（列）

v11

v2 v1 v10 v12

v8 v5 v4 v6 v9 v3 v7v23

v22

v21

v24

v18

v20

v19

v15

v16 v13

v14

v17

0500

1000

1500

2000

2500

3000

Height

クラスター分析（ウォード法・ユークリッド距離）

v11

v2 v1 v10 v12

v8 v5 v4 v6 v9 v3 v7v23

v22

v21

v24

v18

v20

v19

v15

v16 v13

v14

v17

0500

1000

1500

2000

2500

3000

Height

1-12号（前半）

13-24号（後半）

v11

v2 v1 v10 v12

v8 v5 v4 v6 v9 v3 v7v23

v22

v21

v24

v18

v20

v19

v15

v16 v13

v14

v17

0500

1000

1500

2000

2500

3000

Height

より前半らしいcommunicationAETsclozepaperintonationcompetencecommunicativevoiceteamdiscussion

より後半らしいparticipantvocabularyreadinferenceproficiencywordrepetitionrecallcuemotivation

特徴語

キーワードの分析まとめ

•英語タイトルとアブストラクトにキーワードやトピックが現れる。

•前半12号までと後半13号以降に明らかな違い。

提案

•アブストラクトを読めば何をしたかわかるように書く。

•キーワードがあるほうが良い。


2.

3. 研究

4. 研究法

1. 先⾏研究


テーマとトピック

•対象 450 本

前半（01-12号）160本後半（13-24号）290本

テーマとトピック(1)「中部地区英語教育学会

紀要」の研究10領域(2) サブカテゴリーの

「主な内容」

http://www.celes.info/wp/wp-content/uploads/editorial_policy_2013.pdf


(3) 全国英語教育学会の全国大会で用いられて

いる14のカテゴリー

テーマとトピック(1)「中部地区英語教育学会

紀要」の研究10領域(2) サブカテゴリーの

「主な内容」


1-本質・目的・意義・歴史など

2-教科課程論

8-教師論

5-教材・メディア論

7-学習者論

6-学力・評価論

4-教授方法論

9-関連諸科学

3-教授内容論

掲載本数 (k = 450)

0 50 100 150

136

90

79

58

36

21

14

13

3

1-本質・目的・意義・歴史など

2-教科課程論

8-教師論

5-教材・メディア論

7-学習者論

6-学力・評価論

4-教授方法論

9-関連諸科学

3-教授内容論

100%換算

0 5 10 15 20 25 30 35

01-12号13-24号


(1)「中部地区英語教育学会紀要」の研究10領域

(2) サブカテゴリーの「主な内容」


歴史各国の英語教育

教師教育その他

授業形態メディア学力教師文化

カリキュラム教材

教授法学習指導指導技術言語学

学習者要因評価・テスト心理言語学言語材料4技能

掲載本数 (k = 450)

0 10 20 30 40 50 60 70

6660

5050

363534

221715

101098665533

歴史各国の英語教育

教師教育その他

授業形態メディア学力教師文化

カリキュラム教材教授法

学習指導指導技術言語学

学習者要因評価・テスト心理言語学言語材料4技能

100%換算

0 5 10 15

01-12号 13-24号


(3) 全国英語教育学会の全国大会で用いられて

いる14のカテゴリー

言語政策音声教員

リスニング文法

動機づけスピーキング

教材学習者

ライティング評価・テスト

語彙リーディング

言語習得・心理言語学授業・指導法

掲載本数 (k = 450)

0 20 40 60 80 100

8576

514339

2921191616

15131311

3

言語政策音声教員

リスニング文法

動機づけスピーキング

教材学習者

ライティング評価・テスト

語彙リーディング

言語習得・心理言語学授業・指導法

100%換算

0 5 10 15 20 25

01-12号 13-24号

テーマとトピックまとめ• リーディング，語彙，評価・テストが増えており，全体としても多い。

• 授業・指導法は減少傾向。• 指導法よりも「学習者の内的なメカニズムに興味」（寺沢, 2010）という指摘に当てはまる。

「読解プロセス，読み手やテクストの影響要因リーディング能力や語彙力の構成要素，単語認知等がより具体的に議論されるようになり，また音読，速読，多読に関する研究及び実践の知見や成果がより検討されるようになった結果であるといえよう」（平野, 2011, p. 311）。

提案•「英語教育」学会紀要としてはテーマに少し偏りがある。

•指針を持って多様な内容を。•授業や指導法に関する研究も。


2.

3. 研究

4. 研究法

1. 先⾏研究


研究法

•対象 450 本

前半（01-12号）160本後半（13-24号）290本

研究法(1) 研究のタイプ（CELESの分類：実証研究，実践報告，調査報告，理論研究）

(2) 対象学校種別（幼児，小，中，高，大，その他）

研究法

(3) 目的（探索，検証，その他）

(4) 手法（量的，質的，ミックス）(5) 介入の有無

理論研究

実践報告

調査報告

実証研究

掲載本数 (k = 450)

0 50 100 150 200 250 300 350

335

41

37

37

理論研究

実践報告

調査報告

実証研究

100%換算

0 20 40 60 80

01-12号 13-24号

その他

大学

高校

中学校

小学校

幼児

掲載本数 (k = 450)

0 50 100 150 200 250

2

16

45

82

211

85

その他

大学

高校

中学校

小学校

幼児

100%換算

0 10 20 30 40 50

01-12号 13-24号

研究法



その他

検証

探索

掲載本数（理論研究37本以外計413本）

0 50 100 150 200 250 300 350

329

58

26

その他

検証

探索

100%換算（理論研究37本以外計413本）

0 20 40 60 80

01-12号 13-24号

研究法



その他

ミックス

質

量


0 50 100 150 200 250 300 350

341

13

31

28

その他

ミックス

質

量


0 20 40 60 80

01-12号 13-24号

研究法



介入なし

介入あり


0 50 100 150 200 250 300 350

329

84

介入なし

介入あり


0 20 40 60 80 100

01-12号 13-24号

研究法まとめ

•2/3が実証研究（増加）

•実践報告は8%程度（少ない）

•高校・大学が多い（小学校・大学が増加）

研究法まとめ

•8割が探索型（増加）

•8割が量的研究（ミックスが増加）

•8割が介入なし（介入ありが増加）

提案• 研究法に対して意識を高める

• 本当に「探索的」な研究？

•「質の良い」質的研究・実践報告• 学会として「リフレクティブな英語教育」のサポート（柳瀬, 2013）

外国語教育研究の立ち位置（柳瀬, 2006を一部改変）

竹内・水本 (2012, p. 8)

『動機づけ研究の目的が行動の「理解」にあるとすれば、意欲を高めるというのは行動を「変容」することにあると言える。行動を変容するためには、行動の背景を理解することはもちろん必要であろうが、理解するだけでは変容のための具体的な方策についての答えは出ない。』

磯田（2007, p. 4）

構造構成主義における量的研究と質的研究の位置づけ

住 (2012, p. 248)


2.

3. 研究

4. 研究法

1. 先⾏研究


その他

ミックス

質

量


0 50 100 150 200 250 300 350

341

13

31

28

量的研究が82.5%

• 平均値（mean: M）

• 標準偏差（standard deviation: SD）

記述統計(descriptive statistics)

よくある表

平均30点，標準偏差10点

平均2.8点，標準偏差1.2点

2.8

推測統計

• 男女それぞれに平均値と標準偏差を求める。

• 男女の平均値に差があるか。（母集団でも差は見られるか）

統計的検定たとえば t 検定

p 値は「差がない」確率

p < .001

95%

5%

p = .03（3%）　　　　　p < .05（0.05以下）

p < .05 であれば統計的に有意な差あり

p 値は「差がない」確率

統計的に有意な差

p < .05（0.05以下）

グループ間の差が大きいのはどちら？

• 統計的検定の問題点- サンプルサイズが影響。- 有意差あり・なしのみの判断。- p 値は実質的な差を示さない。

効果量（Effect Size）

• 効果量（Effect Size）- サンプルサイズに影響されない。- 効果の大小を示す。- 実質的な差を確認できる。

• APA 6th では報告が「不可欠」

効果量 d = 0.2

効果量 d = 0.2

M = 30SD = 10

M = 30SD = 10

M = 32SD = 10

M = 30SD = 10

M = 32SD = 102/10 = 0.2

d = 0.2 （効果量小）

M = 30SD = 10

M = 35SD = 105/10 = 0.5

d = 0.5 （効果量中）

M = 30SD = 10

M = 38SD = 108/10 = 0.8

d = 0.8 （効果量大）

メタ分析 (meta-analysis)

＝効果量の統合

• Yes and no.- サンプリングの影響- p 値は再現性がない（unreliable）

- しかし数十年は使用される...

統計的検定は必要ない？

• 効果量と信頼区間の報告

エラーバーは95%CI

Comparison 1

Mean

4045

5055

6065

70

1 2

n = 20 n = 20

p = .12d = 0.5

Comparison 2

Mean

4045

5055

6065

701 2

n = 200 n = 200

p < .001d = 0.5

差のCI

差のCI

0

5

0

5

エラーバーは95%CI

Comparison 1

Mean

4045

5055

6065

70

1 2

n = 20 n = 20

p = .75d = 0.1

Comparison 2

Mean

4045

5055

6065

701 2

n = 2000 n = 2000

p < .001d = 0.1

差のCI

差のCI1

01

0

同じ条件

同じ参加者数（サンプルサイズ）

同じ平均値の差（効果量）

p 値は再現性がない

2群の比較，各群32名，効果量 d = 0.5

Cumming (2012)のプログラムを使用

• シミュレーション- 1つのグループに32名（計64名）- d は 0.5（効果量中）- p < .05 となったのは50%程度

d = 0.5 なのに有意差なし？

→ 検定力（power）が足りない

• 本当に差がある場合に，有意差を検出することができる力。

• 0 ~ 1の範囲の値（100%）

• Cohen (1988) は 0.8 (80%) を提唱。

検定力（statistical power）


先ほどの例

本当は差があるはずなのに= d は 0.5（効果量中）

p < .05 となったのは50%程度

検定力 = 0.5

• 検定力（power）を大きくし，できるだけ小さなサンプルサイズで検定するために，必要なサンプルサイズを見積もる方法。

検定力分析（power analysis）

• 有意水準 (α)

• サンプルサイズ

• 効果量

• 検定力

統計的検定における4つの要素

4つのうち3つがわかれば残り1つが決まる

検定力分析で必要サンプルサイズがわかる

？

A priori（事前の分析）

検定力分析で実験後の検定力がわかる

？

Post hoc（事後の分析）

詳しい操作方法は水本・竹内 (2011)

を参照。

検定力分析を行うためのソフト

G*Power 3


先ほどの例

検定力 0.5

検定力を推奨されている0.8にしたい

？0.8 小，中，大

*こちらが正しい検定力分析の使い方

検定力 0.8で1群につき64名必要

ここまでのまとめ• p 値は再現性を考えるとひどい指標。

• 信頼区間がベター（結果を蓄積）。• 実質的な差や効果を見るのは「効果量」• 検定にこだわるのなら「検定力」を確認。• 1回の研究で言える事は非常に少ない。

“A picture is worth a thousand p values.”

(Loftus, 1993)

Comparison 1

Mean

4045

5055

6065

70

1 2

n = 20 n = 20

p = .12d = 0.5

Comparison 2

Mean

4045

5055

6065

70

1 2

n = 200 n = 200

p < .001d = 0.5

ARELE掲載論文の効果量と検定力メタ分析的アプローチ

印南（2012）

メタ分析のお手本

方法

•対象 450 本

前半（01-12号）160本後半（13-24号）290本

•数値を用いているもの（114本対象外，残り336本）

•平均値の比較を行っている（216本対象外，残り120本）

• (A)と(B)のどちらか（80本対象外，最終40本）(A) 処置群・対照群デザイン(B) 事前・事後テストデザイン

(A) 処置群・対照群デザインTreatment Contrast

統制群（Control）実験群（Experimental）

該当論文数：28

(B) 事前・事後テストデザインPretest Posttest 該当論文数：24

対象外•平均値やSDの記載がない。（p 値のみの報告など）

•NSとNNS，L1とL2の比較。

•Explicit/Implicit 知識の比較。


統制群（Control）実験群（Experimental）

該当論文数：28


•28論文中，対象データ数は63

•学校種別とスキル•検定力（achieved power）

(B) 事前・事後テストデザインPretest Posttest 該当論文数：24

(B) 事前・事後テストデザインPretest Posttest

•24論文中，対象データ数は87

•学校種別とスキル•検定力（achieved power）

2)(

)1()1(22

−+

×−+×−

−=

��

��

�� d

統合した効果量(A) 処置群・対照群デザイン

Cumming (2012, p. 294)

統合した効果量(B) 事前・事後テストデザイン

Cumming (2012, p. 294)

※ (A) の計算で得られる d と同じ値になる

RE Model

-2.00 0.00 2.00 4.00 6.00

Standardized Mean Difference

Study63Study62Study61Study60Study59Study58Study57Study56Study55Study54Study53Study52Study51Study50Study49Study48Study47Study46Study45Study44Study43Study42Study41Study40Study39Study38Study37Study36Study35Study34Study33Study32Study31Study30Study29Study28Study27Study26Study25Study24Study23Study22Study21Study20Study19Study18Study17Study16Study15Study14Study13Study12Study11Study10Study09Study08Study07Study06Study05Study04Study03Study02Study01

1.03 [ 0.66 , 1.39 ]-0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ]-0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ]-0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ]-0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ]

0.76 [ 0.59 , 0.93 ]

Effect Size [95%CI]Study

(A) 処置群・対照群デザイン

RE Model

-2.00 0.00 2.00 4.00 6.00



1.03 [ 0.66 , 1.39 ]-0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ]-0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ]-0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ]-0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ]

0.76 [ 0.59 , 0.93 ]


(A) 処置群・対照群デザイン全体 (random effects model)

d (g) = 0.76

[95%CI = 0.59, 0.93]

fixed effects model

d = 0.70 [0.65, 0.76]

RE Model

-2.00 0.00 2.00 4.00 6.00



1.03 [ 0.66 , 1.39 ]-0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ]-0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ]-0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ]-0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ]

0.76 [ 0.59 , 0.93 ]



学校種別ごと (mixed effects model)

JH (k = 8): d = 0.89 [0.47, 1.31]

SH (k = 8): d = 0.69 [0.43, 0.95]

UNI (k = 33): d = 0.78 [0.61, 0.92]

RE Model

-2.00 0.00 2.00 4.00 6.00



1.03 [ 0.66 , 1.39 ]-0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ]-0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ]-0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ]-0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ]

0.76 [ 0.59 , 0.93 ]


(A) 処置群・対照群デザイン対象スキルごと (mixed effects model)

G (k = 12): d = 0.38 [0.07, 0.68]

L (k = 7): d = 1.50 [1.07, 1.92]

R (k = 17): d = 0.90 [0.63, 1.17]

S (k = 2): d = 0.88 [0.02, 1.74]

V (k = 25): d = 0.64 [0.42, 0.86]

+1SD−1SD

d = 0.76

対照群処置群

検定力分析の結果

•63の対象データ中，検定力が0.8以上：27ケース（42.9%）

•63の対象データ中，検定力が0.5以下：25ケース（39.6%）


メタ分析で得られた効果量を使って検定力を0.8以上にするためには？

• d = 0.76（メタ分析で得られた効果量）

• α = .05（two-sided）

• Power = 0.8（目標検定力）


n = 28.17086NOTE: n is number in *each* group

(B) 事前・事後テストデザイン

RE Model

-2.00 0.00 2.00 4.00 6.00 8.00


Study87Study86Study85Study84Study83Study82Study81Study80Study79Study78Study77Study76Study75Study74Study73Study72Study71Study70Study69Study68Study67Study66Study65Study64Study63Study62Study61Study60Study59Study58Study57Study56Study55Study54Study53Study52Study51Study50Study49Study48Study47Study46Study45Study44Study43Study42Study41Study40Study39Study38Study37Study36Study35Study34Study33Study32Study31Study30Study29Study28Study27Study26Study25Study24Study23Study22Study21Study20Study19Study18Study17Study16Study15Study14Study13Study12Study11Study10Study09Study08Study07Study06Study05Study04Study03Study02Study01

0.54 [ -0.12 , 1.21 ]-0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ]-0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ]

1.01 [ 0.79 , 1.23 ]


RE Model

-2.00 0.00 2.00 4.00 6.00 8.00



0.54 [ -0.12 , 1.21 ]-0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ]-0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ]

1.01 [ 0.79 , 1.23 ]


(B) 事前・事後テストデザイン全体 (random effects model)

d (g) = 1.00

[95%CI = 0.79, 1.23]

fixed effects model

d = 0.67 [0.63, 0.71]

RE Model

-2.00 0.00 2.00 4.00 6.00 8.00



0.54 [ -0.12 , 1.21 ]-0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ]-0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ]

1.01 [ 0.79 , 1.23 ]


(B) 事前・事後テストデザイン学校種別ごと (mixed effects model)

ELE (k = 15): d = 2.06 [1.70, 2.43]

JH (k = 10): d = 1.02 [0.63, 1.42]

SH (k = 38): d = 0.63 [0.44, 0.83]

UNI (k = 22): d = 0.81 [0.54, 1.09]

RE Model

-2.00 0.00 2.00 4.00 6.00 8.00



0.54 [ -0.12 , 1.21 ]-0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ]-0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ]

1.01 [ 0.79 , 1.23 ]


(B) 事前・事後テストデザイン対象スキルごと (mixed effects model)

G (k = 10): d = 0.41 [-0.01, 0.83]

L (k = 17): d = 1.99 [1.63, 2.35]

R (k = 36): d = 0.71 [0.49, 0.93]

S (k = 7): d = 0.51 [-0.11, 0.93]

RE Model

-2.00 0.00 2.00 4.00 6.00 8.00



0.54 [ -0.12 , 1.21 ]-0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ]-0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ]

1.01 [ 0.79 , 1.23 ]


(B) 事前・事後テストデザイン対象スキルごと (mixed effects model)

V (k = 13): d = 1.23 [0.89, 1.64]

W (k = 1): d = 0.42 [-0.91, 1.76]

M (k = 1): d = 0.57 [-0.75, 1.87]

+1SD−1SD

d = 1.00

Pretest Posttest

検定力分析の結果

•87の対象データ中，検定力が0.8以上：57ケース（65.5%）

•87の対象データ中，検定力が0.5以下：20ケース（22.9%）


メタ分析で得られた効果量を使って検定力を0.8以上にするためには？

• d = 1.00（メタ分析で得られた効果量）

• α = .05（two-sided）

• Power = 0.8（目標検定力）

n = 9.93785


http://planetvisits.com/apples-and-oranges-nourishment-actualities/

CAUTION

効果量と検定力まとめ•効果量は大きめ→ 誇るべき研究・実践の蓄積

•検定力は低いものが多い→ p 値の再現性は疑問

ARELE掲載論文ここが気になる

• p 値至上主義（査読者の問題？）

•そもそも検定が必要なのか？•再現に必要な情報が書いていない。

提案• p 値が大事なら検定力分析を

•効果量，信頼区間の蓄積•そもそもの「測定」を軽んじない• Replication（追試）を重視

•必ず再現に必要な情報を書く

「再現に必要な情報」はこちらを参照

Porte (2012)

竹内・水本 (2012)

Q: 「研究を行う際には，先行研究で欠けている部分を見つけて，それまでに行われていない研究をすべきだと指導教官にいわれました。興味のある内容には，すでに似たような研究があるのですがどうすればよいでしょうか。」(pp. 340–341)

A: 「良い追試は，リサーチデザインのきちんと練られていない独創的な研究よりも，分野としての発展に貢献する可能性が高い」(p. 342)

→ 無理な基礎研究デザインを現場に持ち込まず，実践のReplicationをもっと推奨すべき。（もしくは関心に応じて質的な方法を）

まとめることを考えましょう

地区学会の紀要• 北海道英語教育学会（8号）

• 東北英語教育学会（30号）

• 関東甲信越英語教育学会（27号）

• 中部地区英語教育学会（42号）

• 関西英語教育学会（36号）

• 中国地区英語教育学会（43号）

• 四国英語教育学会（32号）

• 九州英語教育学会（40号）

2013全国英語教育学会ws公開用スライド

Education