教師のための教育研究および統計分析研修 - 第4講 無作為割り当てと準実験デザイン

本日の授業は、次のような研究質問から始まる。

放課後学習は成績向上に効果的だろうか？

このような問いに基づいて、放課後学習に参加した生徒と参加しなかった生徒の成績を単純に比較し、その結果だけで結論を出してしまうと、研究は内的妥当性を脅かされることになる。

生徒の成績は、放課後学習だけでなく、もとの学力、家庭の所得、保護者の関心など、さまざまな要因の影響を受けるからである。

このような問題をセレクション問題という。

2つの集団の間に体系的な違いが存在するからである。

では、これをどのように取り除くことができるだろうか？

1. 無作為割り当て

無作為割り当てとは、研究対象を配分するときに、研究者の介入なしにランダムに割り当てることである。

ちょうどコイン投げで放課後学習への参加/不参加を決めるようなものだ。

このようにしてグループを割り当てると、2つのグループの属性は、最終的には非常によく似たものになる。

• 集団間の選択バイアス（selection bias）の除去

• 潜在的な交絡変数の均等分布

• 因果推論の内的妥当性の強化

もし無作為割り当て後の実験結果として、放課後学習の参加/不参加による成績差が40点生じたならば、その差を放課後学習の効果だと結論づけることができる。

無作為割り当てによって2集団の違いを取り除いているため、それが結論に影響を及ぼすことはないからである。

2. 無作為割り当てと自己選択

教育研究では、放課後学習の参加のようなものを、現実的には無作為割り当てによって強制することはできない。

一般的に、このような活動は、生徒や保護者が自分の成績や余暇時間などの事情に合わせて自ら決定する。

そのため、2つの集団の同質性を確保することが難しい。

そこで、無作為割り当てが不可能なときに研究者が選択できる方法、すなわち準実験デザインが必要になる。

3. 自己選択を許容する研究デザイン

1) 回帰分析・マッチングによる事後的な統計的補正

(1) 回帰分析

放課後学習参加生徒と不参加生徒の間に存在すると予想される主要な違いを調査し、その違いを統計的に補正する方法である。

事前の成績、家庭所得、保護者の関心など、放課後学習の参加/不参加によって大きな差があるなら、それらを調査して統計的に条件が類似するように調整する。

pooled OLS、共分散分析（ANCOVA）などがある。

(2) マッチング

マッチングは、処置を受けた集団と受けていない集団から、似た特性を持つ単位同士をペアにして比較する方法である。

もし保護者の関心の度合いによって、放課後学習の参加/不参加生徒の得点に体系的な差があるなら、マッチングによって保護者の関心度が似ている生徒を集めて比較する。

その範囲内で見れば、放課後学習の参加/不参加の効果は大きく減少することになる。

2) 差分スコア分析法（二重差分法）

事前得点を調査し、事後得点との差を計算する方法である。

しかし、この方法も事前・事後の得点を単純に比較するだけでは、内的妥当性が脅かされる。

その間に学習者の成長（maturation）が起こるからである。

このような問題は、不参加の生徒も同時に調査することで取り除くことができる。

もし生徒の成長が起こるなら、両グループで生じるはずである。

しかし、不参加グループでは起こらないのであれば、それは成長による効果ではないことを証明できる。

4. One More Thing?

ここでは初めて見る分析方法が多かったので、整理してみた。

• RDD：カットオフ直近の人たちはほとんど同じなので比較する

• IV：原因と結果をつないでくれる中立的なレバー（ツール）を使って、因果を迂回的に推論する

• ITS：介入前後の時点で流れやトレンドが変わるかどうか、時間パターンを見る

5. 後記

以前、科学課題研究を指導していたとき、ソウル大学に行ったある生徒が、対象者を集めて実験をしたことがあった。

事前・事後調査も併せて実施していて、そのときANOVA分析法を使っているのを見て、こんな方法があるのかと思ったが、その内容を今まさに自分が学んでいる。

このように、課題研究を指導するときに論文を書いてみることが、大きな助けになるのだと感じる。

以前は単に実験を通して結論を得る過程だけに気を配っていたが、これからは実験の結論の妥当性について強く問いを投げかけることができそうだ。

学ぶことができて、やりがいのある一日だった。