教師のための教育研究および統計分析研修 - 第3回 教育研究の設計

今日の授業は、教育研究の設計に関する内容である。

概念的に暗記しなければならない内容が多く、量そのものは前回よりも圧倒的に多い。

そこで、授業そのものをそのまま持ってきてみた。

1. 教育分野のさまざまな研究質問

教育分野の研究とは、このようなさまざまな質問に対して、設計と分析を通して経験的証拠を提示し、有用な教育的示唆を導き出すプロセスである。

たとえば、次のような教育分野の質問があるとしよう。

• 予習と復習では、どちらが学習により役立つのだろうか？

• ギフテッド（英才児）の学習動機は、一般児童とどのように違うのだろうか？

• 自由学期制は生徒の成績低下に影響を与えただろうか？

• 学業中断に影響を及ぼす要因にはどのようなものがあるだろうか？

では、このような研究をどのように設計すべきだろうか？

2. 量的研究方法

量的研究には、以下のような定義と特徴がある。

• データを収集し、それを数量化して、研究質問への答えを探るプロセス

• 数量化しなければ統計的な処理は不可能

• 一般的に統計分析という手続きを含み、少数より多数の事例を用い、全体的な傾向について結論を出そうとするアプローチ

すべての研究に対して量的研究が適切というわけではないが、上記の研究質問のうち3番目と4番目の質問には、量的研究の方がより適切である。

これは、この2つの研究質問の構造が類似しているためである。

このような構造は、教育研究の典型的な構造である。

では、このように研究質問を設定したとき、どのような要素を考慮すべきだろうか？

3. 妥当度

妥当度とは、研究者が述べようとする結論がどれだけ妥当であるかということである。

すべての研究には、研究者が意図する方向性がある。

たとえば、第1回の論文では朝食は成績と関連があり、第2回の論文では評価と記憶が関連していた。

妥当度とは、研究者が意図する方向ではなく、別の方向からのアプローチを遮断できるかどうか、ということである。

たとえば、次のような結論があるとしよう。

私が小学生のとき、予習をたくさんしたら、成績が大きく上がった。
だから学習（授業中の学習）よりも予習のほうが学習効果が大きいと言える。

上の記述が妥当でない理由として、次のように考えられる。

• もし研究者本人がそうだったとしても、他の友だちは復習のほうが役に立ったり、別の友だちは別の結論になったりしなかっただろうか？

• 子どもの頃の話なので、今の小学生には効果がないのではないか？

• 復習をしなかったからそうなっただけではないか？

• 予習とは無関係に、小学生のときに始めた家庭教師（塾や個別指導など）が役に立ったのではないか？

このような種類の可能性は、結論の妥当性を低めてしまう。

研究の妥当度が高いとは、このようなさまざまな解釈の可能性を排除できている、ということである。

1) 内的妥当度と外的妥当度

(1) 内的妥当度

研究を実施した範囲内で、結論が別のやり方ではなく、研究者の意図に沿って説明されている程度を指す。

• 復習をしたことはあるのか？ 予習だけして復習は試していなかったのではないか？

• 予習とは無関係に、小学生のときに始めた家庭教師や塾が役に立ったのではないか？

(2) 外的妥当度

研究を実施した対象・条件を越えても、その研究の結論が妥当に適用できる程度である。

• 自分だけがそうだったのか？ 他の友だちにも当てはまるのか？

• 幼少期ではなく、今の小学生にとっても予習は役に立つのだろうか？

2) 研究者が優先すべき妥当度は？

基本的には、内的妥当度が高い研究設計を考案すべきであり、外的妥当度も高ければ、その有用性は大きい。

4. 研究設計

1) 研究設計の例

次のような研究質問があるとしよう。

研究質問 - 予習と復習では、どちらが学習により役立つのだろうか？

これに対して、次のように設計したとする。

設計1 - 自分のクラスの生徒に1週間予習をさせてテストを行い、その翌週には復習をさせて、同じテストを受けさせる。

ここで、最初のテストの点数が後のテストの点数より高ければ予習が効果的、最初のテストの点数が後のテストの点数より低ければ復習が効果的だと解釈するとしよう。

すると、この結論に対して次のような解釈は、内的妥当度を脅かすことになる。

• 同じテストを受ければ、テストそのものの影響で、後の点数が当然高くなるのではないか？

• 最初に予習を行ったことで、全般的な学習態度がよくなり、復習とは無関係に成績が上がったのではないか？

そこで、研究の内的妥当度を高めるために、次のように設計を修正できる。

設計2 - 自分のクラスの生徒には1週間予習をさせ、隣のクラスの生徒には同じ期間に復習をさせ、同じテストを受けさせる。

この設計では、自分のクラスのテストの点数が隣のクラスの点数より高ければ予習が効果的、自分のクラスの点数が隣のクラスより低ければ復習が効果的だと解釈できる。

しかし、このような設計にも内的妥当度を脅かす別の解釈の可能性は存在する。

• もともと自分のクラスの子どもたちのほうが隣のクラスより学習態度が良かったとしたら？

• 隣のクラスの先生のほうが、自分のクラスより授業の進度が速かったとしたら？

こうしたさまざまな解釈の可能性を遮断し、研究者が意図する方向での解釈だけを残すことができる研究の方向性が、最高の研究設計である。

2) さまざまな実験設計

もし処置（介入）後の実験群の得点だけを比較するなら、その処置の意味を把握することは難しい。

その結果が処置によるものなのか、もともとの学習者集団の特性によるものなのか、あるいは学習者自身の成長によるものなのかが分からない。

したがって、処置前と処置後の得点を確認する必要がある。

あるいは、処置後に実験群 vs 統制群に分けて比較することもある。

優れた設計とは、これらすべてを考慮し、処置前の実験群・統制群と処置後の実験群・統制群を比較するものである。

時点や集団など、データの範囲を広く持つほど、学習効果や集団差を緩和できる。

5. 内的妥当度を脅かす要因

• History - 偶然発生した出来事が実験に影響を与える場合

• Maturation - 研究対象の自然な成長によって結果が変化する場合

• Testing - 同じタイプの検査を繰り返し用いる過程で、一種の学習効果が生じる場合

• Instrumentation - 検査道具そのもの、または測定方法が変化する場合

• Selection - 2つの集団を比較する場合、最初から異なる特徴を持つ参加者がそれぞれの集団に選択的に配置される場合

6. One More Thing? - 操作的定義

研究者が研究したい概念と、研究者が実際の研究で実現した内容との間に差がある場合もある。そのギャップを構成概念妥当度と呼ぶ。

• 「予習」を何と見なすのか？ よく言われる「先行学習」（塾などで先に習うこと）も予習と見なすのか？

• 「学習」とは何を指すのか？ 学習内容をよく記憶していること？ 創造的な答えを示すこと？ それとも単にテストの成績を意味するのか？

7. まとめ

• 研究者は、研究仮説に適した方向で研究結果を解釈しようとする。

• しかし、すべての研究には、研究者の意図以外に、その結果を別の方法で説明できる可能性が存在する。

• 研究者は、そのような第三の説明可能性を確認し、別の解釈の余地を遮断できる研究設計を考案しなければならない。

• そのような設計こそが、妥当度の高い設計である。

8. 後記

実験設計のプロセスは、ある意味で筆記試験の問題を作るプロセスと似ているという気がした。

このようなふうに解釈されてしまうことはないだろうか？

あるいは、結論があまりにも一般的すぎたり、別の結論を導き出すこともできるのではないか？

結局、人間の演繹的思考に基づいて、実験のプロセスと結果、そして解釈を結びつけるプロセスなのだと感じた。

論文を早く書き上げたいのであれば、実験段階から深い悩みと熟考が必要なようだ。