面向教师的教育研究与统计分析培训 - 第3讲 教育研究的设计

今天的课程内容是关于教育研究的设计。

有很多需要在概念上记住的内容，所以整体分量相比之前要多得多。

于是就干脆把上课内容原封不动地搬了过来。

1. 教育领域中多样的研究问题

教育领域的研究，就是针对这些多样的问题，通过设计与分析提出经验性证据，进而得出有用的教育启示（教育意义）的过程。

比如说，假设有如下这些教育领域的问题。

• 预习和复习当中，哪一个对学习更有帮助？

• 资优生的学习动机与普通儿童有什么不同？

• 自由学期制是否对学生的成绩下滑产生了影响？

• 有哪些因素会影响辍学？

那么应当如何设计研究呢？

2. 量化研究方法

量化研究有如下定义和特点：

• 收集数据，并将其量化，从而寻找研究问题的答案的过程

• 如果不进行量化，就无法进行统计处理

• 一般包含统计分析这一程序，较少使用少数个案，而是利用多数个案，试图对整体倾向性得出结论的一种路径

并不是对所有研究来说量化研究都是合适的，但在上述研究问题中，第3、4个问题更适合采用量化研究。

这是因为这两个研究问题的结构是相似的。

这种结构是教育研究的典型结构。

那么当我们这样确定研究问题时，需要考虑哪些要素呢？

3. 效度（信度与效度中的“效度”）

效度指的是研究者想要表达的结论有多么“合理、站得住脚”。

所有研究中，研究者都有其意图的方向。

比如第1讲的论文认为早餐与成绩有关，第2讲的论文认为评价与记忆有关。

效度指的是能否切断（排除）那些不是研究者意图方向的其他路径上的解释。

假设有如下这样的结论：

我在小学时非常常做预习，成绩进步很大。
所以可以说，相比复习，预习的学习效果更大。

上述陈述之所以效度不足，可以作如下思考：

• 如果研究者是这样，那么其他同学是不是觉得复习更有帮助，或者别的同学会不会得出不同的结论？

• 因为那是小时候的情况，现在的小学生是不是没有这样的效果？

• 会不会只是因为没有做复习的缘故？

• 与预习无关，只是从小学开始上的补习班起了作用，不是吗？

这类可能性都会降低结论的效度。

研究的效度越高，就越要排除这些不同解读的可能性。

1) 内部效度与外部效度

(1) 内部效度

是在研究实施范围之内，结论不被其他方式解释，而是按照研究者意图的方式被解释的程度。

• 有没有做过复习？会不会只是做了预习，但从未尝试过复习？

• 与预习无关，只是小学开始上过的补习班起了作用，不是吗？

(2) 外部效度

是指超出研究实施的对象和条件之外，该研究结论依然可以被合理适用的程度。

• 只是我一个人这样吗？其他同学也是这样吗？

• 不是小时候，而是现在的小学生，预习也会有帮助吗？

2) 研究者应当优先考虑哪一种效度？

基本上要先设计出内部效度高的研究方案，如果还能具备高外部效度，其效用就会更大。

4. 研究设计

1) 研究设计示例

假设有如下研究问题：

研究问题——预习和复习中，哪一个对学习更有帮助？

针对这个问题，假设我们做了如下设计：

设计1——让本班学生先在一周内进行预习，然后考试，再在下一周进行复习，并进行相同的考试。

假设我们这样解释：如果第一次考试分数高于第二次考试分数，则说明预习更有效；如果第一次考试分数低于第二次考试分数，则说明复习更有效。

那么针对该结论，下面这样的解读就会威胁到内部效度：

• 进行相同的考试，难道不会因为考试本身的原因，第二次分数理所当然地提高吗？

• 先进行预习之后，整体学习态度变好了，所以即便与复习无关，成绩也会提高，不是吗？

为提高研究的内部效度，可以如下修改设计：

设计2——让本班学生在一周内进行预习，让隔壁班学生在同一期间进行复习，然后进行相同的考试。

在该设计中，如果本班考试分数高于隔壁班分数，可以解释为预习更有效；如果本班分数低于隔壁班，则可以解释为复习更有效。

然而即使是这样的设计，仍然存在威胁内部效度的其他解释可能。

• 如果本班学生原本就比隔壁班学习态度更好呢？

• 如果隔壁班老师讲课进度比本班老师更快呢？

能够切断这类多种多样的解释可能性，只保留研究者意图方向上的解释的研究路径，才是最佳的研究设计。

2) 多种实验设计

如果只在施加处理（干预）之后，对实验组的分数进行比较，就很难了解处理本身的意义。

无法判断该结果是因为处理导致的，还是由于先前学习者群体的特征，抑或是由于学习者自身成长所致。

因此需要对处理前后的分数进行确认。

或者也可以在处理后，将其分为实验组 vs 控制组进行比较。

较为优良的设计，会综合考虑这些所有部分，对处理之前的实验组、控制组与处理之后的实验组、控制组进行比较。

时间点和群体等数据范围越广，就越能弱化学习效果本身与群体差异带来的影响。

5. 威胁内部效度的因素

• History（历史）——偶然发生的事件对实验产生影响的情况

• Maturation（成熟）——因研究对象自然成长而导致结果发生变化的情况

• Testing（测验效应）——在反复使用相同类型的测验过程中，出现一种“学习效应”的情况

• Instrumentation（测量工具变化）——测验工具本身或测量方式发生变化的情况

• Seleciton（选择偏差）——在比较两个群体时，原本就具有不同特征的参与者被选择性地分配到各自群体的情况。

6. One More Thing? —— 操作性定义

研究者想要研究的概念，与研究者在实际研究中所实现的内容之间，可能存在差异，这一间隙被称为“构念效度”。

• 应当如何看待“预习”？通常所说的“超前学习”也算作预习吗？

• 应当如何看待“学习”？是指更好地记住学习内容？还是指能够给出有创造性的回答？还是仅仅意味着考试成绩？

7. 小结

• 研究者希望按照研究假设所适合的方向来解释研究结果。

• 然而，所有研究中都存在着除研究者意图之外，用其他方式来解释该结果的可能性。

• 研究者应当确认这些第三种解释的可能性，并设计出能够切断其他解读可能性的研究方案。

• 这样的设计就是效度高的设计。

8. 后记

我觉得实验设计的过程，在某种意义上与命制纸笔测验题目的过程很相似。

难道不能这样去解读吗？

或者说，结论会不会过于普遍，或者也可以得出别的结论？

最终我觉得，这一切其实都是以人的演绎思维为基础，将实验过程、结果与解释联系起来的过程。

如果想尽快写出论文，从实验阶段开始就需要深入的思考与反省。