面向教师的教育研究与统计分析培训 - 第4讲 随机分配与准实验设计

今天的课程从下面这样的研究问题开始。

课后辅导对成绩提升是否有效？

如果围绕这一问题，只是简单比较参加课后辅导的学生和未参加学生的成绩，并据此得出结果，那么研究就会受到内在效度的威胁。

因为学生成绩不仅受课后辅导影响，还会受到原有成绩、家庭收入、父母关心程度等多种因素的影响。

这类问题称为选择问题（selection problem）。

原因在于两个群体之间存在系统性差异。

那么要如何消除这些差异呢？

1. 随机分配

随机分配是指在分配研究对象时，不经研究者干预而进行的随机分派。

就好像通过抛硬币来决定是否参加课后辅导一样。

按照这种方式分组后，两个组的特征最终会变得非常相似。

• 消除组间的选择偏差（selection bias）

• 使潜在的混淆变量均匀分布

• 强化因果推论的内在效度

如果在随机分配之后的实验结果中，参加与未参加课后辅导的学生之间出现了40分的成绩差异，就可以把这一差异视为课后辅导的效果。

因为通过随机分配已经消除了两个群体之间的差异，这些差异就无法再对结论产生影响。

2. 随机分配与自我选择

在教育研究中，像课后辅导选择这样的参与行为，在现实中很难通过随机分配来强制决定。

一般来说，这类活动都是由学生和家长根据自己的成绩、空闲时间等情况自主决定。

因此，很难保证两个群体的同质性。

在无法进行随机分配的情况下，就需要研究者采用其他方法，也就是准实验设计。

3. 允许自我选择的研究设计

1) 通过回归分析、匹配进行事后统计校正

(1) 回归分析

这是在预期并调查参加课后辅导学生与未参加学生之间的主要差异后，对这些差异进行统计校正的方法。

如果在课后辅导参与/未参与之间，在前测成绩、家庭收入、父母关心程度等方面存在较大差异，就要对这些因素进行调查，并通过统计方法使条件尽可能相似。

常用方法有 pooled OLS、协方差分析（ANCOVA）等。

(2) 匹配

匹配是指在接受处理的群体与未接受处理的群体中，将具有相似特征的个体配对进行比较的方法。

如果根据父母关心程度，参加与未参加课后辅导的学生分数存在系统性差异，就通过匹配把父母关心程度相似的学生集中起来进行比较。

在这一范围内观察时，课后辅导参与/未参与的效果会大幅减小。

2) 差分得分分析法（双重差分法）

这是通过调查前测分数，并计算与后测分数之间差异的方法。

但如果只是简单比较前测和后测得分，这种方法同样会受到内在效度的威胁。

因为这段时间内学习者会产生成长（maturation）。

这种影响可以通过调查未参与学生来消除。

如果学生成长发生，那么应当在两个群体中都出现。

如果在未参与组中未出现这种变化，就可以证明这并不是成长带来的效果。

4. One More Thing?

这里出现了很多第一次见到的分析方法，所以做了一个整理。

• RDD：临界值正附近的人几乎相同，因此可以进行比较

• IV：利用连接原因与结果的中立杠杆（工具），绕道进行因果推断

• ITS：观察干预前后时间点的走势或趋势是否发生变化，关注时间模式

5. 后记

以前指导科学课题研究时，有个考上首尔大的学生曾把被试者聚在一起做实验。

还同时做了前测和后测，当时看到他使用 ANOVA 分析方法，只是觉得“原来还有这种东西”，现在轮到我自己来学了。

因此在指导课题研究时，能写一篇论文确实很有帮助。

以前只关注通过实验得到结论的过程，今后应该能够更加严肃地对实验结论的效度提出质疑。

能学到这些，觉得是很有意义的一天。