교사를 위한 교육연구 및 통계분석 연수 - 4차시 무선할당과 준실험설계

오늘 수업은 아래와 같은 연구질문으로 시작한다.

방과후수업이 성적 향상에 효과적일까?

이러한 질문을 바탕으로 방과후에 참여한 학생과 참여하지 않은 학생의 성적을 단순히 비교하고, 거기에 따라 결과를 얻었다고 하면 연구는 내적 타당성을 위협받게 된다.

학생의 성적이 방과후 뿐만 아니라 원래 성적, 가정 소득, 부모의 관심 등 다양한 요인에 영향을 받기 때문이다.

이러한 것을 셀렉션 문제라고 한다.

두 집단 사이에 체계적인 차이가 있기 때문이다.

그렇다면 이를 어떻게 제거할 수 있을까?

1. 무선할당

무선할당은 연구 대상을 배정할 때, 연구자의 개입 없이 무작위로 배정하는 것이다.

마치 동전 뒤집기로 방과후의 참여 여부를 결정하는 것 과 같다.

이에 따라 그룹을 배정하면, 두 그룹의 속성이 궁극적으로 무척 유사해진다.

만일 무선할당 후의 실험 결과 방과후 참여/미참여에 따른 성적이 40점이 발생했다면, 이 차이를 방과후 수업의 효과라고 결론지을 수 있다.

무선 할당을 통해 두 집단의 차이를 제거했으므로, 이것이 결론에 영향을 주지 못하기 때문이다.

교육 연구에서 방과후 선택과 같은 참여를 현실적으로 무선 할당을 통해 강제할 수 없다.

일반적으로 이러한 활동들은 학생, 학부모가 직접 자신의 성적, 여유시간 등 사정에 맞게 결정하게 된다.

이에 두 집단의 동질성을 확보하기 어렵다.

이에 무선할당이 불가능 할 때 연구자들이 택할 수 있는 방법, 즉 준실험 설계가 필요하다.

방과후 참여 학생과 미참여 학생 사이에 주요한 차이를 예상하고 조사하여 그 차이를 통계적으로 교정하는 방법이다.

사전성적, 가정소득, 부모의 관심 등 방과후 참여/미참여에 따라 차이가 많다면, 이를 조사하여 통계적으로 조건을 유사하도록 맞춰준다.

pooled OLS, 공분산분석(ANCOVA) 등이 있다.

매칭은 처치를 받은 집단과 받지 않은 집단에서 비슷한 특성을 가진 단위를 짝지어 비교하는 방식이다.

만약 부모의 관심에 따라 방과후 참여.미참여 학생들의 점수에 체계적인 차이가 있다면 매칭으로 부모의 관심정도가 비슷한 학생들을 모아서 비교한다.

해당 범위 안에서 살펴보면 방과후수업의 참여/미참여의 효과가 무척 감소하게 된다.

사전 점수를 조사하여 사후 점수와의 차이를 계산하는 방식이다.

하지만 해당 방법도 사전, 사후의 점수를 단순하게 비교하는 것은 내적 타당도에 위협을 받게 된다.

그 동안 학습자의 성장(maturation)이 일어나기 때문이다.

이러한 방법은 미참여 학생들을 조사하면서 제거할 수 있다.

만일 학생들의 성장이 일어난다면 두 그룹 모두 일어나야 한다.

하지만 미참여에서 일어나지 않는다면, 이는 성장에 의한 효과가 아님을 증명할 수 있다.

여기서는 처음 보는 분석방법이 많아서 정리해보았다.

연구설계	핵심 아이디어	강점	약점	적합 사례
회귀불연속 RDD	컷오프 근처 비교	높은 내적 타당도	일반화 어려움, 컷오프 필요	점수, 기준 기반 정책
도구변수 IV	외생적 도구 활용	비관측 교란 제거 가능	도구 찾기 어려움, 약 IV 문제	경제, 교육 실증 분석
비교 시계열 ITS(비교집단)	개입 전후 추세 비교	시간 변화 반영, 비교집단 가능	외생 요인 통제 어려움	정책/제도 변화 효과