교사를 위한 교육연구 및 통계분석 연수 - 3차시 교육연구의 설계

오늘 수업은 교육연구의 설계에 대한 내용이다.

무언가 개념적으로 외워야하는 내용들이 많아 양 자체는 이전보다 압도적이다.

그래서 그냥 수업 자체를 그대로 가져와 보았다.

1. 교육 분야의 다양한 연구질문

교육 분야의 연구는 이러한 다양한 질문에 대해 설계와 분석을 통해 경험적 증거를 제시한 뒤, 유용한 교육적 함의를 이끌어내는 과정이다.

예를들어 아래와 같은 교육 분야의 질문들이 있다고 하자.

• 예습과 복습 중 무엇이 학습에 더 도움이 될까?

• 영재들의 학습동기는 일반 아동과 어떻게 다를까?

• 자유학기제는 학생들의 성적 하락에 영향을 미쳤을까?

• 학업중단에 영향을 미치는 요소들은 무엇일까?

그렇다면 어떤 식으로 연구를 설계해야 할까?

2. 양적연구방법

양적 연구는 아래와 같은 정의와 특징이 있다.

• 데이터를 수집하고, 그것을 수량화하여, 연구질문에 대한 대답을 찾는 과정

• 수량화하지 않으면 통계적인 처치가 불가능

• 일반적으로 통계분석이라는 절차가 포함, 소수보다는 다수의 사례를 활용, 전반적인 경향성에 관한 결론을 내리려는 접근

모든 연구에 대해 양적 연구가 적절한 것은 아니지만, 위의 연구질문에서 3, 4번째 질문은 양적 연구가 더 적절하다.

이는 두 가지 연구질문의 구조가 유사하기 때문이다.

이러한 구조는 교육 연구의 전형적 구조이다.

그렇다면 이렇게 연구질문을 잡았을 때, 어떤 요소를 고려해야 할까?

3.타당도

타당도는 연구자가 말하고자 하는 결론이 얼마나 타당한가이다.

모든 연구에는 연구자가 의도하는 방향이 있다.

예를들어 1차시의 논문은 아침 식사는 성적과 관련이, 2차시의 논문은 평가와 기억이 관련이 있었다.

타당도는 연구자가 의도하는 방향이 아닌, 다른 방향으로의 접근은 차단할 수 있는지의 여부이다.

예륻들어 아래와 같은 결론이 있다고 하자.

내가 초등학교 때 예습을 많이 했는데, 성적이 많이 올랐었다. 
그러니 학습보다는 예습이 학습효과가 더 크다고 할 수 있다.

위의 진술이 타당하지 않은 이유로는 아래와 같이 생각할 수 있다.

• 만일 연구자가 그랬다면 다른 친구들은 복습이 더 도움이 되거나, 다른 친구들은 다른 결론이 생기지 않았을까?

• 어린시절이기 때문에, 지금의 초등학생들에게는 효과가 없지 않을까?

• 복습을 하지 않았기 때문은 아닌가?

• 예습과 무관하게, 초등학생 때 시작했던 과외가 도움됬던거 아닌가?

이러한 종류의 가능성들은 결론의 타당성을 떨어트리게 된다.

연구의 타당도가 높다는 건, 이러한 다양한 해석의 가능성을 제외시켜야 한다.

1) 내적타당도와 외적타당도

(1) 내적타당도

연구를 수행한 범위 내에서 결론이 다른 방식으로 설명되지 않고 연구자의 의도에 맞게 설명되는 정도이다.

• 복습을 해본적 있나? 예습만 하고 복습은 시도하지 않았던 것 아닐까?

• 예습과 무관하게, 초등학교 때 시작했던 과외가 도움이 되었던 것 아닐까?

(2) 외적타당도

연구를 수행한 대상, 조건을 넘어서도 해당 연구의 결론이 타당하게 적용될 수 있는 정도

• 나만 그랬던것? 다른 친구들에게도 그런가?

• 어릴적이 아닌 지금 초등학생들에게도 예습이 도움이 될까?

2) 연구자가 우선시해야 할 타당도는?

기본적으로 내적타당도가 높은 연구설계를 고안해야 하고, 높은 외적타당도가 있다면, 그 효용성이 크다.

4. 연구설계

1) 연구설계의 예시

아래와 같은 연구 질문이 있다고 하자.

연구질문 - 예습과 복습 중 무엇이 학습에 더 도움이 될까?

이에 대해 아래와 같이 설계했다고 해보자.

설계1 - 우리 반 학생들에게 일주일 동안 예습을 시키고, 시험을 보고, 그 다음 일주일 동안 복습을 시키고, 동일한 시험을 보게 함.

먼저 시험점수가 나중 시험점수 보다 높으면, 예습이 효과적이고, 먼저 시험점수가 나중 시험점수 보다 낮으면, 복습이 효과적이라 해석한다고 하자.

그럼 해당 결론에 대해 아래와 같은 해석은 내적타당도를 위협하게 된다.

• 같은 시험을 보면, 시험으로 인해 나중 점수가 당연히 높아지지 않을까?

• 예습을 먼저 하고 나서 전반적인 학습태도가 좋아져서 복습과는 무관하게 성적이 높아지지 않을까?

이에 연구의 내적 타당도를 높이기 위해 아래와 같이 설계를 수정할 수 있다.

설계2 - 우리 반 학생들에게는 일주일 동안 예습을, 옆 반 학생들에게는 같은 기간 동안 복습을 시키고, 동일한 시험을 보게 함.

이 설걔에서 우리 반 시험점수가 옆 반 시험점수보다 높으면, 예습이 효과적이고, 우리 반 시험점수가 옆 반 시험점수보다 낮으면, 복습이 효과적이라 해석할 수 있다.

하지만 이러한 설계에도 내적 타당도를 위협하는 다른 해석의 가능성은 존재한다.

• 우리 반 아이들이 옆 반 보다 원래 학습태도가 좋았다면?

• 옆 반 선생님이 진도가 우리 반 보다 더 빨랐다면?

이런 다양한 종류의 해석 가능성을 차단하고, 연구자가 의도하는 방향으로의 해석만 남길 수 있는 연구 방향이 최고의 연구설계이다.

2) 다양한 실험설계

만약 처치 후 실험집단의 점수만을 비교한다면, 처치의 의미를 알기 힘들다.

해당 결과가 처치 때문인지, 이전 학습자 집단의 특성 때문인지, 학습자 성장인지 알 수 없다.

따라서 처치 이전과 이후의 점수 확인이 필요하다.

혹은 처치 후 실험집단 vs 통제집단으로 나누기도 한다.

우수한 설계는 이러한 모든 부분들을 고려하여 처치 이전의 실험집단, 통제집단과 처치 후의 실험집단과 통제집단을 비교하는 것이다.

시점과 집단 등 자료의 범위를 넓게 가질 수록 학습 효과, 집단의 차이를 완화할 수 있다.

5. 내적타당도를 위협하는 요인

• History - 우연히 발생한 사건이 실험에 영향을 주는 경우

• Maturation - 연구대상의 자연스러운 성장에 의해 결과가 달라지는 경우

• Testing - 동일한 유형의 검사를 반복 사용하는 과정에서 일종의 학습효과가 일어나는 경우

• Instrumentation -검사도구 자체 혹은 측정 방식이 변화하는 경우

• Seleciton - 두 집단을 비교하는 경우, 애초부터 다른 특징의 참여자들이 각각의 집단에 선택적으로 배치되는 경우.

6. One More Thing? - 조작적 정의

연구자가 연구하고 싶은 개념과 연구자가 실제로 연구에서 구현한 내용 사이에 차이가 있을 수도 있음. 그 간극을 구인타당도라고 부른다.

• "예습"을 무엇으로 볼 것인가? 흔히 말하는 "선행학습"도 예습으로 볼 것인가?

• "학습"은 무엇으로 볼 것인가? 학습내용을 더 잘 기억하는 것? 창의력이 있는 대답을 제공하는 것? 그냥 시험 성적을 의미할끼?

7. 정리하기

• 연구자는 연구가설에 적합한 방향으로 연구결과를 해석하고자 한다.

• 그러나, 모든 연구는 연구자의 의도 외에 해당 결과를 다른 방식으로 설명할 수 있는 가능성이 존재한다.

• 연구자는 그런 제 3의 설명가능성을 확인하고 다른 해석의 여지를 차단할 수 있는 연구설계를 고안해야 한다.

• 그러한 설계가 타당도가 높은 설계이다.

8. 후기

실험 설계의 과정이 어찌보면 지필평가 문제를 내는 과정과 비슷하다는 생각이 들었다.

이런 방식으로 해석할 수는 있지 않나?

혹은 결론이 너무 보편적이거나, 다른 결론을 낼 수 있지도 않나?

결국 인간의 연역적 사고에 기반해 실험 과정과 결과, 그리고 해석을 연결짓는 과정이라는 생각이 들었다.

논문을 빨리 쓰고 싶다면, 실험 단계에서 부터의 깊은 고민과 고찰이 필요한 듯 하다.