La clase de hoy comienza con la siguiente pregunta de investigación:
¿Son eficaces las clases extraescolares para mejorar el rendimiento académico?
Si, basándonos en esta pregunta, comparamos simplemente las calificaciones del alumnado que participa en las actividades extraescolares con las de quienes no participan, y obtenemos resultados a partir de esa comparación, la investigación se verá amenazada en su validez interna.
Esto se debe a que el rendimiento del alumnado no solo se ve afectado por las actividades extraescolares, sino también por factores como las calificaciones previas, los ingresos familiares, el grado de implicación de los progenitores, etc.
A esto se le llama problema de selección.
Se debe a que existen diferencias sistemáticas entre los dos grupos.
Entonces, ¿cómo podemos eliminar estas diferencias?
1. Asignación aleatoria
La asignación aleatoria consiste en asignar a los sujetos de investigación a grupos de forma aleatoria, sin intervención del investigador.
Es como decidir la participación en las actividades extraescolares lanzando una moneda.
Si distribuimos los grupos de esta manera, las características de ambos grupos se vuelven en última instancia muy similares.
Eliminación del sesgo de selección (selection bias) entre grupos
Distribución uniforme de variables de confusión potenciales
Refuerzo de la validez interna de la inferencia causal
Si, tras la asignación aleatoria, el experimento muestra una diferencia de 40 puntos en las calificaciones entre quienes participan y quienes no participan en las actividades extraescolares, podemos concluir que esta diferencia se debe al efecto de dichas actividades.
Esto es porque, mediante la asignación aleatoria, se han eliminado las diferencias entre los dos grupos y, por tanto, estas ya no pueden influir en la conclusión.
2. Asignación aleatoria y autoselección
En la investigación educativa, en la práctica no se puede obligar a la participación (por ejemplo, en actividades extraescolares) mediante asignación aleatoria.
Generalmente, este tipo de actividades son decididas directamente por el propio alumnado y sus familias de acuerdo con su rendimiento académico, tiempo disponible y otras circunstancias.
Por ello, es difícil asegurar la homogeneidad entre los dos grupos.
En consecuencia, cuando la asignación aleatoria no es posible, el investigador necesita recurrir a métodos alternativos, es decir, a diseños cuasi experimentales.
3. Diseños de investigación que permiten la autoselección
1) Correcciones estadísticas posteriores mediante regresión y emparejamiento (matching)
(1) Regresión
Es un método que consiste en anticipar y examinar diferencias importantes entre el alumnado participante y no participante en las actividades extraescolares, y corregir estadísticamente dichas diferencias.
Si existen grandes diferencias, según la participación o no en las actividades extraescolares, en variables como las calificaciones previas, los ingresos familiares o el interés de las familias, se investigan estas variables y se ajustan estadísticamente las condiciones para que sean similares.
Entre estos métodos se incluyen el pooled OLS y el análisis de covarianza (ANCOVA).
Clasificación | Pooled OLS | ANCOVA |
|---|---|---|
Qué es | Regresión tratando todos los datos como un solo conjunto | Comparación de diferencias entre grupos considerando conjuntamente las covariables |
Cuándo se usa | Cuando se tiene datos de panel y no se consideran especialmente variables de control | Cuando en investigación experimental/educativa se comparan grupos controlando covariables |
Objetivo clave | Estimar el efecto de x sobre y | Comparar con precisión las diferencias entre grupos tras ajustar por covariables |
Ventajas | Simplicidad | Posibilita comparaciones justas (corrige diferencias previas) |
Desventajas | Puede sesgar al ignorar diferencias individuales/temporales | Requiere suponer independencia entre covariables y tratamiento |
(2) Emparejamiento (matching)
El emparejamiento consiste en vincular unidades con características similares en el grupo tratado y en el grupo no tratado para su comparación.
Si, por ejemplo, existen diferencias sistemáticas en las calificaciones de alumnado participante y no participante en las actividades extraescolares según el grado de interés de las familias, mediante el emparejamiento se agrupa y compara alumnado cuyo nivel de interés familiar sea similar.
Dentro de ese rango, el efecto de la participación o no en las clases extraescolares se reduce considerablemente.
2) Análisis de puntuaciones de diferencia (método de doble diferencia)
Es un método que consiste en medir las puntuaciones previas (pretest) y calcular la diferencia con las puntuaciones posteriores (postest).
Sin embargo, el simple hecho de comparar las puntuaciones antes y después también amenaza la validez interna.
Esto se debe a que, durante ese tiempo, se produce el crecimiento (maturation) del alumnado.
Este problema puede mitigarse examinando al alumnado que no participa.
Si se produce crecimiento en el alumnado, debería producirse en ambos grupos.
Pero si no se observa en el grupo no participante, se puede demostrar que el efecto no se debe al crecimiento natural.
4. ¿One More Thing?
Aquí han aparecido muchos métodos de análisis que veo por primera vez, así que los he resumido.
Diseño de investigación | Idea clave | Fortalezas | Debilidades | Casos adecuados |
|---|---|---|---|---|
Regresión discontinua RDD | Comparación cerca del punto de corte | Alta validez interna | Difícil generalizar, requiere punto de corte | Políticas basadas en puntuaciones o umbrales |
Variable instrumental IV | Uso de instrumentos exógenos | Posible eliminar confusores no observados | Difícil encontrar instrumentos, problema de IV débil | Análisis empírico en economía y educación |
Series temporales interrumpidas comparadas ITS (grupo de comparación) | Comparación de tendencias antes y después de la intervención | Refleja cambios en el tiempo, posible grupo de comparación | Difícil controlar factores externos | Efectos de cambios en políticas o sistemas |
RDD: las personas justo alrededor del punto de corte son casi iguales, así que se comparan
IV: se infiere la causalidad de forma indirecta utilizando una palanca (instrumento) neutral que conecta causa y efecto
ITS: se observa el patrón temporal para ver si la trayectoria o tendencia cambia antes y después de la intervención
5. Epílogo
Cuando guié antes un proyecto de investigación científica, uno de los estudiantes que fue a la Universidad Nacional de Seúl realizó un experimento reuniendo a los sujetos.
También llevó a cabo mediciones pretest y postest, y al ver que utilizaba el método de análisis ANOVA, pensé “ah, existe algo así”, y ahora soy yo quien lo está aprendiendo.
Esto me hace pensar que, cuando se dirigen proyectos de investigación, escribir al menos un artículo resulta de gran ayuda.
Antes me centraba solo en el proceso de obtener conclusiones mediante el experimento, pero a partir de ahora creo que podré cuestionar de forma más contundente la validez de las conclusiones experimentales.
Ha sido un día satisfactorio en el que he podido aprender.
댓글을 불러오는 중...