El nuevo modelo estadístico mejora el poder predictivo de los puntajes de las pruebas estandarizadas

El nuevo modelo estadístico mejora el poder predictivo de los puntajes de las pruebas estandarizadas.

El escándalo de admisión a la universidad en curso subraya cuán influyente se ha vuelto un puntaje de prueba estandarizado. Un administrador de exámenes ahora está cooperando con la investigación de otros padres que pagaron para que se arreglen los puntajes de sus hijos.

Las decisiones de admisión a la universidad utilizan puntajes de exámenes estandarizados como un predictor de qué tan bien le irá a un solicitante en la universidad. Pero, ¿qué pasaría si hubiera una mejor manera de predecir el aprendizaje, una que no se basara en una sola prueba de alto riesgo?

Investigadores de la Universidad Estatal de Arizona y la Universidad de Denver han ideado una forma de predecir el rendimiento académico que es tres veces más predictivo que una sola evaluación estandarizada. El equipo de investigación desarrolló y validó un modelo estadístico que utiliza puntajes de prueba fácilmente disponibles para predecir el rendimiento académico futuro. El estudio se publicará en Multivariate Behavioral Research.

"Todos se ven afectados por las pruebas en algún momento: las pruebas se utilizan para tomar decisiones de alto riesgo sobre los ingresos a las escuelas y, a veces, incluso la colocación laboral, y el modelo que desarrollamos captura lo que sucede en los datos y predice el rendimiento futuro mejor que los métodos existentes ", dijo Daniel McNeish, profesor asistente de psicología en ASU y primer autor del artículo.

 La habilidad actual no siempre predice el aprendizaje futuro

El propósito declarado de muchas pruebas estandarizadas es una evaluación única, no para informar el rendimiento a largo plazo. Estas pruebas a veces se usan para predecir el rendimiento futuro de cualquiera que tome la prueba, pero pocas pruebas realmente lo hacen bien, dijo Denis Dumas, profesor asistente de la Universidad de Denver y segundo autor del artículo. La idea de que una sola prueba no puede medir adecuadamente el potencial de aprendizaje futuro de un estudiante no es nueva: el sociólogo, historiador y activista de derechos civiles W.E.B. DuBois lo planteó hace casi un siglo.

"Los puntajes de las pruebas desde un solo punto de tiempo brindan una buena instantánea de lo que alguien sabe en el momento de la prueba, pero a menudo son incapaces de proporcionar información sobre el potencial para aprender", agregó Dumas. "Los puntajes de las pruebas se usan con frecuencia para indicar cuánto se puede beneficiar una persona de la educación futura, como asistir a la universidad, pero este concepto es completamente diferente de cuánto sabe el examinado en este momento".

 Para desarrollar el modelo, el equipo de investigación se inspiró en el trabajo de un psicólogo israelí llamado Reuven Feuerstein que evaluó a los niños sobrevivientes del Holocausto para la colocación en la escuela y el nivel de grado. Las asignaciones de nivel de grado basadas en el puntaje de una prueba a menudo eran demasiado bajas, por lo que Feuerstein desarrolló un sistema de evaluación llamado evaluación dinámica que utilizaba varias puntuaciones de prueba recopiladas a lo largo del tiempo para medir la capacidad de aprendizaje de los niños, en lugar de su nivel actual de conocimiento. La evaluación dinámica requiere mucha mano de obra y es difícil de implementar a gran escala. El equipo de investigación resolvió ese problema aprovechando los avances en los modelos matemáticos y la potencia informática para crear un nuevo método, que llaman un modelo de medición dinámico.

Conectando los puntos

El modelo de medición dinámica utiliza una serie de puntajes de prueba para predecir la capacidad de aprendizaje futura. El modelo ajusta una curva a través de los puntajes de las pruebas a lo largo del tiempo, que generalmente se ve como una letra lateral "J" y se denomina "curva de aprendizaje". Los puntos en la curva de aprendizaje representan la cantidad de conocimiento actual, y el máximo o techo de la curva es el potencial de aprendizaje. Utilizando puntajes de exámenes estandarizados desde el jardín de infantes hasta el octavo grado, el equipo mostró recientemente que el modelo de medición dinámica podría ajustarse a la curva de aprendizaje y predecir el potencial de aprendizaje.

El equipo de investigación quería saber hasta qué punto el modelo podía predecir el potencial de aprendizaje y, por lo tanto, cuán preciso era en realidad. Utilizaron tres conjuntos de datos que se originaron en el Instituto de Desarrollo Humano de la Universidad de California, Berkeley. Los conjuntos de datos incluyen puntajes de pruebas de participantes que comenzaron cuando tenían 3 años en las décadas de 1920 y 1930. Los participantes fueron estudiados durante décadas, hasta que tenían entre 50, 60 y 70 años.

Debido a que la mayoría de las pruebas estandarizadas se realizan en la escuela, el equipo de investigación utilizó el modelo de medición dinámica para ajustar los puntajes de las pruebas de cuando los participantes de UC Berkeley tenían 20 años o menos. El equipo predijo el potencial de aprendizaje futuro de cada participante haciendo que el modelo terminara la curva. Luego, compararon los puntajes reales de las pruebas a las edades de 50-70 años con lo que predijo el modelo.

"El modelo de medición dinámica capturó tres veces la varianza como otros métodos, incluyendo puntajes de pruebas de puntos de tiempo únicos. En otras palabras, nuestro modelo predijo los puntajes posteriores, el potencial de aprendizaje realizado de un individuo, tres veces mejor", dijo McNeish. "Los estudiantes son evaluados con tanta frecuencia ahora para medir su progreso, pero tener múltiples puntajes por alumno puede servir para un propósito más allá de medir el progreso. Se pueden combinar en un solo puntaje potencial de aprendizaje para mejorar las predicciones de dónde se predice que las habilidades y capacidades de las personas terminarán en el futuro si mantienen la misma trayectoria ".

 Conectando los puntos

El modelo de medición dinámica utiliza una serie de puntajes de prueba para predecir la capacidad de aprendizaje futura. El modelo ajusta una curva a través de los puntajes de las pruebas a lo largo del tiempo, que generalmente se ve como una letra lateral "J" y se denomina "curva de aprendizaje". Los puntos en la curva de aprendizaje representan la cantidad de conocimiento actual, y el máximo o techo de la curva es el potencial de aprendizaje. Utilizando puntajes de exámenes estandarizados desde el jardín de infantes hasta el octavo grado, el equipo mostró recientemente que el modelo de medición dinámica podría ajustarse a la curva de aprendizaje y predecir el potencial de aprendizaje.

El equipo de investigación quería saber hasta qué punto el modelo podía predecir el potencial de aprendizaje y, por lo tanto, cuán preciso era en realidad. Utilizaron tres conjuntos de datos que se originaron en el Instituto de Desarrollo Humano de la Universidad de California, Berkeley. Los conjuntos de datos incluyen puntajes de pruebas de participantes que comenzaron cuando tenían 3 años en las décadas de 1920 y 1930. Los participantes fueron estudiados durante décadas, hasta que tenían entre 50, 60 y 70 años.

Debido a que la mayoría de las pruebas estandarizadas se realizan en la escuela, el equipo de investigación utilizó el modelo de medición dinámica para ajustar los puntajes de las pruebas de cuando los participantes de UC Berkeley tenían 20 años o menos. El equipo predijo el potencial de aprendizaje futuro de cada participante haciendo que el modelo terminara la curva. Luego, compararon los puntajes reales de las pruebas a las edades de 50-70 años con lo que predijo el modelo.

"El modelo de medición dinámica capturó tres veces la varianza como otros métodos, incluyendo puntajes de pruebas de puntos de tiempo únicos. En otras palabras, nuestro modelo predijo los puntajes posteriores, el potencial de aprendizaje realizado de un individuo, tres veces mejor", dijo McNeish. "Los estudiantes son evaluados con tanta frecuencia ahora para medir su progreso, pero tener múltiples puntajes por alumno puede servir para un propósito más allá de medir el progreso. Se pueden combinar en un solo puntaje potencial de aprendizaje para mejorar las predicciones de dónde se predice que las habilidades y capacidades de las personas terminarán en el futuro si mantienen la misma trayectoria "....