Todos hemos escuchado las historias, y muchos de nosotros lo hemos visto de primera mano: la práctica de evaluación completamente ineficaz de dar el mismo examen de opción múltiple a las personas una y otra vez. El único momento en que esto es aceptable es cuando todas las personas que escriben el examen lo hacen al mismo tiempo y son supervisadas para garantizar que no compartan las respuestas. Sin embargo, dar el mismo examen a diferentes personas durante un período de meses o años asegura que las calificaciones de los exámenes aumenten con el tiempo, a veces de manera bastante marcada. Lamentablemente, esto no se debe a que las personas están aprendiendo más. Esto se debe a que las personas que escribieron el examen anteriormente comparten las respuestas con los que lo escribieron más tarde. Esto no es una sorpresa, y crea problemas reales.
El problema más obvio con la práctica de la reutilización de exámenes es que los resultados de la evaluación no tienen sentido. No son un reflejo exacto del conocimiento del alumno y no pueden utilizarse como una medida de la calidad de la formación. Y, por supuesto, con las respuestas del examen en la mano, los alumnos omitirán los materiales de aprendizaje e irán directamente al examen, lo que hará que incluso la capacitación bien diseñada sea inútil.
Sin embargo, el efecto más perjudicial es que el programa de capacitación pierde credibilidad y respeto a los ojos de los alumnos. Para un aprendiz, la reutilización de los exámenes indica pereza y falta de profesionalismo en la organización de capacitación. Ellos responderán en especie.
Por lo tanto, la lección aquí difícilmente puede ser exagerada: nunca dé el mismo examen dos veces. Si lo está haciendo, ahora es un buen momento para detenerse.
¿Significa esto constantemente crear nuevos exámenes?
No, aunque puede significar algunos cambios. La mayoría de las personas que están reutilizando los exámenes lo hacen porque están entregando exámenes en papel o utilizando una capacitación basada en computadora mal construida. En el caso de los exámenes en papel, es difícil y costoso crear un nuevo examen cada vez que se realiza. En el caso de una capacitación basada en computadora mal construida, el programa es "estático", por lo que se entrega el mismo examen a cada persona que completa la capacitación.
La alternativa es aleatorizar sus exámenes. Con la asignación al azar de las preguntas del examen, no habrá dos alumnos que obtengan el mismo examen. En cambio, cada uno recibirá una combinación diferente de preguntas de examen y en un orden diferente. Este tipo de aleatorización de exámenes requiere un sistema de gestión de aprendizaje (LMS). Pero afortunadamente, casi todos los LMS profesionales modernos admiten la aleatorización de preguntas de examen. Por lo tanto, si tiene acceso a un LMS, es muy probable que ya tenga la capacidad.
¿Qué significa esto para la coherencia de la evaluación?
La idea de dar a cada alumno un examen diferente puede generar la preocupación de que perdamos coherencia en nuestras prácticas de evaluación. Después de todo, es crítico que midamos a todos con el mismo estándar. Sin embargo, facilitar el intercambio de respuestas mediante la reutilización de los exámenes distorsiona por completo el campo de juego, por lo que ya tenemos un problema. Además, la aleatorización de exámenes no tiene que ser tan "aleatoria" como parece. En cambio, si se hace correctamente, se pueden aplicar controles para garantizar que se cubran las mismas competencias, en el mismo grado, con preguntas de dificultad aproximadamente igual. Cómo hacemos esto?
¡Vuelva aquí el próximo mes y lo veremos en Consejos de capacitación para barcos! Hasta entonces, ¡navegación segura!
(Como se publicó en la edición de septiembre de 2019 de Maritime Reporter & Enginerering News)