One Picture or a Thousand Words? : influence of question length and illustration support on the success and skip rates on online tests

Abstract

La creciente popularidad de las pruebas en línea evaluadas automáticamente, tanto como herramientas de evaluación como de auto-aprendizaje en la educación a distancia o semipresencial, requiere una revisión de cómo las preguntas se diseñan y presentan a los receptores. Se analizan los resultados de más de 20.000 exámenes simulados en línea diseñados para preparar el estudiantado para las pruebas de acceso a la universidad española (selectividad) en la materia de dibujo técnico, correspondientes a las convocatorias de junio y setiembre de 2009 y 2015. Se evalúa la influencia de dos aspectos clave en el número de preguntas respondidas correctamente o abandonadas: la presencia o ausencia de una ilustración y la extensión de la pregunta como indicador de la comprensión lectora. También se examinan los diferentes resultados durante el período de 6 años, que muestran un ligero empeoramiento de los resultados, mientras que la tasa de abandono se mantiene estable. Los hallazgos deberían permitir mejorar el diseño de las pruebas en línea, incluyendo más contenido visual y/o haciendo las preguntas más concisas, para ajustarse a los requerimientos de unos estudiantes educados en el entorno visual de las tecnologías multimedia.