Machine vs machine : Large Language Models (LLMs) in applied machine learning high-stakes open-book exams

Abstract

Existe un importante vacío en la Investigación de Educación en Computación (CER) sobre el impacto de Modelos de Lenguaje de Gran Escala (LLM) en etapas avanzadas de estudios de grado. Se investiga la efectividad de las LLM respondiendo preguntas de examen de Aprendizaje Automático Aplicado en último curso de Grado. Se examina el desempeño de las LLM al responder a una variedad de preguntas de examen, que incluyen modelos de examen diseñados con y sin apuntes, a varios niveles de la Taxonomía de Bloom. Los formatos de pregunta incluyen de respuesta abierta, basadas en tablas, o en figuras. Se comparan respuestas generadas por LLM y por estudiantes para juzgar el desempeño de las LLM. Se evalúa la eficacia de diferentes detectores de LLM. Además, se juzga la eficacia de los detectores sobre texto alterado por alumnos con el objetivo de engañar a los detectores. El método investigador incorpora una relación entre seis alumnos y ocho profesores. Los estudiantes juegan un rol integral para determinar la dirección del proyecto, en especial en áreas poco conocidas para el profesorado, como el uso de herramientas de detección de LLM. Se contribuye a entender el rol de las LLM en el ámbito de la educación universitaria, con implicaciones para el diseño de futuros curriculums y técnicas de evaluación.