@article{11162/263218,
year = {2024},
url = {https://revistas.um.es/red/article/view/603001},
url = {https://hdl.handle.net/11162/263218},
abstract = {Existe un importante vacío en la Investigación de Educación en Computación (CER) sobre el impacto de Modelos de Lenguaje de Gran Escala (LLM) en etapas avanzadas de estudios de grado. Se investiga la efectividad de las LLM respondiendo preguntas de examen de Aprendizaje Automático Aplicado en último curso de Grado. Se examina el desempeño de las LLM al responder a una variedad de preguntas de examen, que incluyen modelos de examen diseñados con y sin apuntes, a varios niveles de la Taxonomía de Bloom. Los formatos de pregunta incluyen de respuesta abierta, basadas en tablas, o en figuras. Se comparan respuestas generadas por LLM y por estudiantes para juzgar el desempeño de las LLM. Se evalúa la eficacia de diferentes detectores de LLM. Además, se juzga la eficacia de los detectores sobre texto alterado por alumnos con el objetivo de engañar a los detectores. El método investigador incorpora una relación entre seis alumnos y ocho profesores. Los estudiantes juegan un rol integral para determinar la dirección del proyecto, en especial en áreas poco conocidas para el profesorado, como el uso de herramientas de detección de LLM. Se contribuye a entender el rol de las LLM en el ámbito de la educación universitaria, con implicaciones para el diseño de futuros curriculums y técnicas de evaluación.},
booktitle = {RED. Revista de educación a distancia. 2024, v. 24, n. 78 ; 28 p.},
keywords = {inteligencia artificial},
keywords = {creatividad},
keywords = {escritura},
keywords = {examen},
keywords = {modelo didáctico},
keywords = {enseñanza superior},
title = {Machine vs machine : Large Language Models (LLMs) in applied machine learning high-stakes open-book exams},
doi = {10.6018/red.603001},
author = {Quille, Keith and Alattyanyi, Csanad and Becker, Brett A. and Faherty, Roisin and Gordon, Damien and Harte, Miriam and Hensman, Svetlana and Hofmann, Markus and Jiménez García, Jorge and Kuznetsov, Anthony and Marais, Conrad and Nolan, Keith William and Nicolai, Cianan and Zero, Andrzej and O¿Leary, Ciarán},
}