A la inteligencia artificial se le atraganta la EBAU: ChatGPT solo obtiene un 8,36 sobre 14

Las posibilidades de la inteligencia artificial son tantas que hasta asustan. La nueva sensación del mundo tecnológico se llama ChatGPT, un bot que se sirve de ella para poder conversar con los usuarios, dar respuesta a multitud de sus preguntas complejas e incluso hacer tareas sobre el lenguaje natural de manera precisa y coherente, como redactar todo tipo de textos de forma creativa, desde poemas a ensayos, código informático. El bot conversacional de OpenAI, fundada por Elon Musk, sorprende por su capacidad creativa e intelectual, pero los expertos advierten de que también reproduce falsedades. En este sentido, un grupo de profesores de Jaén se ha propuesto probar la capacidad de la inteligencia artificial de ChatGPT sometiéndolo a los exámenes de la Evaluación del Bachillerato para el Acceso a la Universidad (EBAU). El resultado no es tan brillante como se esperaba: el chatbot ha obtenido una puntuación de 8,36 sobre 14.

Juan de Dios Marín, profesor de Marketing del instituto Virgen del Carmen' y promotor del estudio, explica que la idea surgió ante la democratización del uso de esta inteligencia artificial. El objetivo era comprobar su utilidad y las fuentes de las que se sirve para elaborar una información antes de que los alumnos empiecen a experimentar solos con ella.

Para ello, el grupo de profesores decidió llevar a cabo esta investigación con los exámenes de selectividad. El ChatGPT ha tenido que responder a preguntas reales y próximas en el tiempo y ante la presencia los profesores que participaron en el tribunal de la última EBAU sobre seis materias diferentes: inglés, matemáticas aplicadas, lengua Castellana, historia de España, economía de la empresa y filosofía.

No podría estudiar las carreras más demandadas

Con la nota de corte obtenida, un 8,36 sobre 14, se quedaría a las puertas de muchas de las carreras más demandadas en Catalunya, como son medicina y biomedicina, enfermería, los dobles grados de derecho y administración de empresas, psicología, fisioterapia y diversas ingenierías, como la informática.

Marín ha explicado que los resultados obtenidos han seguido los criterios de evaluación de los exámenes de la EBAU de 2022 de la Universidad de Jaén, a los que no tenía acceso la IA, "ya que ChatGPT está entrenada hasta el 2021". El bot ha superado la selectividad "con sus luces y sus sombras". Por un lado, ha conseguido una puntuación de 9 en inglés, "lo que indica que tiene un conocimiento sólido de la gramática y la sintaxis del idioma", aseguran los profesores.

"El bot no está preparado para realizar representaciones gráficas"

Sin embargo, en las otras materias, las puntuaciones fueron mucho más bajas, con una calificación de 2,5 en matemáticas, 2,75 en química, 6 en lengua castellana, 4 en historia de España; 5,5 en economía y 5,5 en filosofía, mientras que en Biología ha cosechado un 8,8. Marín considera que "como el chat está pensado para desarrollar una conversación con una persona las notas han sido mejores en materias de letras", pero en cambio "no está preparado para realizar representaciones gráficas, de ahí que haya suspendido Matemáticas.

A pesar de que ChatGPT demostró tener un buen conocimiento de la gramática y la sintaxis, los profesores que han participado en la corrección concluyeron que las respuestas de la IA eran superficiales, carentes de profundidad y sin citar sus fuentes. La inteligencia artificial de OpenAI no ha utilizado un lenguaje técnico y ha tratado los temas de manera demasiado general, sin mostrar un pensamiento crítico ni una opinión personal, en algunos casos, incluso pareció inventar resultados para hacer sus respuestas más coherentes.

"Es importante destacar que a ChatGPT solo se le han proporcionado las preguntas, sin ningún tipo de contexto o información adicional, esto puede haber influido en su capacidad para responder con profundidad y, por lo tanto, en sus resultados" ha señalado Marín, quien cree que si le hubieran dado un contexto, por ejemplo comunicar que está realizando un examen de Química, habría encontrado más datos.

Los profesores entienden que la investigación demuestra que, a pesar del gran avance de la inteligencia artificial, "todavía hay mucho por hacer antes de que las máquinas puedan competir con los seres humanos en términos de conocimiento y pensamiento crítico".