1.3 Uso Responsable de la IA

Mensaje clave

• La responsabilidad es una cuestión de diseño, no de control. La detección de IA no funciona correctamente.
• Y la detección de IA es injusta cuando falla. Existe el riesgo de identificar erróneamente respuestas como generadas por IA, o viceversa. Varios países europeos ya han descartado estas herramientas.
• La invención con aparente seguridad y los sesgos heredados se derivan de cómo se construyen y evalúan estos sistemas. La consecuencia debería ser: enseñarlos, en lugar de esperar una solución.
• El principio de trabajo es: pensar primero, luego la IA. Hacer que las personas se comprometan con su propia respuesta vence a explicar la máquina; incorporar límites en el software vence a prohibirlo.
• Los prompts por sí solos no bastan. Un chatbot al que se le pide actuar como tutor tiende a volver a dar las respuestas directamente, lo que convierte los límites fiables en una cuestión de compra.
• La amplificación es lo predeterminado; la equiparación debe construirse a partir del acceso, el diseño y el acompañamiento juntos, y lo más escaso de los tres es un docente formado.
• La inclusión es la ganancia más clara, y donde el propio profesorado ve el argumento más convincente.

Si solo recordáis una frase de esta página: los diques se están rompiendo. Enseñad a nadar.

El diario de lectura, una segunda mirada

Volvamos a nuestro estudiante de 3.º de la ESO y su diario de lectura sospechosamente pulido. El instinto es casi universal, y es el instinto de un buen docente: averiguar si usó IA. Construir un dique mejor.

Este capítulo trata de por qué ese instinto, por sí solo, no lleva a ninguna parte. Veremos a continuación qué funciona en su lugar.

Empecemos por la parte incómoda. El profesorado no puede distinguir de forma fiable un texto de IA de un texto del alumnado. En un estudio alemán, se dio a 289 docentes con distinta experiencia una mezcla de textos de estudiantes y de chatbot y se les pidió que los clasificaran. Ningún grupo lo logró. Pero ambos grupos estaban seguros de poder hacerlo. La experiencia apenas marcó diferencia. A gran escala, es peor. En una universidad, los investigadores enviaron respuestas generadas por chatbot al sistema real de exámenes a través de los canales normales, sin avisar a quienes corregían. El 94 % nunca fueron cuestionadas. Es más, de media, se calificaron por encima del trabajo del alumnado real. Entonces, ¿cuál es la consecuencia? ¡Recurrimos a la máquina! Y aquí el hallazgo deja de ser incómodo para convertirse en un problema ético.

El detector que falla con el alumnado equivocado

Los investigadores probaron siete de los detectores de IA más usados con redacciones del examen TOEFL escritas por estudiantes que aprendían inglés como lengua extranjera. Junto a ellas, colocaron redacciones de estudiantes estadounidenses nativos de 8.º curso. El trabajo de los hablantes nativos se clasificó correctamente casi siempre. De las redacciones en lengua extranjera, más de seis de cada diez fueron señaladas erróneamente como escritas por máquina.

El mecanismo no es ningún misterio. Estas herramientas no detectan el trabajo de los grandes modelos de lenguaje, detectan la previsibilidad. Un texto que usa palabras comunes en el orden esperado puntúa como artificial. Cualquiera que escriba en una segunda lengua, con un vocabulario más reducido y estructuras de frase más seguras, produce exactamente esa señal. Los errores de la herramienta recaen sistemáticamente sobre el alumnado que ya carga con más dificultades. Las instituciones han hecho los números. La Universidad de Vanderbilt señaló que, aunque una herramienta así se equivocara solo el 1 % de las veces, eso seguiría significando unos 750 estudiantes acusados injustamente al año de entre sus 75 000 entregas. En consecuencia, la desactivaron. Las directrices del ministerio federal de educación de Alemania son tajantes: la tecnología «no es lo bastante fiable como para aportar una prueba jurídicamente segura».

Buena parte de Europa ya ha dejado de debatir esto. Francia, los Países Bajos y Suiza desaconsejan o prohíben los detectores. El regulador de exámenes del Reino Unido ha optado deliberadamente por el criterio humano frente al software. El argumento neerlandés va un paso más allá y merece la pena llevárselo a casa: pegar el trabajo de un estudiante en un detector es en sí mismo un acto de tratamiento de sus datos personales, y hacerlo sin permiso vulnera la legislación de protección de datos. → 1.4 Uso Conforme de la IA

Parece que el pánico por las trampas es más liviano que el ruido que lo rodea. Los investigadores encuestaron a estudiantes de tres escuelas secundarias antes de que existiera ChatGPT y de nuevo después. Las trampas se mantuvieron, en líneas generales, donde estaban. La mayoría del alumnado rechazaba que un chatbot simplemente produjera su trabajo, aunque consideraba justo usarlo para empezar o para que le explicara algo.

La verdadera pregunta nunca fue «¿cómo lo pillo?». Es: ¿qué sigue midiendo una tarea para casa una vez que su producto puede generarse a demanda?

Dos cosas que no se van a arreglar, así que hay que enseñarlas

La invención con aparente seguridad viene integrada de serie. Estos sistemas generan continuaciones plausibles de un texto, que no son lo mismo que continuaciones verdaderas. Los investigadores ya han demostrado formalmente de dónde viene esto: las pruebas estándar usadas para evaluar los grandes modelos de lenguaje premian adivinar con seguridad por encima de admitir incertidumbre, así que, mientras se midan así, persistirá una cierta tasa de falsedades fluidas y bien formadas. Es una propiedad de cómo se construyen y evalúan, no un fallo a la espera de un parche.

Los sesgos del material de entrenamiento también vienen integrados. Y además no se reducen a medida que mejora la tecnología. Un estudio europeo sobre estereotipos de género en distintos idiomas encontró que los modelos más grandes, incluso tras el entrenamiento adicional pensado para hacerlos más seguros y justos, a veces estereotipan más, no menos. Si una propiedad no se puede eliminar mediante ingeniería, se convierte en materia de enseñanza. Y puede enseñarse: en un programa finlandés, el porcentaje de estudiantes capaces de identificar sesgos en la salida de un sistema de IA pasó del 7 % al 44 %. La consecuencia para la enseñanza debe ser formar en el análisis del error en lugar de en evitar el error. Dicho de otro modo: los fallos de la máquina se convierten en la lección.

Qué funciona: diseño, no control

La evidencia apunta a un principio sencillo y fácil de recordar: pensar primero, luego la IA.

• Haced que la persona se comprometa primero. En una serie de experimentos, las personas que tenían que anotar su propia respuesta antes de ver la sugerencia de la máquina detectaron muchos más de sus errores que las personas a las que se les mostraban explicaciones detalladas de cómo había razonado la máquina. Explicar la IA no ayudó a resolver ese problema, pero forzar el juicio propio sí. Con una salvedad honesta: las versiones que mejor funcionaron fueron las que menos gustaron a los participantes, y ayudaron más a quienes ya disfrutaban del pensamiento esforzado. Es, por tanto, un fenómeno también conocido como el efecto Mateo: a quien tiene, se le dará más. Son quienes más se benefician de este enfoque.
• Incorporad los límites al sistema. El chatbot del Capítulo 1.3, que no daba las respuestas directamente y en su lugar hacía preguntas, es la misma idea llevada al software: el alumnado que lo usó no perdió nada en el examen, mientras que quienes usaron la versión sin restricciones salieron mal parados.
• Haced visible el proceso en lugar de perseguir el producto. Borradores, notas de trabajo, una breve conversación sobre el trabajo.  Esto os muestra lo que un estudiante es capaz de hacer sin que nadie tenga que demostrar qué hizo.

Dinamarca está poniendo a prueba este principio: en las escuelas participantes, el alumnado puede usar IA mientras se prepara para el examen oral de inglés, y el examen escrito incluye una parte manuscrita sin ayudas.

Merece la pena conocer dos límites antes de confiar en esto. El primero: el consejo popular de que el profesorado simplemente indique a un chatbot que actúe como tutor socrático no sobrevive al contacto con una conversación larga. Al menos por ahora, el sistema tiende a volver a dar las respuestas directamente. Los límites fiables tienen que estar incorporados al sistema, lo que los convierte en una decisión de compra más que en una habilidad de prompting. El segundo: hacer que una IA explique su razonamiento suena como la salvaguarda obvia, pero las explicaciones no evitan de forma fiable el exceso de confianza. En un estudio, dejaron sin cambios la aceptación de consejos erróneos por parte de las personas, y las explicaciones demasiado técnicas o demasiado simplificadas pueden aumentar la confianza mal depositada. La explicación es una condición, no una solución.

Actitud: dos modos de fallo, no uno

Nos preocupa que el profesorado deposite demasiada confianza en la IA. Sin embargo, deberíamos preocuparnos igual por lo contrario. Incluso las personas con experiencia pueden dejarse llevar por el exceso de confianza. En un estudio, el profesorado revisó calificaciones generadas por IA. Consideraron que el 42 % de la retroalimentación de la máquina era vaga o incorrecta, pero solo modificaron el 9 %. Detectar un error y corregirlo son procesos distintos.

El polo opuesto es la ocultación. El profesorado esconde su propio uso de la IA de sus colegas y de su alumnado, prohibiéndoles hacer lo que ellos mismos hacen: el 77 % usa la IA en privado, mientras que el 57 % dice que el alumnado nunca debería usarla para generar ideas. Mientras tanto, un estudio con estudiantes académicamente destacados de 1.º a 3.º de la ESO encontró que entre un tercio y dos quintas partes ya afirmaban que la IA sabe más que sus profesores. Una profesión que oculta sus prácticas no puede servir de modelo de una práctica responsable, y la transparencia no es solo una cortesía. Es el mecanismo por el que funciona la enseñanza con el ejemplo.

¿La IA nivela el terreno de juego o lo inclina?

En tareas relacionadas con el trabajo, la IA iguala las diferencias. En un experimento, los participantes con niveles educativos más altos rindieron significativamente mejor que los de niveles más bajos. Cuando se dio a cada persona un asistente de IA, esas diferencias casi desaparecieron por completo. Luego, al retirar de nuevo el asistente, buena parte volvió a aparecer. Lo que la IA cerró fue la brecha en la producción, no la brecha en la capacidad.

En tareas de aprendizaje, ocurre lo contrario. Un estudio no encontró ningún beneficio medio en absoluto, sino una distancia creciente entre el alumnado que ya sabía mucho y el que no. Otro observó a estudiantes que escribían en una lengua extranjera: quienes escribían peor recibieron más correcciones de la IA y consiguieron aplicar con éxito menos de ellas, y varios encontraron desalentadora la avalancha de retroalimentación. La retroalimentación sin la capacidad de priorizarla no ayuda; sepulta.

La brecha ya existe antes de que nadie toque una herramienta. En Alemania, el 80 % del alumnado de los hogares más favorecidos ve la IA como una oportunidad, frente al 55 % de los menos favorecidos. En Gran Bretaña, la división pasa por la sala de profesores más que por el armario de dispositivos: el 45 % del profesorado de escuelas privadas ha recibido formación formal en el uso de la IA, frente al 21 % en las públicas. Dentro del sector público, las escuelas más ricas vuelven a superar a las más pobres. Una encuesta a menores de 20 países europeos encuentra la misma división social en cuánto y de qué forma tan variada usan la IA. Una frase resume todo el problema mejor que cualquier cifra: «los ricos tienen acceso a la tecnología y a personas que les ayudan a usarla, mientras que los pobres solo tienen acceso a la tecnología». Lo cual es el argumento más sólido disponible de que el profesorado importa para cerrar esta brecha.

Así que el cuello de botella es qué alumno tiene un docente que ha recibido formación. La IA compensa cuando tres cosas se sostienen juntas: acceso seguro, una herramienta diseñada para aprender en lugar de para responder, y un docente que acompaña su uso. Quitad cualquiera de las tres, y en su lugar amplifica. Como las tres tienden a estar presentes en las mismas escuelas y ausentes en las mismas escuelas, la amplificación es lo predeterminado, y la equiparación es algo que hay que construir.