Respuesta corta: los buenos detectores aciertan bastante más que el azar, pero ninguno es lo bastante fiable para usarlo como prueba. Lo que importa es cómo se usa el resultado.
Lo que dicen los estudios independientes
- OpenAI retiró su propio detector. Lo lanzó en enero de 2023 y lo cerró en julio por su «baja precisión»: reconocía el 26 % de los textos de IA y marcaba como IA el 9 % de los humanos.
- 14 detectores, ninguno fiable. Un equipo europeo (Weber-Wulff y otros, 2023) probó 14 herramientas, entre ellas Turnitin. Concluyó que no son «ni precisas ni fiables» y que, si se parafrasea o se traduce el texto, aciertan todavía menos.
- Castigan a quien escribe en otra lengua. En el estudio de Stanford (Liang y otros, 2023), siete detectores marcaron como IA, de media, más de la mitad de las redacciones humanas de estudiantes de inglés como segunda lengua.
Por qué un «99 % de acierto» puede engañar
El porcentaje de acierto global esconde lo que de verdad importa en clase: de los trabajos que el detector señala, cuántos son inocentes. Pongamos una clase de 100 trabajos en la que 10 se han hecho con IA, y usemos las cifras reales de nuestro detector:
Umbral bajo (0,50)
Señala 8 de los 10 trabajos con IA… y también a 13 alumnos inocentes.
Más de la mitad de los señalados no ha hecho nada.
Umbral prudente (0,85)
Señala 4 de los 10 trabajos con IA y a 1 inocente como mucho.
Se escapa más IA, pero casi no hay acusaciones injustas.
Por eso nuestro detector solo dice «muy probablemente IA» a partir de 0,85, y todo lo que queda en medio es «no concluyente». Es una decisión: preferimos que se escape un texto de IA a señalar a quien ha hecho su trabajo.
Cinco preguntas antes de fiarte de un detector
- ¿Publica cuántos textos humanos marca por error, y no solo cuánta IA detecta?
- ¿Lo ha medido con textos que el modelo no había visto al entrenar?
- ¿Lo ha probado en español, y con textos parecidos a los tuyos (redacciones, apuntes)?
- ¿Te explica por qué da ese resultado, o solo un número?
- ¿Qué hace con tu texto: lo guarda, lo usa para entrenar, lo envía a otra empresa?
Nuestras respuestas están en precisión y cómo funciona. Dicho rápido: AUC de 0,92 con 174 textos en español, cada pista explicada y el texto no sale de tu navegador.
Cómo usarlo bien en clase
Fuentes
- OpenAI (2023). New AI classifier for indicating AI-written text (nota de retirada del 20 de julio de 2023).
- Weber-Wulff, D. y otros (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19, 26. doi:10.1007/s40979-023-00146-z
- Liang, W., Yuksekgonul, M., Mao, Y., Wu, E. y Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7). doi:10.1016/j.patter.2023.100779
- Hans, A. y otros (2024). Spotting LLMs with Binoculars: zero-shot detection of machine-generated text. arXiv:2401.12070