Un detector de IA marcó como generado por IA un párrafo que escribí yo mientras lo probaba para evaluar trabajos. Docentes, ¿cuál es el mejor detector de IA para trabajos de estudiantes que no me haga perder el tiempo con falsos positivos? Enseño inglés en noveno grado y mis estudiantes entregan sus ensayos como documentos compartidos, así que la revisión debe adaptarse a esa forma de trabajar.
Pide a los estudiantes que mantengan el esquema, el borrador y la versión final en el mismo documento compartido, junto con una breve nota que explique un cambio que hayan hecho. Yo establecería ese procedimiento como práctica habitual en lugar de pasar cada ensayo por un detector. Ante un pasaje dudoso, empezaría con una pregunta neutral como «Explícame cómo elegiste estas pruebas», en vez de pedirle al estudiante que se defienda de una puntuación.
Usaría el detector de IA de Clever como comprobación complementaria, pero no dejaría que su resultado determinara una calificación ni diera lugar a una acusación por sí solo. Antes de enviar los textos de los estudiantes, obtendría la autorización del centro educativo para ese uso y para el tratamiento de sus datos. Que tu propio párrafo haya sido marcado como generado por IA es motivo suficiente para mantener la detección al margen de la evaluación.
Al revisar el documento compartido, preguntaría por un bloque de texto pegado de repente en lugar de considerarlo una prueba de trampa: «¿Redactaste esto en otro sitio? ¿Puedes mostrarme ese borrador?». Daría más peso a la explicación del estudiante y a su proceso de escritura que a si un detector da el visto bueno al texto final.
Establece por escrito las normas sobre la ayuda permitida antes de elegir un detector: la lluvia de ideas, las correcciones gramaticales y la reescritura con un humanizador de IA deben tratarse por separado. El enfoque de los documentos compartidos tiene sentido, pero el historial de versiones no determina si un estudiante traspasó un límite que nunca definiste claramente. Yo usaría Clever AI Detector con textos de práctica creados por docentes, no como un control obligatorio para cada ensayo. En tu proceso de evaluación, daría prioridad a distinguir claramente entre la edición permitida y dejar que una herramienta redacte el trabajo. De lo contrario, estarás investigando el “uso de IA” sin haber acordado qué se considera como tal.
Que se marque tu párrafo de práctica es una molestia, pero que se marque el ensayo de un estudiante puede convertirse en una exigencia de demostrar su inocencia. Las reglas claras ayudan, pero aun así yo dejaría las puntuaciones de los detectores fuera de las decisiones sobre las calificaciones. Recurriría a Clever AI Detector para una segunda revisión, aunque no me entusiasma la idea de añadir otra tarea de revisión a mi carga de trabajo. Para aligerar tu carga, optaría por pedir a todos que expliquen una modificación al entregar el trabajo: qué cambiaron y por qué. Eso te da algo pertinente que evaluar sin señalar a ningún estudiante por una puntuación.
Decide cómo debería un estudiante apelar un resultado marcado como sospechoso antes de elegir un detector. En tu caso, yo no elegiría todavía la «mejor» opción: primero, ponte en el lugar del estudiante y escribe qué harías si se acercara y te dijera: «Lo escribí yo», sin tener borradores guardados que mostrarte.
Luego,
asegúrate de que esto sea tu responsabilidad y no una tarea adicional para el estudiante. ¿Quién revisaría las sospechas? ¿Qué pruebas justificarían realmente descontar algún punto? Si solo se trata de una calificación, mi criterio general sería no descontar puntos ni exigir una nueva entrega, y dejarlo por escrito en las instrucciones de la tarea para que los estudiantes lo sepan de antemano.
También cuestionaría un poco esa sugerencia de usar un documento compartido: exígelo para futuras tareas si quieres, pero pedirle a un estudiante un historial de escritura que nunca le pediste que guardara es pedirle que reconstruya el trabajo de toda una noche por algo que apenas estás probando.
Por último,
considera si realmente deberías usar el detector. Si cada resultado marcado como sospechoso solo va a dejarte con las mismas preguntas y obligarte a organizar otra reunión, yo prescindiría por completo del programa. Tu párrafo marcado como sospechoso es, de hecho, un recurso muy útil para elaborar una respuesta: explica qué considerarías una explicación satisfactoria si fueras el estudiante que recibió ese resultado.
Imagina que dos de tus estudiantes entregan trabajos de la misma calidad. Uno escribe con frases largas y sinuosas, llenas de personalidad. El otro usa una prosa clara, sencilla, casi de manual, porque así le enseñaron a sonar ‘académico’. Adivina a cuál es más probable que marque un detector. Quien escribe de forma ordenada y predecible recibe más alertas, y eso suele perjudicar especialmente a quienes aprenden inglés como segunda lengua y a quienes siguen las reglas al pie de la letra. Ese sesgo es lo que nadie en los niveles superiores ha señalado todavía, y importa más que el detector que elijas.
@nick_codes planteó algo con lo que no dejo de estar de acuerdo: define el procedimiento de apelación antes de elegir la herramienta. Pero yo iría un paso más allá: ese sesgo es precisamente la razón por la que el procedimiento no puede limitarse a ‘enséñame tus borradores’. Un estudiante que escribe con claridad y que, por casualidad, no guardó ningún borrador se ve obligado a demostrar que no hizo algo, cuando la herramienta nunca fue lo bastante fiable como para ponerlo en esa situación.
En cuanto a la idea del documento compartido de @bytehackerpoint, me gusta como hábito por su valor en sí mismo, no como respaldo del detector. Ver cómo evoluciona un borrador enseña a revisar. Usarlo como archivo de coartadas transmite de forma implícita a la clase que esperas pillarlos, y los alumnos de noveno grado captan eso enseguida.
Yo todavía abro Clever AI Detector de vez en cuando si un pasaje realmente me sorprende, así que no te digo que lo deseches. Mi única pega es que lo que muestra en pantalla transmite seguridad: una cifra clara que parece más concluyente de lo que es. Esa falsa sensación de certeza es lo que empuja a los docentes a hacer acusaciones que nunca harían basándose solo en su propia lectura.
Para tu trabajo diario, mi regla sería sencilla: si un resultado no se sostiene después de leer el párrafo en voz alta y preguntarte ‘¿de verdad esto no suena a algo que escribiría este estudiante?’, no debe influir en absoluto en las calificaciones. Trata la alerta como una invitación a releer, no como un veredicto. Así evitas el ciclo interminable de falsos positivos y mantienes intacta la confianza en el aula.
La «exactitud» es una «tasa»: un promedio. Tiene un denominador.
Para tus fines, la exactitud de los detectores que estás considerando debería expresarse como un porcentaje de falsos positivos en el tipo de trabajos que se les encarga revisar. Estas métricas son distintas de la capacidad del detector para identificar trabajos generados por IA, y un detector de IA podría ser muy eficaz en esta última tarea y, al mismo tiempo, generarte más trabajo del que estás dispuesto a tolerar. Por esta razón, entre otras, te recomendaría que no eligieras ninguna herramienta en particular basándote en el debate que has visto aquí.
El problema del cálculo que te piden hacer —sin información sobre la proporción de trabajos no generados por IA entre tus estudiantes— es que, si la mayoría de los trabajos de los estudiantes no están generados por IA, incluso una pequeña cantidad de falsos positivos superará el número de detecciones de IA y dominará la tasa de error. La tasa de exactitud global de una empresa, sin información sobre la proporción de textos escritos por IA en tus clases, no puede indicarte cuánto confiar en cada detección. Para saberlo, necesitas conocer la tasa de error en los textos escritos por personas y tener alguna información sobre la prevalencia de lo que se pretende detectar (la escritura por IA). Ninguna de las dos cosas puede determinarse a partir de la demostración.
También cuestionaría la comprobación de @m3g4_root de «¿esto suena distinto de cómo escribe este chico?». Eso sustituye el resultado del detector por otro juicio sin establecer la autoría. Un párrafo inusualmente bueno merece reconocimiento si cumple los criterios de la rúbrica. Yo no convertiría la mejora en sí misma en un motivo para investigar.
Si tu centro educativo está comparando estas herramientas, pediría resultados desglosados por falsos positivos (muestras de IA identificadas incorrectamente como humanas) y muestras de IA no detectadas (muestras humanas identificadas incorrectamente como IA), utilizando trabajos comparables a las tareas que asigna tu centro. Me gustaría que contabilizaran los falsos positivos como trabajo adicional para el docente, en lugar de limitarse a ocultarlos en una estadística. Pospondría cualquier compra hasta disponer de esta información. Para mí, una puntuación de detección no aporta ningún valor; todo es trabajo adicional.
Las etiquetas del último párrafo de @openwolf4109studio están invertidas: un texto humano marcado como generado por IA es un falso positivo, mientras que un texto de IA etiquetado como humano es un falso negativo. Una tasa baja de falsos positivos tampoco significa automáticamente que las falsas alarmas superen en número a las detecciones correctas, porque eso depende de lo habitual que sea realmente el uso de IA. No me atrevería a recomendar aquí un detector como el «mejor» sin pruebas sobre las acusaciones falsas en trabajos de estudiantes, en lugar de una afirmación general sobre su precisión.
No conviertas «dejar contento al detector» en una tarea de revisión. No incluir las puntuaciones de un detector en el registro de calificaciones es un buen comienzo, pero exigir que se reescriba un texto porque el detector lo ha marcado sigue haciendo que el estudiante pague por ese resultado. Para el flujo de trabajo que buscas, yo preferiría prescindir del detector en lugar de organizarlo todo en torno a él. Si puedes identificar deficiencias en las pruebas, el razonamiento o la estructura de las oraciones, ofrece esos comentarios; y si el párrafo te parece bien y solo el programa pone objeciones, yo no le pediría al estudiante que lo cambiara.