Los detectores de IA se equivocan. Los escritores están siendo despedidos de todos modos

Kimberly Gasuras no usa IA. “No la necesito”, dijo. “He sido reportera de noticias durante 24 años. ¿Cómo crees que hice todo ese trabajo?” Esa lógica no fue suficiente para salvar su trabajo.

Como periodista local en Bucyrus, Ohio, Gasuras depende de actividades secundarias para pagar las cuentas. Durante un tiempo, ganó mucho dinero en una plataforma de escritura independiente llamada WritersAccess, donde escribió blogs y otros contenidos para pequeñas y medianas empresas. Pero a mediados de 2023, Los ingresos se desplomaron cuando algunos clientes cambiaron a ChatGPT para sus necesidades de escritura. Ya era un momento difícil. Entonces llegó el correo electrónico.

“Sólo recibí una advertencia”, dijo Gasuras. “Recibí este mensaje diciendo que habían marcado mi trabajo como IA usando una herramienta llamada ‘Originalidad.’” Ella quedó estupefacta. Gasuras escribió para defender su inocencia, pero nunca obtuvo una respuesta. La originalidad cuesta dinero, pero Gasuras comenzó a ejecutar su trabajo a través de otros detectores de IA antes de presentarse para asegurarse de que no sufriera daños por error. Unos meses más tarde, WritersAccess la echó de la plataforma de todos modos. “Dijeron que mi cuenta fue suspendida debido al uso excesivo de IA. No pude Créelo”, dijo Gasuras. WritersAccess no respondió a una solicitud de comentarios.

Cuando ChatGPT prendió fuego al mundo hace un año y medio, provocó una búsqueda febril de formas de atrapar a las personas que intentaban Hacer pasar el texto de IA como su propia escritura. Se lanzó una serie de nuevas empresas para llenar el vacío a través de herramientas de detección de IA, con nombres que incluyen Copyleaks, GPTZero, Originality.AI, y Winston AI. Convierte un negocio ordenado en un paisaje lleno de hombres del saco de IA.

Estas empresas publicitan tranquilidad mental, una forma de recuperar el control a través de “pruebas” y “rendición de cuentas”. Algunas anuncian tasas de precisión tan altas como 99,98%. Pero un creciente grupo de expertos, estudios y conocedores de la industria sostienen que estas herramientas son mucho menos confiables de lo que prometen sus creadores. No hay duda de que los detectores de IA cometen errores frecuentes y transeúntes inocentes quedan atrapados en el fuego cruzado. Innumerables los estudiantes han sido acusados de plagio de IA, pero está ocurriendo una epidemia más silenciosa en el mundo profesional. Los trabajos de escritura se están agotando gracias a los chatbots. Mientras la gente pelea por el menguante campo de trabajo, los escritores están perdiendo empleos debido a acusaciones falsas de los detectores de IA.

“Esta tecnología no funciona como la gente la anuncia”, afirmó Bars Juhasz, cofundador de Undetectable AI, que fabrica herramientas para ayudar a la gente a humanizar el texto de IA para pasar el software de detección. “Tenemos muchas preocupaciones sobre la confiabilidad del proceso de formación Estos detectores de IA utilizan. Estos tipos afirman que tienen un 99% de precisión y, según nuestro trabajo, creo que eso es imposible. Pero Incluso si es cierto, eso significa que por cada 100 personas habrá una bandera falsa. Estamos hablando de los medios de vida de las personas. y sus reputaciones”.

¿Salvaguardia o aceite de serpiente?

En general, los detectores de IA funcionan detectando las características distintivas de la caligrafía de la IA, como la gramática y la puntuación perfectas. De hecho, parece una Una de las formas más sencillas de marcar tu trabajo es utilizar Grammarly, una herramienta que comprueba errores ortográficos y gramaticales. sugiere formas de reescribir oraciones usando, lo adivinaste, inteligencia artificial. Agregando insulto a la herida, Gizmodo habló con escritores que dijeron que estaban despedidos por plataformas que les exigían usar Grammarly. (Gizmodo confirmó los detalles de estas historias, pero estamos excluyendo los nombres de ciertos plataformas independientes porque los escritores firmaron acuerdos de no divulgación.)

Los escritores, los expertos e incluso las propias empresas de detección de IA dijeron que usar Grammarly puede marcar su escritura como generada por IA. Sin embargo, Jenny Maxwell, El jefe de educación de Grammarly cuestionó esas afirmaciones. “No hay evidencia que vincule las banderas de detección de IA y el uso de sugerencias de Grammarly. Sugerencias como Nuestras reescrituras con claridad no están impulsadas por IA generativa”, dijo Maxwell. Grammarly ofrece herramientas de IA generativa que escriben contenido desde cero, aunque Estas sugerencias no aparecen automáticamente. Estas características “deberían y deberían activar la detección de IA”, dijo.

Los detectores también buscan factores más reveladores, como la “explosión”. Es más probable que los escritores humanos reutilicen ciertas palabras en grupos o ráfagas, mientras que es más probable que la IA distribuya las palabras de manera uniforme en un documento. Los detectores de IA también pueden evaluar la “perplejidad”, que esencialmente pregunta a un IA para medir la probabilidad de que hubiera producido un fragmento de texto dados los datos de entrenamiento del modelo. Algunas empresas, como la industria leader Originaility.AI, entrena sus propios modelos de lenguaje de IA especialmente hechos para detectar el trabajo de otras IA , que están destinadas a detectar patrones que son demasiado complejos para la mente humana.

Sin embargo, ninguna de estas técnicas es infalible y muchas instituciones importantes se han alejado de esta clase de herramientas. OpenAI lanzó su propia IA detector para calmar los miedos sobre sus productos en 2023, pero retiró la herramienta del mercado solo meses después “debido a su baja tasa de precisión”. El mundo académico fue el primero en adoptar detectores de IA, pero las falsas acusaciones empujaron a una larga lista de universidades a hacerlo. prohibir el uso de software de detección de IA, incluidos Vanderbilt, Michigan State, Northwestern y la Universidad de Texas en Austin.

Las empresas de detección de IA “están en el negocio de vender aceite de serpiente”, dijo Débora Weber-Wulff, profesora de la Universidad de Ciencias Aplicadas. de Ingeniería y Economía en Berlín, coautor de un documento reciente sobre la eficacia de la detección de IA. Según Weber-Wulff, la investigación muestra que los detectores de IA son inexactos, poco fiables y fáciles de engañar. “La gente quiere creer que puede haber algún software mágico que resuelva sus problemas”, dijo. Pero “el software informático no puede resolver las redes sociales”. problemas. Tenemos que encontrar otras soluciones”.

Las empresas que fabrican detectores de IA dicen que son una herramienta necesaria pero imperfecta en un mundo inundado de texto generado por robots. demanda de estos servicios, sean o no efectivos.

Alex Cui, director de tecnología de la empresa de detección de IA GPTZero, dijo que los detectores tienen deficiencias significativas, pero los beneficios superan los inconvenientes. ver un futuro donde, si no cambia nada, Internet será cada más dictado por la IA, ya sean noticias, artículos revisados por pares “Ni siquiera sabes si la persona con la que estás hablando en las redes sociales es real”, dijo Cui. una solución para confirmar el conocimiento en masa y determinar si el contenido es de alta calidad, auténtico y de autoría legítima”.

¿Un mal necesario?

Mark, otro redactor publicitario con sede en Ohio que nos pidió que ocultáramos su nombre para evitar repercusiones profesionales, dijo que tuvo que aceptar trabajo haciendo mantenimiento en una tienda local después de que un detector de IA le costara su trabajo.

“Recibí un correo electrónico que decía que mi artículo más reciente había obtenido una probabilidad del 95 % de generación de IA”, dijo Mark. shock. Me pareció ridículo que me acusaran después de trabajar juntos durante tres años, mucho antes de que ChatGPT estuviera disponible”.

Trató de retroceder. Mark le envió a su cliente una copia del documento de Google donde redactó el artículo, que incluía marcas de tiempo que demostró que escribió el documento a mano. No fue suficiente. La relación de Mark con la plataforma de escritura se vino abajo. Dijo que perdió el trabajo le costó el 90% de sus ingresos.

“Escuchamos estas historias más de lo que desearíamos, y entendemos el dolor que los falsos positivos causan a los escritores cuando el trabajo que realizan vertido su corazón y su alma es acusado falsamente”, dijo Jonathan Gillham, director ejecutivo de Originality.AI. “Sentimos que sentimos que “reconstruir una herramienta para ayudar a los escritores, pero sabemos que a veces tiene algunas consecuencias”.

Pero, según Gillham, el problema va más allá de ayudar a los escritores o brindar responsabilidad. “Google está persiguiendo agresivamente el spam de IA”, dijo. “Hemos escuchado de empresas cuyo sitio completo fue desindexado por Google que dijeron que ni siquiera conocían a sus escritores. estábamos usando IA”.

Es cierto que internet está siendo inundado de granjas de contenido de bajo esfuerzo que publican artículos de inteligencia chada en un esfuerzo por jugar los resultados de búsqueda, obtener clics y ganar dinero publicitario de esos ojos. Google está tomando medidas enérgicas contra estos sitios, lo que lleva a algunas empresas a creer que sus sitios web perderán su ranking si Google detecta cualquier escritura de IA. Eso es un problema para empresas basadas en la web y, cada vez más, el punto de venta número uno para detectores de IA. La originalidad se promociona a sí misma como una forma de “preparar para el futuro su sitio en Google» en la parte superior de la lista de beneficios en su página de inicio.

Un portavoz de Google dijo que esto malinterpreta por completo las políticas de la empresa. Google, una empresa que proporciona IA, dijo que no tiene ningún problema con el contenido de IA. en y por sí. “Es inexacto decir Google penaliza los sitios web simplemente porque pueden usar algún contenido generado por IA ”, dijo el portavoz . “Como hemos dicho claramente, el contenido de bajo valor que se crea a escala para manipular las clasificaciones de búsqueda es spam, independientemente de cómo se produzca. Nuestros sistemas automatizados determinan lo que aparece en los principales resultados de búsqueda basándose en señales que indican si el contenido es útil y de alta calidad”.

Mensajes confusos

Nadie afirma que los detectores de IA sean perfectos, ni siquiera las empresas que los fabrican, pero Originality y otros detectores de IA envían mensajes contradictorios sobre cómo sus herramientas deben usarse. Por ejemplo, Gillham dijo “desaconsejamos el uso de la herramienta dentro de la academia, y recomendamos enfáticamente que no se utilizado para acciones disciplinarias”. Explicó que el riesgo de falsos positivos es demasiado alto para los estudiantes, porque presentan un pequeño número de ensayos. a lo largo de un año escolar, pero el volumen de trabajo producido por un escritor profesional significa que el algoritmo tiene más posibilidades de hacerlo bien. Sin embargo, en una de la compañía publicaciones de blogLa originalidad dice que la detección de IA es “esencial” en el aula.

Luego, surgen preguntas sobre cómo se presentan los resultados. Muchos de los escritores con los que habló Gizmodo dijeron que sus clientes no entienden las limitaciones. de los detectores de IA o incluso lo que realmente dicen los resultados. Es fácil ver cómo alguien podría estar confundido: Yo ejecuté uno de Mis propios artículos a través del detector de IA de Originality. Los resultados fueron “70 % Originalidad” y “30 % IA”. Se podría asumir que eso significa Originalidad. Se determinó que el 30% del artículo fue escrito por un chatbot, especialmente porque la herramienta resalta oraciones específicas que considera sospechosas. Sin embargo, en realidad, una puntuación de confianza; la originalidad está 70% segura de que un humano escribió el texto. (Yo escribí todo yo mismo, pero tú solo tengo que creer en mi palabra.)

Luego está la forma en que la empresa describe su algoritmo. Según Originality, la última versión de su herramienta tiene una tasa de precisión del 98,8%. pero Originalidad también dice que su tasa de falsos positivos es del 2,8%. Si tiene su calculadora a mano, notará que se suma hasta Más del 100%. Gillham dijo que eso se debe a que estos números provienen de dos pruebas diferentes.

En defensa de Originality, la empresa proporciona una explicación detallada de cómo se debe interpretar la información justo debajo de los resultados, junto con enlaces a reseñas más detalladas sobre cómo usar la herramienta. Sin embargo, parece que eso no es suficiente. Gizmodo habló con varios escritores que dijeron que Tuvo que discutir con clientes que no entendían bien la herramienta Originality.

Originalidad ha publicado numerosos publicaciones de blog y estudios sobre la precisión y otras cuestiones, incluido el conjunto de datos y la metodología que utilizó para desarrollar y medir sus propias herramientas. Sin embargo, Weber- Wulff, de la Universidad de Ciencias Aplicadas a la Ingeniería y la Economía de Berlín, dijo que los detalles sobre la metodología de Originality “no estaban tan claros”.

Varios expertos con los que Gizmodo habló, como Juhasz de Undetectable AI, dijeron que tenían inquietudes sobre las empresas de la industria de detección de IA. inflando sus tasas de precisión y engañando a sus clientes. Los representantes de GPTZero y Originality AI dijeron que sus empresas están comprometidas con la apertura y la transparencia. Las empresas dijeron que hacen todo lo posible para proporcionar información clara sobre las limitaciones y deficiencias de sus herramientas.

Podría parecer que estar en contra de los detectores de IA es estar del lado de los escritores, pero, según Gillham, ocurre lo contrario. “Si no hay detectores, entonces la competencia por los trabajos de redacción aumenta y, como resultado, los salarios bajan”, dijo. la diferencia entre un escritor que puede hacer su trabajo, enviar contenido y recibir una compensación por ello, y alguien que simplemente copia y pega algo de ChatGPT”.

Por otro lado, todos los redactores con los que Gizmodo habló dijeron que los detectores de IA son el problema.

“La IA es el futuro. No hay nada que podamos hacer para detenerla, pero en mi opinión ese no es el problema. Puedo ver Hay muchas maneras en que la IA puede ser útil”, dijo Mark. “Son estos detectores. Ellos son los que dicen con la mayor certeza que pueden detectar la escritura de IA, y son los que están poniendo a nuestros clientes al límite y paranoicos y sacándonos de la situación. empleos”.

Este artículo se actualizó para incluir comentarios de Jenny Maxwell de Grammarly.