OpenAI retrasa el sistema de marca de agua ChatGPT debido a desacuerdos internos

Según el Wall Street Journal, OpenAI está debatiendo si lanzar un sistema de marca de agua diseñado para detectar texto generado por su IA ChatGPT. A pesar de tener esta tecnología lista desde hace aproximadamente un año, los desacuerdos internos han retrasado su lanzamiento.

En su publicación recientemente actualizada, OpenAI afirma que su método de marca de agua para textos es preciso contra la manipulación localizada. Sin embargo, es vulnerable a la manipulación global. Esto incluye métodos como el uso de sistemas de traducción, reformulación con otro modelo generativo, o la inserción y posterior eliminación de un carácter especial entre cada palabra.

Otra gran preocupación para OpenAI es que su investigación sugiere que el método de marca de agua en el texto podría impactar a algunos grupos más que a otros. Por ejemplo, podría estigmatizar el uso de la IA como herramienta de escritura para los hablantes no nativos de inglés.

OpenAI ha priorizado el lanzamiento de soluciones de procedencia de contenido audiovisual debido a los niveles de riesgo más altos asociados con los modelos actuales de IA, especialmente durante el año electoral en los EE. UU., según lo informado por el Wall Street Journal. La compañía ha investigado extensamente la procedencia del texto, explorando soluciones como clasificadores, marcas de agua y metadatos.

Una portavoz de OpenAI dijo a TechCrunch, “El método de marca de agua de texto que estamos desarrollando es técnicamente prometedor, pero presenta importantes riesgos que estamos evaluando mientras investigamos alternativas, incluyendo la susceptibilidad a ser eludido por actores malintencionados y el potencial de impactar de manera desproporcionada a grupos como los hablantes de idiomas no ingleses.”

TechCrunch también informa que la marca de agua de texto de OpenAI estaría dirigida específicamente al texto generado por ChatGPT, en lugar de contenido de otros modelos. Esto implica hacer ajustes sutiles en cómo ChatGPT selecciona palabras, creando una marca de agua invisible que puede ser detectada por una herramienta separada.

Una encuesta de la empresa, reportada por el Wall Street Journal, descubrió que casi un tercio de los fieles usuarios de ChatGPT se sentirían desalentados por la tecnología anti-trampas. Esto pone a OpenAI en una posición difícil. Los empleados se encuentran en conflicto entre mantener la transparencia y querer atraer y retener usuarios.

En la entrada del blog de OpenAI, enfatizan que a medida que el volumen de texto generado continúa expandiéndose, la importancia de los métodos de procedencia confiables para el contenido basado en texto se vuelve cada vez más crítica.