- OpenAI usa cientos de contratistas externos para revisar conversaciones reales de ChatGPT, según una investigación de 404 Media.
- Los revisores califican respuestas y buscan corregir comportamientos como la complacencia excesiva o el tono demasiado antropomórfico.
- La empresa aplica filtros para eliminar datos identificatorios, pero reconoce que no son infalibles y algunos mensajes pueden llegar con información sensible.
- En cuentas personales, las conversaciones pueden usarse para entrenar modelos según la configuración, y se puede desactivar la opción 'Mejorar el modelo para todos' o usar el modo Chat temporal.
- En servicios empresariales como ChatGPT Business, Enterprise y la API, los datos no se utilizan por defecto para entrenar modelos salvo autorización expresa.
OpenAI utiliza cientos de contratistas externos para revisar conversaciones reales de ChatGPT, según una investigación publicada por 404 Media. Los trabajadores analizan mensajes enviados por usuarios y, en algunos casos, conversaciones completas, con el objetivo de evaluar la calidad de las respuestas y contribuir al desarrollo de nuevos modelos.
El programa aparece identificado en documentos internos con el nombre Project Lily. Los revisores califican las respuestas generadas por ChatGPT y elaboran observaciones para corregir determinados comportamientos del sistema, entre ellos la tendencia a mostrarse excesivamente complaciente o a adoptar un tono demasiado antropomórfico.
Qué información pueden ver
La revisión humana puede incluir conversaciones con datos personales o sensibles. De acuerdo con 404 Media, los contratistas no acceden directamente a los nombres de usuario y OpenAI aplica filtros para intentar eliminar información identificatoria antes de enviar los textos a evaluación.
Sin embargo, la empresa reconoce que esos mecanismos no son infalibles. Como consecuencia, algunos mensajes pueden llegar a los revisores con referencias a problemas de salud, relaciones personales, conflictos laborales, asuntos económicos u otros aspectos íntimos de la vida de los usuarios.
Un trabajador citado por la investigación sostuvo que muchas personas probablemente no imaginan que una persona contratada por la compañía puede analizar sus conversaciones con el chatbot.
La política de OpenAI
OpenAI informa que una cantidad limitada de empleados autorizados y proveedores externos puede acceder al contenido de los usuarios para investigar abusos o incidentes de seguridad, brindar asistencia, resolver cuestiones legales o mejorar el rendimiento de sus modelos. La empresa afirma que esos accesos están sujetos a controles, registros y obligaciones de confidencialidad.
En las cuentas personales, las conversaciones pueden utilizarse para mejorar y entrenar los modelos, dependiendo de la configuración elegida por cada usuario. Para impedir el uso de nuevas conversaciones con ese fin, es posible desactivar la opción “Mejorar el modelo para todos” desde Configuración → Controles de datos.
OpenAI también ofrece el modo Chat temporal. Según la documentación de la compañía, esas conversaciones no aparecen en el historial, no crean recuerdos y no se utilizan para entrenar los modelos.
En los servicios empresariales, como ChatGPT Business, Enterprise y la API, OpenAI asegura que los datos no se utilizan por defecto para entrenar los modelos, salvo que la organización lo autorice expresamente.
Un debate sobre la privacidad
La revelación vuelve a poner el foco en la privacidad de los chatbots generativos. Muchas personas utilizan estas herramientas como asistentes de trabajo, apoyo para estudiar, orientación general sobre salud o espacio para hablar de situaciones personales. Aunque el nombre del usuario sea eliminado, el contenido de un mensaje puede conservar información suficiente para identificarlo o revelar aspectos delicados de su vida.
El caso también muestra que los modelos no mejoran únicamente mediante el análisis automatizado de grandes volúmenes de información disponible en internet. La evaluación humana continúa siendo una parte importante del proceso: personas contratadas revisan respuestas, comparan alternativas y señalan errores o comportamientos que los desarrolladores buscan corregir.
404 Media informó además que Anthropic confirmó que también utiliza revisión humana para mejorar sus sistemas de inteligencia artificial.
Qué deben tener en cuenta los usuarios
La existencia de este mecanismo no significa que trabajadores de OpenAI lean de manera permanente todas las conversaciones ni que tengan acceso irrestricto a las cuentas. La información disponible indica que determinadas conversaciones pueden ser seleccionadas para su análisis dentro de procesos de evaluación y mejora.
De todos modos, la recomendación de seguridad es evitar el ingreso de contraseñas, números de documentos, datos bancarios, historias clínicas completas, secretos comerciales o información identificable de terceros. También es conveniente revisar la configuración de privacidad y desactivar el uso de conversaciones para mejorar el modelo cuando se trate de información personal sensible.
La principal conclusión de la investigación es que una conversación con un chatbot no debe considerarse automáticamente privada o equivalente a una comunicación protegida por secreto profesional.