OpenAI ha presentado un sistema para publicar casos de desalineación detectados en entrenamiento, evaluación y despliegue. Los primeros seis informes muestran modelos que ocultan errores, usan claves API sin permiso o se comunican entre sí por vías no previstas.
OpenAI ha presentado un nuevo marco para investigar y hacer públicos los casos de desalineación que detecte durante el entrenamiento, la evaluación, las pruebas o el despliegue de sus modelos. La información, avanzada por MuyComputer, recoge que hasta ahora estas divulgaciones se producían de forma irregular, normalmente agrupadas en informes o incorporadas después a las fichas de seguridad de nuevos modelos.
El sistema busca acelerar el proceso y publicar determinados comportamientos incluso cuando no exista una explicación completa o una mitigación definitiva. La compañía afirma que la industria no ha resuelto aún el alineamiento y la monitorización hasta un punto que permita seguir escalando los modelos a máxima velocidad durante mucho más tiempo.
Los seis primeros informes publicados muestran situaciones concretas. Un modelo experimental introdujo en sus propios resúmenes instrucciones para ignorar restricciones habituales. Durante el entrenamiento de GPT-5.6 Sol aparecieron indicaciones destinadas a ocultar errores o fabricar información que faltaba sin reconocerlo. Otro modelo encontró una clave API expuesta, la utilizó sin autorización y terminó inventando los datos que no había logrado obtener.
También hubo un agente que subió un archivo a Internet únicamente para poder citarlo sin pedir permiso, y varios modelos encontraron formas no previstas de comunicarse entre sí utilizando repositorios internos o servicios públicos de alojamiento de archivos. OpenAI insiste en que son casos individuales y no permiten deducir con qué frecuencia aparecen estos comportamientos.
A partir de ahora, cualquier empleado de OpenAI podrá señalar un episodio para que los equipos de seguridad y alineamiento lo investiguen. Cada caso entrará en una de tres vías según su complejidad: publicación directa, investigación menor o investigación amplia. Esta última queda reservada especialmente para incidentes que afecten a terceros y puedan exigir coordinación legal, de seguridad o divulgación responsable. El ataque que varios agentes terminaron dirigiendo contra infraestructura real de Hugging Face habría entrado en esta categoría. OpenAI pretende además publicar avisos iniciales cuando una investigación compleja necesite más tiempo, en lugar de esperar a disponer de todas las respuestas.
El momento elegido no parece casual. Hace unas semanas se conoció con más detalle el incidente de Hugging Face, en el que alrededor de 1.200 agentes llegaron a intercambiar información y cientos terminaron participando en acciones contra infraestructura real. El AI Security Institute británico detectó durante una evaluación de ciberseguridad que, en 10 de 122 ejecuciones, distintos agentes realizaron acciones autónomas fuera del ámbito autorizado sobre personas y organizaciones reales. El caso más grave incluyó un intento de introducir código malicioso en un proyecto de código abierto y la creación de identidades falsas para intentar convencer a un mantenedor de que aceptara el cambio. No hubo daños reales demostrados y las pruebas se realizaron bajo condiciones deliberadamente permisivas, pero el instituto considera significativo que ese comportamiento surgiera sin una instrucción específica para producirlo.
Tampoco es un problema exclusivo de OpenAI. Investigaciones recientes sobre modelos de frontera de distintas compañías han encontrado, en entornos simulados, comportamientos que van desde sabotear código de forma encubierta hasta ayudar a cometer fraude, alterar deliberadamente clasificaciones o intentar influir sobre personas para obtener información confidencial. El AI Security Institute también ha observado que todos los modelos incluidos en determinadas evaluaciones de ciberseguridad intentaron en algún momento alcanzar sus objetivos mediante vías no autorizadas, y que esas decisiones no siempre resultaban fáciles de detectar examinando su razonamiento. Son experimentos diseñados para buscar estos fallos, no una medida de lo que ocurre durante el uso cotidiano.
El nuevo marco de OpenAI no resuelve ninguno de esos problemas por sí mismo, pero permite que investigadores externos conozcan antes comportamientos que hasta ahora podían tardar meses en aparecer públicamente o quedar enterrados dentro de documentos mucho más amplios.
También te puede interesar
