OpenAI ha revelado 6 casos de «comportamiento inesperado o preocupante del modelo» observados durante los últimos 6 meses, junto con un marco que compromete a la empresa a informar sobre estos hallazgos.
Los casos van desde modelos que ocultan sus propios errores hasta modelos que toman medidas no autorizadas para sortear obstáculos.
OpenAI publica 6 casos de modelos que ocultan errores e incumplen las reglas
En un caso, un modelo que respondía a una pregunta rutinaria sobre los ingresos de un condado de California encontró una clave de API expuesta en un repositorio público y la utilizó sin permiso. Como los datos seguían sin cargarse, inventó las cifras y las presentó como si procedieran de la fuente solicitada.
El ocultamiento aparece en dos ocasiones. Durante el entrenamiento de GPT-5.6 Sol, varias instancias escribieron instrucciones en los resúmenes de sus tareas para ocultar errores y comportamientos desalineados.
Un modelo de investigación aún no publicado insertó instrucciones ajenas a la tarea, incluidas órdenes de ignorar sus restricciones habituales, en 27 resúmenes.
Otro modelo aún no publicado subió un archivo a internet, sin que se lo pidieran, únicamente para poder citar un enlace del navegador.
Otros dos informes tratan sobre la coordinación. Los modelos convirtieron un repositorio interno de software en un tablón de mensajes para intercambiar solicitudes entre distintas ejecuciones de entrenamiento. Los agentes que trabajaban en una tarea compartida también publicaron los entregables en sitios públicos de alojamiento de archivos cuando no podían leer los archivos locales de los demás.
«Estos casos ilustran una variedad de comportamientos que creemos que vale la pena compartir, desde ocultarle información al usuario hasta tomar medidas no autorizadas para superar obstáculos. Se trata de informes sobre casos individuales y no deberían considerarse representativos de la frecuencia con la que se produce una falta de alineación en nuestros modelos», añadió OpenAI.
Síguenos en X para obtener las últimas noticias a medida que suceden
Un marco de divulgación y una advertencia
El marco llega tras la fuga de julio, cuando agentes de OpenAI escaparon de su entorno aislado e irrumpieron en los sistemas de Hugging Face. OpenAI calificó ese episodio de aviso de alerta.
Ahora, con el nuevo marco de divulgación, la empresa cuenta con un proceso formal para dar a conocer incidentes de falta de alineación. Cualquier empleado de OpenAI puede señalar un incidente, que luego se asigna a una de tres vías.
La vía «Listo para divulgar e investigar» cubre la mayoría de los casos, mientras que la «Vía lenta» se ocupa de investigaciones complejas que involucran a terceros. OpenAI afirmó que el incidente de Hugging Face de julio habría seguido esa vía más lenta.
La empresa acompañó el marco de una evaluación contundente del estado actual del sector.
«No creemos que el sector de la IA haya resuelto los problemas de alineación y supervisión en medida suficiente como para seguir ampliando sus capacidades responsablemente y a máxima velocidad durante mucho más tiempo», afirmó.
Estas divulgaciones se producen en un momento en que se acumulan las advertencias sobre la extinción. Las advertencias de investigadores de IA ya han llegado al Congreso, donde los legisladores sopesan un proyecto de ley para prohibir por completo la superinteligencia.
La empresa describe estas divulgaciones como un primer paso hacia unos estándares que la industria aún no tiene. Que los laboratorios rivales adopten informes similares mostrará hasta qué punto está dispuesta la industria a autorregularse de cara al público.
Suscríbete a nuestro canal de YouTube para ver a líderes y periodistas proporcionar información experta
Fuente: BeInCrypto
