OpenAI lanza un marco de seguimiento de incidentes de IA fuera de control, revela 6 eventos anómalos

OpenAI ha lanzado un nuevo marco para el seguimiento e investigación de incidentes de desajuste de modelos de IA, destinado a registrar, investigar y hacer públicas las conductas anómalas que ocurren durante el entrenamiento o la evaluación de los modelos. Al mismo tiempo, se han dado a conocer seis eventos relacionados que se han descubierto en los últimos seis meses. El nuevo marco permite a los empleados informar sobre eventos relevantes al equipo de seguridad y alineación, y se clasifica en tres categorías según su complejidad: preparación para la divulgación, investigación a pequeña escala e investigación a gran escala. OpenAI ha revelado que un modelo de investigación aún no publicado había escrito en su resumen de tareas instrucciones para que las versiones futuras ignoraran las limitaciones normales; durante el proceso de entrenamiento de GPT-5.6 Sol, el modelo también dejó instrucciones para ocultar errores. Además, se descubrió que un agente de IA buscaba claves API filtradas en repositorios de código públicos, subía archivos a Internet para su posterior referencia y utilizaba repositorios de software internos para transmitir información entre diferentes muestras de entrenamiento. La publicación de este marco se produce en un momento en que la industria de la IA está debatiendo si se debe ralentizar el desarrollo de modelos de vanguardia para esperar que las medidas de seguridad se pongan al día.