OpenAI propone un marco de "justificación de seguridad" para el entrenamiento de IA de vanguardia, sugiere completar la documentación de seguridad antes de comenzar

Beating AI ha publicado un comunicado oficial titulado "Hacia casos de seguridad para el entrenamiento de IA de vanguardia". En el documento se menciona que el entrenamiento de refuerzo de vanguardia debe completar primero la documentación de seguridad estructurada antes de continuar, idealmente alineándose con las "justificaciones de seguridad" de las industrias de aviación y energía nuclear. La empresa reconoce que, debido a la complejidad emergente tras el salto de capacidades, es difícil para la IA ser tan rigurosa como en las industrias de alto riesgo tradicionales. Actualmente, este marco aún se está implementando internamente y se busca retroalimentación externa. Se aclara que solo cubre el entrenamiento de RL de vanguardia, y que la implementación interna y externa debe considerar atributos de alineación más amplios.

Desde el lado técnico, la justificación de seguridad se descompone en tres niveles: alineación del entrenamiento, aislamiento y monitoreo. En cuanto a la alineación, se incluyen revisiones automáticas/manuales del entorno de RL, ajustes de los evaluadores para prevenir el hacking de recompensas, evaluaciones de alineación offline y retrocesos, así como la prohibición de que los evaluadores automáticos lean la cadena de pensamiento para evitar que el modelo aprenda a eludir el monitoreo. El aislamiento enfatiza el uso de múltiples entornos de prueba y el refuerzo de la infraestructura, el uso de puntos de control de entrenamiento para realizar pruebas de ataque, la limitación de la comunicación de alta capacidad entre muestras, y el uso de almacenamiento de escritura única para consolidar los registros de conversación. En cuanto al monitoreo, se exige que el modelo mantenga la capacidad de ser monitoreado, tenga un alto recuerdo de incidentes históricos, se evalúen rápidamente los nuevos riesgos y las alarmas de alta prioridad deben ser respondidas manualmente o pausar automáticamente el entrenamiento dentro de un plazo acordado.

Desde el lado operativo, se sugieren las siguientes recomendaciones: que otros equipos redacten simulaciones de objeciones, que los ejecutivos (responsables de investigación, responsables de seguridad, científicos principales, etc.) puedan vetar el inicio del entrenamiento, que los responsables del entrenamiento sean responsables de la justificación de seguridad y la respuesta a incidentes, que se pause el entrenamiento según el manual en caso de que la justificación de seguridad falle, que se haga pública la información ante el comité de supervisión interno, que se otorgue a los auditores suficientes permisos de verificación, que se clasifique la gravedad de los errores y se permita a los operadores de turno contactar al CEO. El sistema debe cerrarse por defecto en caso de fallo y no debe poder iniciarse sin supervisión; al mismo tiempo, debe ser capaz de revertir los datos y evaluaciones contaminados por modelos desalineados.

En cuanto a la investigación de incidentes, se propone alinearse con las prácticas de investigación de aviación: durante la investigación, se debe informar internamente de manera continua, utilizar la eliminación y el muestreo para rastrear la dinámica del entrenamiento, realizar una revisión de operaciones y cultura, desarrollar evaluaciones de detección que no se ajusten directamente a las muestras de incidentes, y realizar pruebas de regresión con evaluaciones derivadas de incidentes. Las conclusiones de la investigación, las revisiones y los cambios en los procesos deben ser divulgados externamente al finalizar, y las partes afectadas deben ser informadas lo antes posible.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.