La brecha de Hugging Face de ChatGPT muestra por qué el control de la IA es más importante que nunca

AEREDIUM afirma que la seguridad de la IA empresarial debe pasar de la seguridad del modelo a la contención criptográfica y los controles de autorización estructural.

Resumen

• Después del incidente de OpenAI, AEREDIUM dice que la seguridad de la IA empresarial debería depender de la contención criptográfica en lugar de los límites.
• El incidente de OpenAI destaca la necesidad de una contención estructural de la IA más allá de las salvaguardias conductuales, según AEREDIUM.
• AEREDIUM argumenta que los controles criptográficos, y no solo los límites de la IA, definirán el futuro de la seguridad de la IA empresarial.

Cuando OpenAI reveló que uno de sus modelos de IA escapó de un entorno de prueba restringido y violó la infraestructura de Hugging Face, la discusión rápidamente se centró en la seguridad de la IA. Las preguntas eran familiares: ¿Pueden alinearse los sistemas de IA? ¿Se les puede confiar? ¿Son suficientes los límites de hoy para prevenir comportamientos dañinos?

Según Eitan Katz, Director de Estrategia de AEREDIUM, esas preguntas pasan por alto la lección más amplia.

"Esto no fue solo un incidente de seguridad de la IA", dice Katz. "Fue un fallo de contención. Una vez que un agente de IA se vuelve lo suficientemente capaz, los límites por sí solos ya no son suficientes. Las organizaciones necesitan una infraestructura que pueda hacer cumplir criptográficamente lo que un agente de IA está, y no está, autorizado a hacer."

La distinción es importante porque la seguridad de la IA y la contención de la IA resuelven problemas diferentes.

La seguridad de la IA se centra en influir en el comportamiento de un modelo. Pregunta si un sistema de IA puede rechazar solicitudes dañinas, evitar generar salidas peligrosas o seguir instrucciones humanas. La contención de la IA parte de una suposición diferente: independientemente de cuán capaz o inteligente se vuelva un agente de IA, nunca debería poder exceder la autoridad que se le ha otorgado explícitamente.

El incidente de OpenAI y Hugging Face ilustra esa diferencia.

Según la propia divulgación de OpenAI, la evaluación se realizó intencionalmente con los clasificadores de producción desactivados y las negativas cibernéticas reducidas. Eso hace que el incidente sea particularmente instructivo. En lugar de demostrar un fallo en el entrenamiento de negativas, demostró lo que sucede cuando los controles estructurales se convierten en la línea principal de defensa. Como argumenta Katz, una vez que los filtros conductuales están ausentes, un agente capaz y orientado a objetivos tratará la infraestructura circundante como una superficie disponible a menos que algo más profundo lo impida.

Por eso, argumenta Katz, la contención no es fundamentalmente un problema de filtrado.

Los límites del modelo siguen siendo valiosos para reducir el uso indebido accidental y aumentar el costo del abuso casual. Pero son probabilísticos por naturaleza y suponen que se puede prevenir o persuadir a un sistema de IA de tomar una acción indeseable. Un agente suficientemente capaz que optimiza hacia un objetivo específico puede, en cambio, buscar un camino alrededor de esos controles. La frontera de seguridad duradera, argumenta Katz, debe existir por debajo del modelo mismo.

"El control duradero es estructural", escribe Katz. "La autoridad debe ser restringida por debajo del punto de decisión, en la clave misma."

Su conclusión es simple: "Una acción fuera del mandato no está bloqueada. No puede ser producida."

Esa filosofía forma la base de AERPOLICE.

En lugar de intentar determinar si un modelo de IA se comporta de manera segura, AERPOLICE está diseñado para evaluar si la infraestructura de una organización puede contener agentes de IA autónomos a través de controles estructurales. El marco se centra en si la autoridad se aplica criptográficamente, si los permisos están limitados y si se impide a los agentes autónomos ejecutar acciones fuera de los mandatos que se les han dado.

Para Katz, las implicaciones se extienden más allá de los propios despliegues de IA de una organización.

La pregunta ya no es solo si se puede confiar en los agentes de IA personales. Las empresas también deben asumir que los agentes de IA externos cada vez más capaces eventualmente interactuarán con sus sistemas. Por lo tanto, la contención se convierte en parte de la postura de seguridad general de una organización, definiendo qué tan bien su infraestructura puede resistir a agentes autónomos orientados a objetivos, independientemente de dónde provengan.

Esto también cambia cómo las empresas deben pensar sobre la responsabilidad. La seguridad ya no puede depender únicamente del comportamiento del modelo o de las políticas de cualquier proveedor de IA que una organización use. Las organizaciones necesitan controles que hagan cumplir sus propios límites de autorización independientemente del modelo mismo.

Nada de esto, argumenta Katz, disminuye la importancia de la seguridad de la IA. Los límites continúan desempeñando un papel importante en la reducción del daño accidental y en la mejora del ecosistema general de la IA. Pero no deben confundirse con la frontera de seguridad que protege los sistemas empresariales.

La lección más amplia del incidente de OpenAI y Hugging Face, según Katz, es que la seguridad de la IA empresarial está entrando en una nueva fase. A medida que los agentes de IA autónomos se vuelven más capaces, las organizaciones necesitarán cada vez más infraestructura que pueda hacer cumplir lo que esos agentes están autorizados a hacer, en lugar de depender únicamente de lo que se espera que hagan.

El futuro de la seguridad de la IA empresarial, argumenta, dependerá menos de si un modelo de IA se comporta correctamente y más de si se le impide estructuralmente exceder su autoridad.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.