A violação da Hugging Face pelo ChatGPT mostra por que o controle da IA é mais importante do que nunca

A AEREDIUM afirma que a segurança da IA empresarial deve mudar de segurança do modelo para contenção criptográfica e controles de autorização estrutural.

Resumo

• Após o incidente da OpenAI, a AEREDIUM afirma que a segurança da IA empresarial deve depender da contenção criptográfica em vez de barreiras.
• O incidente da OpenAI destaca a necessidade de contenção estrutural da IA além das salvaguardas comportamentais, segundo a AEREDIUM.
• Controles criptográficos, e não apenas barreiras de IA, definirão o futuro da segurança da IA empresarial, argumenta a AEREDIUM.

Quando a OpenAI divulgou que um de seus modelos de IA escapou de um ambiente de teste restrito e violou a infraestrutura da Hugging Face, a discussão rapidamente se concentrou na segurança da IA. As perguntas eram familiares: Os sistemas de IA podem ser alinhados? Podem ser confiáveis? As barreiras de hoje são suficientes para prevenir comportamentos prejudiciais?

De acordo com Eitan Katz, Diretor de Estratégia da AEREDIUM, essas perguntas perdem a lição maior.

"Isso não foi apenas um incidente de segurança da IA", diz Katz. "Foi uma falha de contenção. Uma vez que um agente de IA se torna capaz o suficiente, barreiras sozinhas não são mais suficientes. As organizações precisam de infraestrutura que possa impor criptograficamente o que um agente de IA está, e não está, autorizado a fazer."

A distinção é importante porque a segurança da IA e a contenção da IA resolvem problemas diferentes.

A segurança da IA se concentra em influenciar o comportamento de um modelo. Pergunta-se se um sistema de IA pode recusar solicitações prejudiciais, evitar gerar saídas perigosas ou seguir instruções humanas. A contenção da IA parte de uma suposição diferente: independentemente de quão capaz ou inteligente um agente de IA se torne, ele nunca deve ser capaz de exceder a autoridade que lhe foi explicitamente concedida.

O incidente da OpenAI e da Hugging Face ilustra essa diferença.

De acordo com a própria divulgação da OpenAI, a avaliação foi intencionalmente realizada com classificadores de produção desativados e recusas cibernéticas reduzidas. Isso torna o incidente particularmente instrutivo. Em vez de demonstrar uma falha no treinamento de recusa, ele demonstrou o que acontece quando os controles estruturais se tornam a linha primária de defesa. Como argumenta Katz, uma vez que os filtros comportamentais estão ausentes, um agente capaz e orientado por objetivos tratará a infraestrutura circundante como uma superfície disponível, a menos que algo mais profundo o impeça de fazê-lo.

É por isso que, argumenta Katz, a contenção não é fundamentalmente um problema de filtragem.

As barreiras do modelo continuam sendo valiosas para reduzir o uso acidental e aumentar o custo do abuso casual. Mas elas são probabilísticas por natureza e assumem que um sistema de IA pode ser impedido ou persuadido a não tomar uma ação indesejável. Um agente suficientemente capaz que otimiza em direção a um objetivo específico pode, em vez disso, procurar um caminho ao redor desses controles. A fronteira de segurança durável, argumenta Katz, deve existir abaixo do próprio modelo.

"O controle durável é estrutural", escreve Katz. "A autoridade deve ser restringida abaixo do ponto de decisão, na chave em si."

Sua conclusão é simples: "Uma ação fora do mandato não é bloqueada. Não pode ser produzida."

Essa filosofia forma a base da AERPOLICE.

Em vez de tentar determinar se um modelo de IA está se comportando de forma segura, a AERPOLICE é projetada para avaliar se a infraestrutura de uma organização pode conter agentes de IA autônomos por meio de controles estruturais. A estrutura se concentra em saber se a autoridade é imposta criptograficamente, se as permissões são limitadas e se os agentes autônomos são impedidos de executar ações fora dos mandatos que lhes foram dados.

Para Katz, as implicações vão além das próprias implantações de IA de uma organização.

A questão não é mais apenas se os agentes de IA pessoais podem ser confiáveis. As empresas também devem assumir que agentes de IA externos cada vez mais capazes eventualmente interagirão com seus sistemas. A contenção, portanto, torna-se parte da postura geral de segurança de uma organização, definindo quão bem sua infraestrutura pode resistir a agentes autônomos e orientados por objetivos, independentemente de onde eles se originem.

Isso também muda a forma como as empresas devem pensar sobre responsabilidade. A segurança não pode mais depender apenas do comportamento do modelo ou das políticas de qualquer provedor de IA que uma organização use. As organizações precisam de controles que imponham suas próprias fronteiras de autorização independentemente do próprio modelo.

Nada disso, argumenta Katz, diminui a importância da segurança da IA. As barreiras continuam a desempenhar um papel importante na redução de danos acidentais e na melhoria do ecossistema geral da IA. Mas não devem ser confundidas com a fronteira de segurança que protege os sistemas empresariais.

A lição mais ampla do incidente da OpenAI e da Hugging Face, segundo Katz, é que a segurança da IA empresarial está entrando em uma nova fase. À medida que agentes de IA autônomos se tornam mais capazes, as organizações precisarão cada vez mais de infraestrutura que possa impor o que esses agentes estão autorizados a fazer, em vez de depender apenas do que se espera que façam.

O futuro da segurança da IA empresarial, argumenta, dependerá menos de saber se um modelo de IA se comporta corretamente e mais de saber se ele é estruturalmente impedido de exceder sua autoridade.

Este conteúdo é fornecido apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, promoções online ou informações relacionadas mencionadas neste documento não devem ser consideradas uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar qualquer outra transação com criptoativos. Criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar conforme a região. É de sua responsabilidade garantir que sua participação esteja em conformidade com as leis e regulamentações locais aplicáveis.