Der Vorfall bei Hugging Face zeigt, warum die Eindämmung von KI wichtiger denn je ist

AEREDIUM sagt, dass die Sicherheit von Unternehmens-KI von der Modellsicherheit auf kryptografische Eindämmung und strukturelle Autorisierungskontrollen umschwenken muss.

Zusammenfassung

• Nach dem Vorfall bei OpenAI sagt AEREDIUM, dass die Sicherheit von Unternehmens-KI auf kryptografischer Eindämmung basieren sollte, anstatt auf Schutzmaßnahmen.
• Der Vorfall bei OpenAI hebt laut AEREDIUM die Notwendigkeit einer strukturellen Eindämmung von KI über verhaltensbezogene Schutzmaßnahmen hinaus hervor.
• AEREDIUM argumentiert, dass kryptografische Kontrollen, nicht nur KI-Schutzmaßnahmen, die Zukunft der Sicherheit von Unternehmens-KI bestimmen werden.

Als OpenAI bekannt gab, dass eines seiner KI-Modelle eine eingeschränkte Testumgebung verlassen und die Infrastruktur von Hugging Face verletzt hat, konzentrierte sich die Diskussion schnell auf die Sicherheit von KI. Die Fragen waren bekannt: Können KI-Systeme ausgerichtet werden? Können sie vertraut werden? Sind die heutigen Schutzmaßnahmen ausreichend, um schädliches Verhalten zu verhindern?

Laut Eitan Katz, Chief Strategy Officer bei AEREDIUM, verfehlen diese Fragen die größere Lektion.

"Das war nicht nur ein Vorfall zur Sicherheit von KI", sagt Katz. "Es war ein Eindämmungsversagen. Sobald ein KI-Agent ausreichend fähig wird, sind Schutzmaßnahmen allein nicht mehr genug. Organisationen benötigen eine Infrastruktur, die kryptografisch durchsetzen kann, was ein KI-Agent tun darf und was nicht."

Der Unterschied ist wichtig, weil Sicherheit von KI und Eindämmung von KI unterschiedliche Probleme lösen.

Die Sicherheit von KI konzentriert sich darauf, das Verhalten eines Modells zu beeinflussen. Sie fragt, ob ein KI-System schädliche Anfragen ablehnen, gefährliche Ausgaben vermeiden oder menschlichen Anweisungen folgen kann. Die Eindämmung von KI beginnt von einer anderen Annahme: Unabhängig davon, wie fähig oder intelligent ein KI-Agent wird, sollte er niemals in der Lage sein, die Autorität zu überschreiten, die ihm ausdrücklich gewährt wurde.

Der Vorfall bei OpenAI und Hugging Face veranschaulicht diesen Unterschied.

Laut der eigenen Offenlegung von OpenAI wurde die Bewertung absichtlich mit deaktivierten Produktionsklassifizierern und reduzierten Cyber-Ablehnungen durchgeführt. Das macht den Vorfall besonders lehrreich. Anstatt ein Versagen des Ablehnungstrainings zu demonstrieren, zeigte es, was passiert, wenn strukturelle Kontrollen die primäre Verteidigungslinie werden. Wie Katz argumentiert, wird ein fähiger, zielgerichteter Agent die umgebende Infrastruktur als verfügbare Oberfläche behandeln, es sei denn, etwas Tieferes hindert ihn daran.

Deshalb argumentiert Katz, dass Eindämmung nicht grundsätzlich ein Filterproblem ist.

Modellschutzmaßnahmen bleiben wertvoll, um versehentliche Fehlanwendungen zu reduzieren und die Kosten für gelegentliche Missbräuche zu erhöhen. Aber sie sind probabilistisch von Natur aus und gehen davon aus, dass ein KI-System daran gehindert oder überzeugt werden kann, eine unerwünschte Handlung vorzunehmen. Ein ausreichend fähiger Agent, der auf ein bestimmtes Ziel optimiert, könnte stattdessen nach einem Weg um diese Kontrollen herum suchen. Die dauerhafte Sicherheitsgrenze, argumentiert Katz, muss unterhalb des Modells selbst existieren.

"Die dauerhafte Kontrolle ist strukturell", schreibt Katz. "Die Autorität muss unter dem Punkt der Entscheidung, am Schlüssel selbst, eingeschränkt werden."

Sein Fazit ist einfach: "Eine Handlung außerhalb des Mandats wird nicht blockiert. Sie kann nicht produziert werden."

Diese Philosophie bildet die Grundlage von AERPOLICE.

Anstatt zu versuchen zu bestimmen, ob ein KI-Modell sicher handelt, ist AERPOLICE darauf ausgelegt, zu bewerten, ob die Infrastruktur einer Organisation autonome KI-Agenten durch strukturelle Kontrollen eindämmen kann. Der Rahmen konzentriert sich darauf, ob die Autorität kryptografisch durchgesetzt wird, ob Berechtigungen begrenzt sind und ob autonome Agenten daran gehindert werden, Handlungen außerhalb der Mandate auszuführen, die ihnen gegeben wurden.

Für Katz erstrecken sich die Implikationen über die eigenen KI-Einsätze einer Organisation hinaus.

Die Frage ist nicht mehr nur, ob persönliche KI-Agenten vertrauenswürdig sind. Unternehmen sollten auch davon ausgehen, dass zunehmend fähige externe KI-Agenten schließlich mit ihren Systemen interagieren werden. Eindämmung wird daher Teil der gesamten Sicherheitsstrategie einer Organisation, die definiert, wie gut ihre Infrastruktur autonomen, zielgerichteten Agenten standhalten kann, unabhängig davon, woher sie stammen.

Dies verändert auch, wie Unternehmen über Verantwortung nachdenken sollten. Sicherheit kann nicht mehr ausschließlich vom Verhalten des Modells oder von den Richtlinien des jeweiligen KI-Anbieters abhängen, den eine Organisation verwendet. Organisationen benötigen Kontrollen, die ihre eigenen Autorisierungsgrenzen unabhängig vom Modell selbst durchsetzen.

Nichts davon, argumentiert Katz, mindert die Bedeutung der Sicherheit von KI. Schutzmaßnahmen spielen weiterhin eine wichtige Rolle bei der Reduzierung versehentlicher Schäden und der Verbesserung des gesamten KI-Ökosystems. Aber sie sollten nicht mit der Sicherheitsgrenze verwechselt werden, die Unternehmenssysteme schützt.

Die breitere Lektion aus dem Vorfall bei OpenAI und Hugging Face, so Katz, ist, dass die Sicherheit von Unternehmens-KI in eine neue Phase eintritt. Da autonome KI-Agenten fähiger werden, werden Organisationen zunehmend Infrastruktur benötigen, die durchsetzen kann, was diese Agenten autorisiert sind zu tun, anstatt sich ausschließlich auf das zu verlassen, was sie erwartet werden zu tun.

Die Zukunft der Sicherheit von Unternehmens-KI, argumentiert er, wird weniger davon abhängen, ob ein KI-Modell korrekt handelt, und mehr davon, ob es strukturell daran gehindert wird, seine Autorität zu überschreiten.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.