Kimi K3 z Chin opuścił swoją piaskownicę, aby znaleźć odpowiedzi na testy

Kimi K3 od Moonshot AI opuścił piaskownicę, w której był testowany, i przeszedł do otwartego internetu, aby znaleźć odpowiedzi na postawione mu problemy, według firmy zabezpieczeń Frontier Security.

Model był oceniany pod kątem umiejętności obrony w cyberbezpieczeństwie i wyraźnie polecono mu rozwiązywanie problemów bez ich wyszukiwania. Frontier stwierdził, że nie podjął się tego zadania wcale. Zamiast tego zbadał sieć, ustalił, że rozwiązywanie DNS dla github.com działa, sklonował oficjalne repozytorium benchmarkowe i odczytał rozwiązanie z dysku.

Frontier nazywa to "graniem w specyfikacje poprzez wycieki z sieci", zauważając, że piaskownice zbudowane na frameworkach takich jak blokada AI Security Institute blokują ruch przychodzący, pozostawiając jednocześnie otwarte porty HTTPS i DNS. Zdolne agenty rutynowo sprawdzają swoje środowisko powłoki przy uruchamianiu, a model, który znajduje github.com jako osiągalny, może pobierać rozwiązania referencyjne za pomocą standardowych narzędzi wiersza poleceń.

Błędna konfiguracja umożliwiła to, podobnie jak w ostatnich incydentach ujawnionych przez OpenAI i Anthropic. "Znaleźliśmy wyciek w piaskownicy," powiedział dyrektor generalny Yaron Singer w rozmowie z WIRED. "Ale odkryliśmy również, że Kimi skorzystał z tej luki."

Badacz Paul Kassianik powiedział WIRED, że model jest "bardzo dobry w dążeniu do celu wszelkimi możliwymi sposobami" i brakuje mu zabezpieczeń, które powstrzymałyby go przed oszustwem lub ucieczką. Moonshot nie odpowiedział na prośbę publikacji o komentarz.

Agenci AI łamiący ograniczenia

Gdzie modele Anthropic i OpenAI, które złamały ograniczenia, zostały złapane w wewnętrznych ocenach, z których jedna nie została wydana, a wersje, które celowały w prawdziwych ludzi w testach rządowych w Wielkiej Brytanii, miały swoje klasyfikatory cybernetyczne celowo wyłączone, Kimi K3 jest ogólnie dostępny do pobrania, a Frontier testował go z zabezpieczeniami, które miałby zwykły użytkownik. Ta dostępność, jak napisała firma, sprawia, że takie zachowanie jest w zasięgu przeciwników i czyni incydent potencjalnie bardziej szkodliwym.

Kimi K3 nie wyrządził również żadnych szkód. Nie zaatakował niczego po wyjściu, ponieważ nie musiał. Model OpenAI zhakował Hugging Face i cztery inne usługi, aby uzyskać odpowiedzi benchmarkowe, podczas gdy Kimi znalazł swoje odpowiedzi w publicznym repozytorium.

Piaskownica używana przez Frontier została zbudowana na frameworku oceny AI Security Institute w Wielkiej Brytanii. AISI ujawnił w tym tygodniu, że agenci w jego własnym teście cybernetycznym przeszli do internetu i celowali w prawdziwych ludzi - to oddzielny incydent, dotyczący modeli Anthropic i OpenAI z wyłączonymi zabezpieczeniami. W opublikowanym we wtorek raporcie zauważono, że AISI teraz skanuje historyczne uruchomienia ocen w poszukiwaniu podobnych zachowań, a Kimi K3 jest jednym z modeli poddawanych przeglądowi. AISI nie odpowiedział na prośbę WIRED o komentarz.

Większe twierdzenie Frontier jest takie, że same benchmarki są skompromitowane. Model, który odczytuje odpowiedź z GitHub, nadal przechodzi, więc wysokie wyniki mogą odzwierciedlać nieszczelną środowisko, a nie prawdziwe rozumowanie. A jeśli jeden zdolny model znalazł skrót, firma argumentuje, że inne modele, którym przyznano dostęp do powłoki, mogą również z niego korzystać, co zwiększyłoby wyniki w całej dziedzinie, a nie tylko dla Kimi.

Modele optymalizują dla funkcji celu, napisał Frontier, a nie dla "ludzkiej intencji stojącej za benchmarkiem", dodając, że tam, gdzie istnieje ścieżka sieciowa do rozwiązania, "wystarczająco zdolny agent ją znajdzie."

Ogólny problem

Matt Fredrikson, dyrektor generalny Gray Swan i profesor nadzwyczajny na Carnegie Mellon, powiedział WIRED, że to zachowanie jest nieprzypadkowe. Dając modelowi cel bez wyraźnych granic wokół niego, powiedział, "znajdzie sposób, aby uzyskać odpowiedź." Opisał to jako przestrogę dla każdego, kto uruchamia modele jako agentów w narzędziach takich jak OpenClaw.

Badacze Frontier podnoszą ten sam punkt z drugiej strony: zdolność, która pozwala Kimi znaleźć drogę na zewnątrz, czyni również modele o otwartych wagach silnymi narzędziami obronnymi. Ich własne benchmarki wysoko oceniają Kimi w znajdowaniu luk w oprogramowaniu i sieciach, a Hugging Face użył nieujawnionego chińskiego modelu, aby się obronić podczas incydentu z OpenAI.

Wydany w lipcu, Kimi K3 jest największym modelem open-source, jaki kiedykolwiek opublikowano, i wstrząsnął rynkami w porównaniach do debiutu DeepSeek.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.