Anthropic wprowadza blokadę kontekstową dla Claude'a, aby zapobiec destylacji modelu

Anthropic wprowadził "blokadę kontekstową" dla myślenia Claude'a, wymagając, aby myśli generowane przez API były zwracane razem z systemowym podpowiedzią, narzędziami i historią wiadomości w momencie generowania. Jeśli wcześniejsze treści zostaną zmienione, API zgłosi błąd lub odrzuci tę myśl. Ta zmiana ma na celu zapobieganie destylacji modelu; badacze odkryli, że myśli Claude'a mogą być odczytywane przez inne modele, a napastnicy mogą wykorzystać wysokiej jakości wnioskowanie, aby skłonić słabsze modele do ujawnienia pełnego procesu myślowego. Anthropic już w czerwcu, przy wydaniu Fable 5, wprowadził pewne zabezpieczenia, ograniczając myśli szyfrowane do związania z określonym modelem. Fable 5.1 dodatkowo wprowadził mechanizm "wiązania rozmowy", który sprawia, że wszelkie zmiany w wcześniejszych podpowiedziach, narzędziach lub historii czatu unieważniają stare myśli. Ta blokada nie została jeszcze w pełni wdrożona; po 31 sierpnia nowe konta API będą zobowiązane do przestrzegania tej zasady, podczas gdy stare konta nie będą tymczasowo dotknięte. Modele takie jak Claude.ai, Claude Code, Cowork itp. nie są objęte tym zakresem, a Anthropic zapowiedział, że przyszłe nowe modele będą domyślnie aktywować tę zasadę.