OpenAI wprowadza ramy «dowodzenia bezpieczeństwa» dla zaawansowanego szkolenia AI, sugerując, aby przed rozpoczęciem przejść przez dokumenty bezpieczeństwa

Wiadomości Beating AI informują, że oficjalnie opublikowano długi artykuł pt. „Towards safety cases for frontier AI training” (W kierunku dowodów bezpieczeństwa dla zaawansowanego szkolenia AI). W artykule stwierdzono, że przed kontynuowaniem zaawansowanego szkolenia wzmocnionego uczenia, należy najpierw ukończyć strukturalne dokumenty bezpieczeństwa, które w idealnym przypadku powinny odpowiadać „dowodom bezpieczeństwa” w branżach lotniczej i jądrowej. Firma przyznała, że ze względu na złożoność wynikającą z przeskoku w zdolnościach, AI trudno jest osiągnąć taką samą rygorystyczność jak w tradycyjnych branżach wysokiego ryzyka; obecnie ramy te są nadal wdrażane wewnętrznie i zbierają opinie zewnętrzne. Wyraźnie obejmują one tylko zaawansowane szkolenie RL, a wewnętrzne i zewnętrzne wdrożenia będą wymagały szerszych właściwości dostosowawczych.

Z perspektywy technicznej, dowody bezpieczeństwa dzielą się na trzy warstwy: dostosowanie, izolacja i monitorowanie. W zakresie dostosowania obejmuje to automatyczną/ręczną kontrolę środowiska RL, kalibrację oceniania, aby zapobiec oszustwom w nagradzaniu, ocenę dostosowania offline i testy wsteczne, a także zakaz automatycznego oceniania odczytywania łańcucha myślowego, aby uniknąć nauczenia się przez model unikania monitorowania. W zakresie izolacji podkreśla się wielowarstwowe piaskownice i wzmocnienie infrastruktury, wykorzystanie punktów kontrolnych szkolenia do testów czerwonych, ograniczenie komunikacji o wysokiej przepustowości między próbkami oraz utrwalanie zapisów rozmów za pomocą pamięci jednokrotnego zapisu. W zakresie monitorowania wymaga się, aby model pozostawał monitorowalny, miał wysoką zdolność do przypominania o historycznych incydentach, a nowe ryzyka były szybko oceniane, z wysokim priorytetem alarmów, które muszą być odpowiedziane ręcznie w ustalonym czasie lub automatycznie wstrzymane szkolenie.

Zalecenia operacyjne obejmują: pisanie symulacji sprzeciwu przez inne zespoły, możliwość weta przez kierownictwo (szefów badań, szefów bezpieczeństwa, głównych naukowców itp.) przed rozpoczęciem, odpowiedzialność kierownika szkolenia za dowody bezpieczeństwa i reakcję na incydenty, wstrzymanie szkolenia zgodnie z podręcznikiem w przypadku nieważności dowodów bezpieczeństwa, ujawnienie wewnętrznemu komitetowi nadzorczemu, zapewnienie audytorom wystarczających uprawnień do weryfikacji, klasyfikacja poważnych błędów i umożliwienie personelowi dyżurnemu wezwania CEO. System powinien domyślnie zamykać się w przypadku niepowodzenia i nie może być uruchamiany bez nadzoru; jednocześnie powinien być w stanie cofnąć dane i oceny zanieczyszczone przez błędne modele.

W zakresie dochodzenia w sprawie incydentów zaproponowano wzorowanie się na praktykach dochodzeniowych w lotnictwie: wewnętrzne raporty w trakcie dochodzenia, wykorzystanie analizy i ponownego próbkowania do śledzenia dynamiki szkolenia, przegląd operacji i kultury, opracowanie testów detekcyjnych, które nie są bezpośrednio dopasowane do próbek incydentów, oraz testy regresyjne z wykorzystaniem ocen pochodzących z incydentów. Wnioski z dochodzenia, przegląd i zmiany procesów powinny być ujawnione po zakończeniu, a dotknięte strony trzecie powinny być jak najszybciej informowane.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.