Kontrowersyjne badania nad wyjaśnialnością AI przyciągają uwagę Sama Altmana

By: finance.sina.com.cn|
0
Udostępnij
copy
Oceń nas w GoogleOceń nas w Google

W ciągu ostatnich kilku miesięcy OpenAI prowadziło negocjacje z firmą startupową Goodfire w sprawie potencjalnego przejęcia lub współpracy (ja i moi koledzy opublikowaliśmy dziś rano raport, że OpenAI rozważało przejęcie tej firmy zajmującej się analizą "sposobu myślenia" AI za kwotę 5 miliardów dolarów lub więcej). W trakcie negocjacji dyrektor generalny OpenAI, Sam Altman, szczególnie zainteresował się badaniami Nicka Kamaraty. Kamarata, były pracownik OpenAI, obecnie pracuje w Goodfire; jego niedawno przedstawione nowe poglądy na temat tego, jak myśli sztuczna inteligencja, wywołały ogromne zainteresowanie w branży.

Kamarata opublikował artykuł w zeszłym miesiącu, a w zeszłym tygodniu zaprezentował raport uzupełniający, który wzbudził gorącą dyskusję w kręgach badaczy AI. Część osób chwaliła ten wynik jako potencjalny przełom w zrozumieniu modeli AI; inni uważali, że to tylko chwyt marketingowy. Tak skrajne reakcje pokazują, że niektóre obszary badań AI wciąż są bardzo niedojrzałe, a naukowcy nie są w stanie osiągnąć konsensusu nawet w kwestii tego, co można uznać za badania wysokiej jakości. Mimo że technologia nie została jeszcze zweryfikowana, związane z nią startupy wciąż mogą uzyskać wycenę na poziomie dziesiątek miliardów dolarów.

Głównym kierunkiem badań Goodfire jest wyjaśnialność mechanizmów, w skrócie nazywana "mech interp". Celem tego obszaru jest zrozumienie wewnętrznych mechanizmów działania modeli AI, a nie tylko obserwowanie ich zewnętrznych zachowań. Modele AI składają się z bilionów wartości, przypominając "czarną skrzynkę", której nie można bezpośrednio zrozumieć jak tradycyjnego kodu oprogramowania. To sprawia, że trudno przewidzieć, jakie zachowania AI podejmie w nowych scenariuszach, a w przypadku błędów trudno jest ustalić ich źródło.

Tytuł pracy Kamaraty brzmi "Sieci neuronowe są z natury czytelne", w której przedstawia tezę, że sztuczne neurony w modelach AI (matematyczne funkcje oparte na ogromnych wartościach) są w rzeczywistości łatwiejsze do zrozumienia, niż naukowcy wcześniej sądzili. Z tego wynika, że startupy takie jak Goodfire, które zajmują się analizą wewnętrznej logiki AI, mają bardziej optymistyczne perspektywy rozwoju.

Na przykład, już w 2017 roku badacze zajmujący się wyjaśnialnością mechanizmów odkryli w modelu AI do obrazów specjalny neuron: niezależnie od tego, czy wprowadzono zdjęcie samochodu, czy kota, ten neuron był aktywowany. Wiele neuronów wykazuje ten fenomen, przetwarzając jednocześnie wiele pozornie niepowiązanych zadań, co sprawiało ogromne trudności badaczom. W rzeczywistości w 2023 roku, gdy Kamarata jeszcze pracował w OpenAI, próbował użyć GPT-4 do analizy neuronów GPT-2 i odkrył, że tylko 1,7% neuronów można było zinterpretować.

Jednak Kamarata uważa, że dzięki postępom w technikach treningu modeli i metodach analizy sytuacja nie jest już beznadziejna. Na przykład w przypadku modelu Qwen3-32B od Alibaba, około 90% neuronów pełni jedną funkcję, co czyni je podatnymi na interpretację. Po ponownej analizie klasycznego neuronu, który reagował zarówno na koty, jak i samochody, odkrył, że zarówno twarz kota, jak i przód samochodu mają podobny kształt V, co jest prawdziwą cechą aktywującą ten neuron. {#quote_BABA}

"Moim zdaniem historia w dziedzinie wyjaśnialności w dużej mierze polega na tym, że to, co obserwujemy pod mikroskopem, jest znacznie lepsze, niż się spodziewaliśmy." Napisał, "tylko mikroskop sam w sobie nie był odpowiednio skalibrowany, a miejsca, które wymagają dostosowania, są często bardzo subtelne."

Wielu czołowych badaczy w dziedzinie wyjaśnialności mechanizmów nie zgadza się z wnioskami Kamaraty. Twierdzą, że kierunek badań jest wartościowy, ale artykuł przesadza z znaczeniem wyników.

Neil Nanda, szef kierunku wyjaśnialności mechanizmów w Google DeepMind, napisał na platformach społecznościowych: "Ta praca jest interesująca, ale nie sądzę, aby wniosła znaczące aktualizacje do ogólnego obrazu wyjaśnialności." Nanda napisał, że artykuł przecenia obecny poziom zrozumienia neuronów przez ludzi; nawet jeśli wszystkie neurony mogłyby być zrozumiane, mechanizmy działania modeli wciąż pozostawiłyby wiele nierozwiązanych problemów. {#quote_GOOG}

Badacz OpenAI Leo Gao również wziął udział w dyskusji, publikując artykuł zatytułowany "Sieci neuronowe nie są z natury czytelne" jako odpowiedź. Zasugerował: "Ten artykuł zdecydowanie nie dowodzi, że zrozumieliśmy większość zachowań neuronów; te wyniki nie mogą sugerować, że problem wyjaśnialności został rozwiązany, ani że ta praca jest znacznie prostsza, niż wcześniej sądzono."

Lif Gordon, który wcześniej pracował w Goodfire, a obecnie w Anthropic, powtórzył część eksperymentów Kamaraty, uzyskując inne wyniki. Zauważyła również, że twarze kotów nie zawsze mają kształt V, a ten neuron nie reaguje na wiele obiektów o kształcie V (np. dziób ptaka).

W obliczu mieszanych ocen ze strony różnych środowisk, Kamarata wciąż wyraża optymizm. Napisał na platformach społecznościowych o wyjaśnialności AI: "Wierzę, że ten problem można rozwiązać. Niezależnie od tego, czy obecne proste rozwiązania będą skuteczne, czy obecne rozwiązania są zasadniczo wykonalne, ale wciąż wymagają dodatkowych narzędzi, czy też potrzebujemy rewolucyjnych nowych pomysłów, w końcu znajdziemy odpowiedź.",

Cena --

--
--
--

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.

Możesz również polubić

iconiconiconiconiconiconiconiconicon
Obsługa klienta:@weikecs
Współpraca biznesowa:@weikecs
Quant trading i MM:[email protected]
Program VIP:[email protected]