Kontrowersyjne badania nad wyjaśnialnością AI przyciągają uwagę Sama Altmana
W ciągu ostatnich kilku miesięcy OpenAI prowadziło negocjacje z firmą startupową Goodfire w sprawie potencjalnego przejęcia lub współpracy (ja i moi koledzy opublikowaliśmy dziś rano raport, że OpenAI rozważało przejęcie tej firmy zajmującej się analizą "sposobu myślenia" AI za kwotę 5 miliardów dolarów lub więcej). W trakcie negocjacji dyrektor generalny OpenAI, Sam Altman, szczególnie zainteresował się badaniami Nicka Kamaraty. Kamarata, były pracownik OpenAI, obecnie pracuje w Goodfire; jego niedawno przedstawione nowe poglądy na temat tego, jak myśli sztuczna inteligencja, wywołały ogromne zainteresowanie w branży.
Kamarata opublikował artykuł w zeszłym miesiącu, a w zeszłym tygodniu zaprezentował raport uzupełniający, który wzbudził gorącą dyskusję w kręgach badaczy AI. Część osób chwaliła ten wynik jako potencjalny przełom w zrozumieniu modeli AI; inni uważali, że to tylko chwyt marketingowy. Tak skrajne reakcje pokazują, że niektóre obszary badań AI wciąż są bardzo niedojrzałe, a naukowcy nie są w stanie osiągnąć konsensusu nawet w kwestii tego, co można uznać za badania wysokiej jakości. Mimo że technologia nie została jeszcze zweryfikowana, związane z nią startupy wciąż mogą uzyskać wycenę na poziomie dziesiątek miliardów dolarów.
Głównym kierunkiem badań Goodfire jest wyjaśnialność mechanizmów, w skrócie nazywana "mech interp". Celem tego obszaru jest zrozumienie wewnętrznych mechanizmów działania modeli AI, a nie tylko obserwowanie ich zewnętrznych zachowań. Modele AI składają się z bilionów wartości, przypominając "czarną skrzynkę", której nie można bezpośrednio zrozumieć jak tradycyjnego kodu oprogramowania. To sprawia, że trudno przewidzieć, jakie zachowania AI podejmie w nowych scenariuszach, a w przypadku błędów trudno jest ustalić ich źródło.
Tytuł pracy Kamaraty brzmi "Sieci neuronowe są z natury czytelne", w której przedstawia tezę, że sztuczne neurony w modelach AI (matematyczne funkcje oparte na ogromnych wartościach) są w rzeczywistości łatwiejsze do zrozumienia, niż naukowcy wcześniej sądzili. Z tego wynika, że startupy takie jak Goodfire, które zajmują się analizą wewnętrznej logiki AI, mają bardziej optymistyczne perspektywy rozwoju.
Na przykład, już w 2017 roku badacze zajmujący się wyjaśnialnością mechanizmów odkryli w modelu AI do obrazów specjalny neuron: niezależnie od tego, czy wprowadzono zdjęcie samochodu, czy kota, ten neuron był aktywowany. Wiele neuronów wykazuje ten fenomen, przetwarzając jednocześnie wiele pozornie niepowiązanych zadań, co sprawiało ogromne trudności badaczom. W rzeczywistości w 2023 roku, gdy Kamarata jeszcze pracował w OpenAI, próbował użyć GPT-4 do analizy neuronów GPT-2 i odkrył, że tylko 1,7% neuronów można było zinterpretować.
Jednak Kamarata uważa, że dzięki postępom w technikach treningu modeli i metodach analizy sytuacja nie jest już beznadziejna. Na przykład w przypadku modelu Qwen3-32B od Alibaba, około 90% neuronów pełni jedną funkcję, co czyni je podatnymi na interpretację. Po ponownej analizie klasycznego neuronu, który reagował zarówno na koty, jak i samochody, odkrył, że zarówno twarz kota, jak i przód samochodu mają podobny kształt V, co jest prawdziwą cechą aktywującą ten neuron. {#quote_BABA}
"Moim zdaniem historia w dziedzinie wyjaśnialności w dużej mierze polega na tym, że to, co obserwujemy pod mikroskopem, jest znacznie lepsze, niż się spodziewaliśmy." Napisał, "tylko mikroskop sam w sobie nie był odpowiednio skalibrowany, a miejsca, które wymagają dostosowania, są często bardzo subtelne."
Wielu czołowych badaczy w dziedzinie wyjaśnialności mechanizmów nie zgadza się z wnioskami Kamaraty. Twierdzą, że kierunek badań jest wartościowy, ale artykuł przesadza z znaczeniem wyników.
Neil Nanda, szef kierunku wyjaśnialności mechanizmów w Google DeepMind, napisał na platformach społecznościowych: "Ta praca jest interesująca, ale nie sądzę, aby wniosła znaczące aktualizacje do ogólnego obrazu wyjaśnialności." Nanda napisał, że artykuł przecenia obecny poziom zrozumienia neuronów przez ludzi; nawet jeśli wszystkie neurony mogłyby być zrozumiane, mechanizmy działania modeli wciąż pozostawiłyby wiele nierozwiązanych problemów. {#quote_GOOG}
Badacz OpenAI Leo Gao również wziął udział w dyskusji, publikując artykuł zatytułowany "Sieci neuronowe nie są z natury czytelne" jako odpowiedź. Zasugerował: "Ten artykuł zdecydowanie nie dowodzi, że zrozumieliśmy większość zachowań neuronów; te wyniki nie mogą sugerować, że problem wyjaśnialności został rozwiązany, ani że ta praca jest znacznie prostsza, niż wcześniej sądzono."
Lif Gordon, który wcześniej pracował w Goodfire, a obecnie w Anthropic, powtórzył część eksperymentów Kamaraty, uzyskując inne wyniki. Zauważyła również, że twarze kotów nie zawsze mają kształt V, a ten neuron nie reaguje na wiele obiektów o kształcie V (np. dziób ptaka).
W obliczu mieszanych ocen ze strony różnych środowisk, Kamarata wciąż wyraża optymizm. Napisał na platformach społecznościowych o wyjaśnialności AI: "Wierzę, że ten problem można rozwiązać. Niezależnie od tego, czy obecne proste rozwiązania będą skuteczne, czy obecne rozwiązania są zasadniczo wykonalne, ale wciąż wymagają dodatkowych narzędzi, czy też potrzebujemy rewolucyjnych nowych pomysłów, w końcu znajdziemy odpowiedź.",
Cena --
Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.
Możesz również polubić

Spadek Bitcoina poniżej 60 000 USD stawia decyzję Fedu w grudniu pod lupą

Proces IPO SpaceX i Anthropic skomplikowany, banki skarżą się na rygorystyczne ograniczenia

CITIC Securities: Analiza cech etapowych wyceny łańcucha AI na rynku amerykańskim w 2027 roku

MoldyRoost wykorzystuje lukę w iPhone do kradzieży fraz pomocniczych portfeli kryptowalutowych

Akcje AMD właśnie spadły po raporcie sprzedawcy krótko. Czy to złota okazja do zakupu?

Dlaczego spadek cen złota jest zgodny z technologią? Złoto stało się "bankomatem" kryzysu płynności

Analiza raportu Q3 Monad: Opłaty sieciowe napędzane transakcjami, kontrolowane odblokowanie skali
![[Kolumna] Pytania dotyczące dwuletniego odroczenia opodatkowania aktywów wirtualnych... "Gdzie to umieścić?"](/public-static/081_0e4aedee7f.png?format=avif)
[Kolumna] Pytania dotyczące dwuletniego odroczenia opodatkowania aktywów wirtualnych... "Gdzie to umieścić?"

Koreańska Komisja Nadzoru Finansowego przeprowadzi kontrole w giełdach kryptowalut

Tesla właśnie zaczęła sprzedawać Cybercaby, oto co to oznacza dla fuzji SpaceX i Tesli.

Kryptowaluty czy oszczędności emerytalne? Co ujawnia badanie dotyczące amerykańskiego pokolenia Z

Prezydent Amerykańsko-Chińskiej Rady Handlowej, Myron Brilliant, mówi o możliwościach w obszarze Wielkiej Zatoki Guangdong-Hongkong-Makau

Jefferies ostrzega, że spowolnienie inwestycji w AI wpłynie na rynki wschodzące, obniżając ocenę koreańskiego rynku akcji

Jak chronić swoje bogactwo w obliczu geopolitycznych burz?

Gdzie będzie akcja Nvidia za 20 lat? Odpowiedź może cię zaskoczyć.

Netflix spada poniżej 60 dolarów. Bill Ackman wyjaśnia, dlaczego to niesamowita okazja inwestycyjna.

Australijskie służby wywiadowcze ostrzegają, że centra danych i AI zwiększają ryzyko obcych interwencji

Makro prognozy na przyszły tydzień: W październiku pojawi się amerykański wskaźnik PCE, a Święto Dziękczynienia przyniesie przerwę w handlu

Wybory pośrednie 2026: Oto, co dokładnie robię z moim portfelem inwestycyjnym w tej chwili

Amerykański rynek akcji doświadczył paniki sprzedaży, wiele instytucji uważa, że nadal znajduje się w fazie korekty rynku byka

Milioner David Tepper właśnie dokonał ogromnej rotacji chipów AI - czy to się opłaci?

Utrata Jen-Hsun Huang, koszt to nie tylko 2,5 biliona dolarów

Dowód hipotezy Riemanna Leventa Alpöge zatwierdzony przez społeczność Lean i Mathlib

Jeśli nadchodzi krach na giełdzie, Warren Buffett mówi, że to jest numer 1 ruch, który powinni wykonać wszyscy inwestorzy

Czy warto zainwestować 1000 dolarów w Bloom Energy teraz?
![[Analiza] Powody spadku wartości Bitcoina w tym roku różnią się od przeszłości](/public-static/30_f8d737795f.png?format=avif)
[Analiza] Powody spadku wartości Bitcoina w tym roku różnią się od przeszłości

Sam Price o stopach procentowych Fed i dziesięcioletnich rentownościach

Czy Tilray to dobry zakup przy rekordowo niskiej cenie, czy pułapka wartości?

2 akcje finansowe do kupienia blisko ich 52-tygodniowych minimów








