Vitalik Buterin identyfikuje umiejętność, w której człowiek ma przewagę nad AI

Vitalik Buterin wskazuje na ograniczenie AI: pomimo swoich szerokich wiedzy, ma trudności z oceną głębokości tekstu, zwłaszcza gdy odkrywa go po raz pierwszy. Dla współzałożyciela Ethereum ta różnica między wiedzą a mądrością zasługuje na szczególną uwagę.

W skrócie

• 29 października Vitalik Buterin opisuje AI jako << niezwykle mądrą >>, ale << niezbyt mądrą >>, zwłaszcza gdy ocenia tekst.
• Według niego modele mają większe trudności z nowym tekstem, który nie korzysta z ludzkich komentarzy obecnych w ich danych treningowych.
• Podkreśla wreszcie istotną różnicę: można łatwo zweryfikować wiedzę modelu, ale znacznie trudniej zmierzyć jego mądrość.

AI zna odniesienia, ale czy rozumie idee?

Vitalik Buterin regularnie wyraża swoje zastrzeżenia dotyczące agentów AI, jak w październiku z jego << trybem paranoicznym >>. 29 października o 4:11 UTC opublikował nową refleksję w odpowiedzi na pisarkę Ruxandrę Teslo.

Dyskusja była odpowiedzią na artykuł Wall Street Journal na temat Humanities 10, kursu pierwszego roku na Harvardzie, który zabrania studentom korzystania z telefonów i komputerów przez rok.

W swoim wpisie na X, Vitalik wyjaśnia, że AI może mobilizować wiedzę na prawie każdy temat, nie wykazując jednak głębszego osądu. Może więc zatrzymać się na najbardziej powierzchownych aspektach tekstu, nie rozumiejąc w pełni zasięgu jego argumentacji.

Uwagi te pojawiają się w debacie na temat jakości interakcji z chatbotami. Niektórzy uważają je za lepszych rozmówców niż większość ludzi w dyskusjach na temat wielkich klasyków. Z drugiej strony, jedna pisarka uważa, że ich komentarze na temat jej esejów często ograniczają się do pustych odpowiedzi.

Pierwsze czytanie

Dla Vitalika Buterina to ograniczenie pojawia się zwłaszcza wtedy, gdy model odkrywa tekst po raz pierwszy. Rzeczywiście, znane dzieło korzysta z dziesięcioleci krytyki, analiz i komentarzy, które AI może znaleźć w swoich danych treningowych. Nowy esej, z drugiej strony, nie ma tej samej historii.

Model musi więc bardziej polegać na samym tekście, nie mogąc mobilizować tak wielu wcześniejszych analiz. Ta różnica ma szczególne znaczenie w kryptowalutach, gdzie zespoły korzystają z agentów AI do badania białych ksiąg, audytów lub propozycji zarządzania.

Jednak niektórzy deweloperzy już ostrzegają przed lukami, które AI mogłoby wykorzystać, nie rozumiejąc w pełni ich implikacji. W tych warunkach streszczenia produkowane przez model nie powinny zastępować weryfikacji ludzkiej, zwłaszcza gdy stawki techniczne lub finansowe są wysokie.

Mądrość, cecha trudna do zmierzenia

Vitalik Buterin porusza wreszcie bardziej subtelny problem: wiedza modelu jest dość łatwa do weryfikacji, w przeciwieństwie do jego mądrości. Można kontrolować datę, odniesienie lub liczbę. Z drugiej strony, ocena trafności rozumowania wymaga więcej niż tylko prostej weryfikacji faktów.

Episod z lipca ilustruje tę różnicę. Konkurs zorganizowany wokół identyfikacji autora anonimowego dokumentu Ethereum nagrodził 6 lipca zespół Franklyna Wanga z Co-Invest. Po zbadaniu 27 tekstów, uzyskali wynik związany z prawdopodobieństwem około 20%.

To doświadczenie przypomina, że sztuczna inteligencja może rozpoznać cechy stylistyczne, niekoniecznie rozumiejąc idee, które kryją się za tekstem. Ta sama ostrożność jest wymagana, gdy analizuje kod lub dokumenty techniczne: identyfikacja wzorców nie zawsze oznacza zrozumienie intencji ich autora.