Аналіз результатів глибинного розслідування журналу «The New Yorker»: Чому співробітники OpenAI вважають Альтмана ненадійною людиною?

Автор оригіналу: Сяобін, Шеньчао TechFlow

Восени 2023 року головний науковий співробітник OpenAI Ілля Суцкевер сидів за своїм комп'ютером, дописуючи 70-сторінковий документ.

Цей документ було складено на основі записів повідомлень у Slack, документів з кадрової документації та протоколів внутрішніх нарад виключно для того, щоб відповісти на одне питання: Чи можна довіряти Сему Альтману, людині, яка керує, можливо, найнебезпечнішою технологією в історії людства?

Відповідь, яку надав Суцкевер, міститься у першому рядку першої сторінки документа під заголовком «Сем демонструє стабільну модель поведінки...»

Перший пункт: Брехня.

Сьогодні, через два з половиною роки, журналісти-розслідувачі Ронан Фарроу та Ендрю Маранц опублікували великий розслідувальний матеріал у журналі «The New Yorker». Вони опитали понад 100 осіб, отримали раніше не оприлюднені внутрішні службові записки та понад 200 сторінок особистих нотаток, залишених засновником Anthropic Даріо Амодеї за час його роботи в OpenAI. Історія, що вимальовується з цих документів, набагато похмуріша за «дворцові інтриги» 2023 року: як OpenAI перетворилася з некомерційної організації, створеної для забезпечення безпеки людей, на комерційну машину, причому майже всі захисні бар’єри були знесені однією й тією ж особою.

Висновок Амодея у його нотатках є ще більш прямолінійним: «Проблема OpenAI — це сам Сем».

«Первородний гріх» OpenAI

Щоб усвідомити всю вагу цього звіту, спочатку слід з’ясувати, наскільки особливою є компанія OpenAI.

У 2015 році Альтман та група еліти Кремнієвої долини did-133">зробили те, що майже не має прецедентів в історії бізнесу: вони використали некомерційну організацію для розробки технології, яка, можливо, є найпотужнішою в історії людства. Обов'язки ради директорів були чітко визначені: безпека має пріоритет над успіхом компанії, навіть над її виживанням. Простіше кажучи, якщо одного дня штучний інтелект OpenAI стане небезпечним, рада директорів зобов'язана самостійно закрити компанію.

Вся ця концепція ґрунтується на одному припущенні: людина, відповідальна за розробку загального штучного інтелекту, має бути надзвичайно чесною.

А що, якщо це припущення помилкове?

Головною сенсацією цього звіту є саме цей 70-сторінковий документ. Суцкевер не бере участі в офісних інтригах; він є одним із провідних світових вчених у галузі штучного інтелекту. Але до 2023 року він дедалі більше переконувався в одному: Альтман постійно брехав керівництву та раді директорів.

Конкретний приклад: У грудні 2022 року Альтман запевнив раду директорів під час засідання, що низка функцій майбутньої версії GPT-4 пройшла перевірку на безпеку. Член правління Тонер попросив надати йому документи про затвердження і виявив, що дві найбільш суперечливі функції (індивідуальне налаштування та впровадження персонального помічника) взагалі не були схвалені комісією з безпеки.

В Індії траплялися ще більш шокуючі події. Співробітник повідомив іншому члену правління про «це порушення»: Компанія Microsoft випустила в Індії попередню версію ChatGPT, не провівши необхідних перевірок на безпеку.

Суцкевер також зафіксував у записці ще один випадок: Альтман сказав колишній технічній директорці Мірі Мураті, що процедура затвердження з питань безпеки не має великого значення, оскільки головний юрисконсульт компанії вже її схвалив. Мураті звернувся за роз'ясненнями до головного юрисконсульта, який відповів: «Не знаю, звідки у Сема склалося таке враження».

200 сторінок особистих нотаток Амодея

Документ Суцкевера нагадує обвинувальний акт прокурора. Понад 200 сторінок нотаток Амодея нагадують щоденник, написаний свідком на місці злочину.

Протягом тих років, коли Амодей обіймав посаду керівника відділу безпеки в OpenAI, він спостерігав, як компанія йшла на поступки під тиском комерційних інтересів. Він звернув увагу на важливу деталь інвестиційної пропозиції Microsoft від 2019 року: він включив до статуту OpenAI пункт про «злиття та співпрацю», згідно з яким, якщо інша компанія знайде більш безпечний шлях до створення загального штучного інтелекту (AGI), OpenAI повинна припинити конкуренцію та надати цій компанії допомогу. Саме цю гарантію безпеки він цінував найбільше у всій угоді.

Коли угода вже мала бути підписана, Амодеї щось виявив: Компанія Microsoft отримала право вето щодо цього пункту. Що це означає? Навіть якщо одного дня конкурент знайде кращий шлях, Microsoft зможе одним словом скасувати зобов’язання OpenAI щодо надання допомоги. Ця умова залишалася лише на папері, але з дня підписання вона втратила будь-яку цінність.

Пізніше Амодей залишив OpenAI і заснував компанію Anthropic. Конкуренція між цими двома компаніями в основному пов’язана з розбіжностями щодо того, «як слід розвивати штучний інтелект».

Зникаюче зобов'язання щодо використання 20 % обчислювальних ресурсів

У звіті є одна деталь, яка викликає мурашки по спині, — вона стосується «команди з супервирівнювання» OpenAI.

У середині 2023 року Альтман надіслав електронного листа аспіранту, який досліджував проблему «обманливої узгодженості» (коли ШІ поводиться належним чином під час тестування, але після впровадження діє на власний розсуд), висловивши свою глибоку стурбованість з цього приводу та розглянувши можливість заснування глобальної премії за наукові дослідження у розмірі 1 мільярда доларів. Аспірант надихнувся, взяв відпустку і приєднався до OpenAI.

Потім Альтман передумав: замість зовнішньої премії він створив внутрішню «команду з супервирівнювання». Компанія оголосила, що виділить цій команді «20 % наявних обчислювальних потужностей», потенційна вартість яких перевищує 1 мільярд доларів. У заяві йшлося про надзвичайно серйозну проблему: якщо питання щодо вирівнювання не буде вирішено, загальна штучна інтелігенція може призвести до «позбавлення людей влади або навіть до вимирання людства».

Ян Лейке, якого призначили керівником цієї команди, пізніше заявив журналістам, що сама ця ініціатива стала дуже ефективним «інструментом утримання талановитих співробітників».

А як щодо реальності? Четверо осіб, які працювали в цій команді або тісно з нею співпрацювали, зазначили, що фактично виділені обчислювальні потужності становили лише 1–2 % від загальних обчислювальних потужностей компанії, до того ж це було найстаріше обладнання. Пізніше цю команду розформували, а її завдання залишилося невиконаним.

Коли журналісти звернулися з проханням про інтерв’ю до співробітників OpenAI, відповідальних за дослідження в галузі «екзистенційної безпеки», відповідь прес-служби компанії була просто смішною: «Це не... справжня річ».

Сам Альтман був спокійний. Він сказав журналістам, що його «інтуїція не дуже узгоджується з багатьма традиційними підходами до безпеки ШІ», і що OpenAI й надалі буде реалізовувати «проєкти з безпеки або, принаймні, проєкти, пов’язані з безпекою».

Фінансовий директор, що опинився в тіні, та майбутнє IPO

Стаття в журналі «The New Yorker» була лише половиною поганих новин того дня. Того ж дня видання The Information опублікувало ще одну гучну новину: Між фінансовим директором OpenAI Сарою Фріар та Альтманом виникла серйозна суперечка.

Фрайер у приватній розмові зі своїми колегами висловила думку, що, на її погляд, OpenAI ще не готова до виходу на біржу цього року. Дві причини: обсяг процедурних та організаційних завдань, які потрібно було виконати, був надто великим, а фінансові ризики, пов’язані з обіцяними Альтманом витратами на обчислювальні потужності в розмірі 600 мільярдів доларів протягом п’яти років, були надто високими. Вона навіть не була впевнена, чи зможе зростання доходів OpenAI забезпечити виконання цих зобов’язань.

Але Альтман хотів поспішити з виходом на IPO у четвертому кварталі цього року.

Ще більш обурливим було те, що Фрайер більше не підпорядковувався безпосередньо Альтману. З серпня 2025 року вона почала підпорядковуватися Фіджі Сімо (генеральному директору підрозділу OpenAI, що займається розробкою додатків). А Сімо щойно взяв лікарняний через проблеми зі здоров’ям. Уявіть таку ситуацію: компанія, яка поспішає з виходом на IPO, де між генеральним директором і фінансовим директором існують принципові розбіжності, фінансовий директор не підпорядковується генеральному директору, а безпосередній керівник фінансового директора перебуває у відпустці.

Навіть керівники компанії Microsoft не могли цього терпіти, заявляючи, що Альтман «перекручує факти, не дотримується своїх слів і постійно порушує домовленості». Один із керівників Microsoft навіть зауважив: «Гадаю, є чимала ймовірність, що в кінцевому підсумку його запам'ятають як шахрая на рівні Берні Медоффа чи СБФ».

«Дволикий» портрет Альтмана

Колишній член ради директорів OpenAI розповів журналістам про дві риси характеру Альтмана. Цей опис, мабуть, є найсуворішим характеристикою персонажа у всьому звіті.

Член ради директорів зазначив, що Альтман володіє надзвичайно рідкісним поєднанням рис: у кожному особистому спілкуванні він виявляє сильне прагнення догодити іншим і сподобатися їм. Водночас він виявляє майже соціопатичну байдужість до наслідків обману інших.

Поєднання цих двох рис в одній людині — надзвичайно рідкісне явище. Але для продавця це ідеальний подарунок.

У звіті є метафора, яка добре це ілюструє: Стів Джобс був відомий своїм «полем спотворення реальності», завдяки якому він міг переконати світ у правильності свого бачення. Але навіть Джобс ніколи не говорив клієнтам: «Якщо ви не купите мій MP3-плеєр, ваші близькі помруть».

Альтман висловлювався на подібну тему щодо штучного інтелекту.

Проблема характеру генерального директора: Чому це ризик для всіх

Якби Альтман був просто генеральним директором звичайної технологічної компанії, ці звинувачення стали б, у кращому разі, цікавою діловою пліткою. Але OpenAI — це не звичайна компанія.

За власними заявами, компанія розробляє технологію, яка, можливо, стане найпотужнішою в історії людства. Це може докорінно змінити світову економіку та ринок праці (сама компанія OpenAI щойно опублікувала програмний документ, присвячений проблемі безробіття, спричиненого штучним інтелектом), а також може бути використано для створення великомасштабної біологічної зброї або здійснення кібератак.

Усі захисні бар'єри втратили будь-який сенс. Неприбуткова місія засновника поступилася місцем гонитві за первинним розміщенням акцій. Колишній головний науковий співробітник і колишній керівник служби безпеки вважають генерального директора «негідним довіри». Партнери порівнюють генерального директора з С.Б.Ф. У цьому контексті, яке право має цей генеральний директор одноосібно вирішувати, коли випускати моделі штучного інтелекту, які можуть змінити долю людства?

Гері Маркус (професор Нью-Йоркського університету, що спеціалізується на штучному інтелекті, та давній прихильник безпеки штучного інтелекту) написав такий коментар після ознайомлення зі звітом: Якщо майбутня модель OpenAI зможе створювати масштабну біологічну зброю або здійснювати катастрофічні кібератаки, чи справді ви почуватиметеся спокійно, довіривши Альтману право самостійно вирішувати, чи випускати її на ринок?

Відповідь OpenAI журналу «The New Yorker» була лаконічною: «Більша частина змісту цієї статті є переказом раніше висвітлених подій, що ґрунтується на анонімних заявах та вибіркових прикладах, а джерела, очевидно, переслідують власні інтереси».

Це цілком відповідає стилю відповідей Альтмана: він не реагує на конкретні звинувачення, не заперечує автентичність меморандуму, а лише ставить під сумнів мотиви.

«Дерево грошей», що росте на трупі некомерційної організації

Десятирічну історію OpenAI можна коротко описати так:

Група ідеалістів, стурбованих ризиками, пов’язаними зі штучним інтелектом, заснувала некомерційну організацію, що керується своєю місією. Організація досягла надзвичайних технологічних проривів. Ці прориви привернули величезні капіталовкладення. Капітал вимагав прибутку. Місія почала давати збій. Команда з безпеки була розформована. Інакодумців піддали репресіям. Неприбуткова організація була перетворена на комерційну структуру. Рада директорів, яка колись мала повноваження ліквідувати компанію, тепер складається з соратників генерального директора. Компанія, яка колись обіцяла виділити 20 % своїх обчислювальних потужностей на забезпечення безпеки людей, тепер через своїх піарників заявляє: «Це неправда».

Головного героя цієї історії так описали понад сто очевидців: «Не обмежений правдою».

Він готується вивести цю компанію на біржу, її оцінка перевищує 850 мільярдів доларів.

У цій статті узагальнено інформацію з публічних матеріалів видань «The New Yorker», «Semafor», «Tech Brew», «Gizmodo», «Business Insider», «The Information» та інших ЗМІ.