Интерпретация глубокого расследования The New Yorker: Почему инсайдеры OpenAI считают Олтмана ненадежным?

Автор оригинала: Сяобоинг, Шэньчао TechFlow

Осенью 2023 года главный научный сотрудник OpenAI Илья Суцкевер сидел перед своим компьютером, завершая 70-страничный документ.

Этот документ был составлен из записей сообщений в Slack, файлов коммуникации с HR и протоколов внутренних встреч, исключительно для ответа на один вопрос: Можно ли доверять Сэму Альтману, ответственному за то, что может быть самой опасной технологией в истории человечества?

Ответ, предоставленный Суцкевером, написан на первой строке первой страницы документа, с заголовком списка "Сэм демонстрирует устойчивую модель поведения..."

Первый пункт: Ложь.

Сегодня, спустя два с половиной года, журналисты-расследователи Ронан Фэрроу и Эндрю Марантц опубликовали обширный репортаж в The New Yorker. Они опросили более 100 человек, получили ранее не разглашаемые внутренние меморандумы и более 200 страниц частных записей, оставленных основателем Anthropic Дарио Амодеи во время его работы в OpenAI. История, собранная из этих документов, гораздо мрачнее, чем "дворцовые интриги" 2023 года: как OpenAI превратилась из некоммерческой организации, созданной для безопасности людей, в коммерческую машину, при этом почти все барьеры безопасности были демонтированы одним и тем же человеком.

Заключение Амодеи в его записях еще более прямолинейно: "Проблема с OpenAI - это сам Сэм."

"Первородный грех" OpenAI

Чтобы понять значимость этого отчета, сначала нужно понять, насколько OpenAI уникальна как компания.

В 2015 году, Альтман и группа элит Силиконовой долины did-133">сделал что-то почти беспрецедентное в истории бизнеса: они использовали некоммерческую организацию для разработки того, что может быть самой мощной технологией в истории человечества. Обязанности совета четко сформулированы: безопасность имеет приоритет перед успехом компании, даже перед выживанием компании. Проще говоря, если однажды ИИ OpenAI станет опасным, совет обязан сам закрыть компанию.

Вся структура основана на одном предположении: человек, отвечающий за AGI, должен быть чрезвычайно честным человеком.

Что, если это предположение ошибочно?

Основной сенсацией отчета является этот 70-страничный документ. Суцкевер не занимается партийной политикой; он является одним из ведущих в мире ученых в области ИИ. Но к 2023 году он все больше убеждался в одном: Олтман постоянно лгал руководству и совету директоров.

Конкретный пример: В декабре 2022 года Олтман заверила совет директоров во время встречи, что несколько функций предстоящего GPT-4 прошли проверки на безопасность. Член совета Тонер попросил предоставить документы одобрения и обнаружил, что две из наиболее спорных функций (индивидуальная настройка и развертывание персонального ассистента) вообще не получили одобрения от группы по безопасности.

Еще более возмутительные вещи произошли в Индии. Сотрудник сообщил другому члену правления о «этом нарушении»: Microsoft выпустила раннюю версию ChatGPT в Индии, не завершив необходимые проверки безопасности.

Суцкевер также зафиксировал еще один инцидент в записке: Олтман сказал бывшему техническому директору Майре Мурати, что процесс получения одобрения на безопасность не так важен, поскольку общий совет компании уже одобрил его. Мурати подтвердила это с генеральным советником, который ответил: «Я не знаю, где Сэм получил такое впечатление».

200 страниц личных записей Аmodei

Документ Суцкевера похож на обвинительное заключение прокурора. Более 200 страниц записей Аmodei напоминают дневник, написанный свидетелем на месте преступления.

За время, пока Аmodei работал руководителем службы безопасности в OpenAI, он наблюдал, как компания отступает под коммерческим давлением. Он отметил ключевую деталь из инвестиционного дела Microsoft в 2019 году: он вставил в устав OpenAI пункт о "слиянии и помощи", означающий, что если другая компания найдет более безопасный путь к ИИ, OpenAI должна прекратить конкуренцию и помочь этой компании. Это была гарантия безопасности, которую он ценил больше всего во всей сделке.

Когда сделка была на грани подписания, Амодей обнаружил кое-что: Microsoft получила право вето на этот пункт. Что это значит? Даже если однажды конкурент найдет лучший путь, Microsoft сможет блок Обязанность OpenAI помочь одним словом. Положение все еще было на бумаге, но с момента подписания оно стало бесполезным.

Позже Амодей покинул OpenAI и основал Anthropic. Конкуренция между двумя компаниями в основном вращается вокруг разногласий по поводу "как следует развивать ИИ".

Исчезающее обязательство по вычислительной мощности в 20%

В отчете есть деталь, которая вызывает озноб, касающаяся "суперкоманды по выравниванию" OpenAI.

В середине 2023 года Олтман отправил электронное письмо аспиранту, исследовавшему проблему «вводящего в заблуждение выравнивания» (ИИ ведет себя хорошо во время тестирования, но после развертывания делает что-то свое), выразив свою глубокую обеспокоенность по этому вопросу и рассмотрев возможность создания глобальной исследовательской премии в размере 1 миллиарда долларов. Аспирант был воодушевлен, взял отпуск и присоединился к OpenAI.

Затем Олтман передумал: нет внешней премии, но вместо этого была создана внутренняя «команда по сверхвыравниванию». Компания объявила, что выделит этой команде «20% существующих вычислительных ресурсов», потенциальная стоимость которых превышает 1 миллиард долларов. Объявление было крайне серьезным, в нем говорилось, что если проблема выравнивания не будет решена, AGI может привести к «лишению людей власти или даже к вымиранию человечества».

Ян Лейк, которого назначили руководить этой командой, позже рассказал репортерам, что само обязательство было очень эффективным «инструментом удержания талантов».

А как насчет реальности? Четыре человека, которые работали в этой команде или тесно с ней сотрудничали, сказали, что фактически выделенный вычислительный ресурс составлял всего 1–2% от общего вычислительного ресурса компании, и это было самое старое оборудование. Позже эту команду распустили, и ее миссия осталась невыполненной.

Когда репортеры запросили интервью с сотрудниками OpenAI, отвечающими за исследования в области «экзистенциальной безопасности», ответ по связям с общественностью компании вызвал смех: "Это не... реальная вещь."

Сам Альтман был спокоен. Он сказал репортерам, что его "интуиция не очень хорошо согласуется со многими традиционными вещами, связанными с безопасностью ИИ", и OpenAI все равно будет заниматься "проектами в области безопасности или, по крайней мере, проектами, связанными с безопасностью."

CFO из числа маргинализированных и предстоящее IPO

Отчет The New Yorker был только половиной плохих новостей в тот день. В тот же день The Information раскрыла еще одну крупную историю: Между финансовым директором OpenAI Сарой Фрайер и Альтманом возник серьезный спор.

Фрайер в частном порядке сказала коллегам, что она считает, что OpenAI не готова к публичному размещению в этом году. Причины две: объем процедурной и организационной работы, которую нужно было завершить, был слишком велик, а финансовые риски, связанные с обещанными Альтманом расходами на вычисления в размере 600 миллиардов долларов в течение пяти лет, были слишком высоки. Она даже не была уверена, сможет ли рост доходов OpenAI поддержать эти обязательства.

Но Элтман хотел поспешить с выходом на IPO в четвертом квартале этого года.

Еще более возмутительно, что Фрайер больше не подчинялась напрямую Элтману. Начиная с августа 2025 года, она стала подчиняться Фиджи Симо (генеральный директор подразделения по разработке приложений OpenAI). А Симо только что ушла в отпуск по болезни. Рассмотрите эту ситуацию: компания спешит с выходом на IPO, при этом между генеральным директором и финансовым директором существуют принципиальные разногласия, финансовый директор не подчиняется генеральному директору, а начальник финансового директора находится в отпуске.

Даже руководители в Microsoft не могли этого вынести, говоря, что Альтман «искажает факты, нарушает свое слово и постоянно нарушает соглашения». Один из руководителей Microsoft даже заметил: «Я думаю, есть веские основания полагать, что в конечном итоге его будут помнить как мошенника уровня Берни Мэдоффа или SBF».

«Двойной» портрет Альтмана

Бывший член совета директоров OpenAI описал два черты характера Альтмана репортерам. Этот очерк может быть самым резким в отчете.

Член правления сказал, что у Олтмана крайне редкое сочетание качеств: он имеет сильное желание угодить и понравиться другим при каждом личном общении. В то же время он обладает почти социопатическим безразличием к последствиям обмана других.

Наличие обоих качеств в одном человеке крайне редко. Но для продавца это идеальный подарок.

В отчете есть метафора, которая хорошо это передает: Стив Джобс был известен своим «полем искажения реальности», способным заставить мир поверить в его видение. Но даже Джобс никогда не говорил клиентам: «Если вы не купить мой MP3-плеер, люди, которых вы любите, умрут».

Альтман говорил подобное об ИИ.

Проблема характера генерального директора: Почему это риск для всех

Если бы Альтман был просто генеральным директором обычной технологической компании, эти обвинения в лучшем случае были бы захватывающим слухом из мира бизнеса. Но OpenAI не обычна.

Согласно ее собственным заявлениям, она разрабатывает то, что может стать самой мощной технологией в истории человечества. Она может изменить мировую экономику и рынок труда (сама OpenAI только что опубликовала программную белую книгу по вопросу безработицы, вызванной ИИ) и также может быть использована для создания крупномасштабного биологического оружия или для запуска кибератак.

Все барьеры безопасности стали бессмысленными. Некоммерческая миссия основателя уступила место стремлению к IPO. Бывший главный научный сотрудник и бывший руководитель службы безопасности считают генерального директора «незаслуживающим доверия». Партнеры сравнивают генерального директора с SBF. В этом контексте какое право имеет этот генеральный директор единолично решать, когда выпускать модели ИИ, которые могут изменить судьбу человечества?

Гэри Маркус (профессор ИИ Нью-Йоркского университета и давний сторонник безопасности ИИ) написал строчку после прочтения отчета: Если будущая модель OpenAI сможет создавать биологическое оружие массового поражения или запускать катастрофические кибератаки, вы действительно будете спокойны, если Олтман будет решать, выпускать ли ее в одиночку?

Ответ OpenAI The New Yorker был краток: «Большая часть содержания этой статьи — это пересказ ранее сообщенных событий, основанный на анонимных заявлениях и выборочных анекдотах, при этом источники явно преследуют личные цели».

Это очень соответствует стилю ответов Олтмана: не комментировать конкретные обвинения, не отрицать подлинность меморандума, а только ставить под сомнение мотивы.

Дерево денег, растущее на трупе некоммерческой организации

Десятилетнюю историю OpenAI можно изложить следующим образом:

Группа идеалистов, обеспокоенных рисками ИИ, создала некоммерческую организацию, движимую миссией. Организация совершила экстраординарные технологические прорывы. Прорывы привлекли огромный капитал. Капитал требовал отдачи. Миссия начала разваливаться. Команда по обеспечению безопасности была распущена. Несогласные были изгнаны. Некоммерческая структура была преобразована в коммерческую организацию. В совет директоров, который когда-то имел право закрывать компанию, теперь входят союзники генерального директора. Компания, которая когда-то обещала выделять 20% своих вычислительных мощностей для обеспечения безопасности людей, теперь имеет сотрудников по связям с общественностью, которые говорят: «Это не реальная вещь».

Главного героя этой истории более сотни очевидцев назвали так же: «Не стесненный правдой».

Он готовится вывести эту компанию на биржу с оценкой свыше 850 миллиардов долларов.

В этой статье обобщена информация из публичных отчетов The New Yorker, Semafor, Tech Brew, Gizmodo, Business Insider, The Information и других СМИ.