تفسیر تحقیق عمیق نیویورکر: چرا افراد مطلع در اوپن‌ای‌آی آلترمن را غیرقابل‌اعتماد می‌دانند؟

نویسندهٔ اصلی: شیاوبینگ، شنچائو تک‌فلو

در پاییز ۲۰۲۳، ایلیا سوتسکوور، دانشمند ارشد اوپن‌ای‌آی، در مقابل کامپیوترش نشسته بود و یک سند ۷۰ صفحه‌ای را تکمیل می‌کرد.

این سند صرفاً برای پاسخ به یک سؤال از سوابق پیام‌های اسلک، فایل‌های ارتباطی منابع انسانی و صورت‌جلسات جلسات داخلی گردآوری شده است: آیا می‌توان به سم آلتمن، فردی که مسئول فناوری‌ای است که ممکن است خطرناک‌ترین فناوری در تاریخ بشر باشد، اعتماد کرد؟

پاسخی که سوتسکوور ارائه کرده است، در خط اول صفحهٔ اول سند نوشته شده است، با عنوان فهرست «سم الگوی رفتاری ثابتی را نشان می‌دهد...»

نقطهٔ اول: دروغ گفتن

امروز، دو سال و نیم بعد، روزنامه‌نگاران تحقیقی رونان فارو و اندرو مارانتس گزارشی تحقیقی مفصل در نیویورکر منتشر کردند. آنها بیش از ۱۰۰ نفر را مصاحبه کردند، یادداشت‌های داخلی پیش‌تر منتشرنشده‌ای را به‌دست آوردند و بیش از ۲۰۰ صفحه یادداشت خصوصی را که داریو آمودئی، بنیان‌گذار Anthropic، در دوران حضورش در OpenAI به‌جا گذاشته بود، جمع‌آوری کردند. داستانی که از این اسناد به دست آمده، بسیار زشت‌تر از «دسیسهٔ کاخ» سال ۲۰۲۳ است: چگونه اوپن‌ای‌آی از یک سازمان غیرانتفاعی که برای ایمنی انسان ایجاد شده بود، به یک ماشین تجاری تبدیل شد، در حالی که تقریباً همه موانع ایمنی توسط همان فرد از بین برده شدند.

نتیجه‌گیری آمودئی در یادداشت‌هایش حتی صریح‌تر است: مشکل اوپن‌ای‌آی خودِ سم است.

«گناه اصلی» اوپن‌ای‌آی

برای درک اهمیت این گزارش، ابتدا باید روشن شود که اوپن‌ای‌آی به‌عنوان یک شرکت تا چه حد ویژه است.

در سال ۲۰۱۵، آل‌مان و گروهی از نخبگان سیلیکون‌ولی کاری تقریباً بی‌سابقه در تاریخ کسب‌وکار did-133">انجام دادند: آن‌ها از یک سازمان غیرانتفاعی برای توسعه آنچه ممکن است قدرتمندترین فناوری در تاریخ بشر باشد، استفاده کردند. مسئولیت‌های هیئت مدیره به‌وضوح بیان شده بود: ایمنی بر موفقیت شرکت مقدم است، حتی بر بقای آن. به زبان ساده، اگر روزی هوش مصنوعی اوپن‌ای‌آی خطرناک شود، هیئت‌مدیره موظف است خود شرکت را تعطیل کند.

کل ساختار بر یک فرض استوار است: فردی که مسئول هوش مصنوعی عمومی است باید فردی بسیار صادق باشد.

اگر آن فرض اشتباه باشد چه؟

مهم‌ترین بخش گزارش، آن سند ۷۰ صفحه‌ای است. سوتسکوور در سیاست‌های اداری دخالت نمی‌کند؛ او یکی از برجسته‌ترین دانشمندان هوش مصنوعی جهان است. اما تا سال ۲۰۲۳، او بیش از پیش به یک چیز قانع شده بود: آلتمن به‌طور مداوم به مدیران و هیئت‌مدیره دروغ می‌گفت.

یک مثال مشخص: در دسامبر ۲۰۲۲، آلترمن در طی جلسه‌ای به هیئت مدیره اطمینان داد که چندین ویژگی GPT-4 آتی، بازبینی‌های ایمنی را پشت سر گذاشته‌اند. عضو هیئت مدیره تونر درخواست مشاهده اسناد تأیید را کرد و متوجه شد که دو مورد از بحث‌برانگیزترین ویژگی‌ها (تنظیم دقیق سفارشی توسط کاربر و استقرار دستیار شخصی) اصلاً تأییدیه پنل ایمنی را دریافت نکرده‌اند.

در هند اتفاقات حتی شگفت‌آورتر رخ داد. یک کارمند به یکی دیگر از اعضای هیئت مدیره در مورد «آن تخلف» گزارش داد: مایکروسافت نسخه اولیه ChatGPT را در هند بدون تکمیل بازبینی‌های ایمنی لازم منتشر کرد.

سوتسکوور همچنین یک حادثهٔ دیگر را در یادداشت ثبت کرد: آلتمن به میرا موراتی، مدیر ارشد فناوری پیشین، گفته بود که فرایند تأیید ایمنی چندان مهم نیست، زیرا مشاور حقوقی کل شرکت قبلاً آن را تأیید کرده بود. موراتی برای تأیید موضوع با مشاور حقوقی کل تماس گرفت که او پاسخ داد: «نمی‌دانم سم این تصور را از کجا به دست آورده است.»

۲۰۰ صفحه یادداشت‌های خصوصی آمودئی

مستند سوتسکوور مانند کیفرخواست دادستان است. یادداشت‌های بیش از ۲۰۰ صفحه‌ای آمودئی شبیه دفترچه‌ای است که توسط یک شاهد در صحنهٔ جرم نوشته شده باشد.

در طول سال‌هایی که آمودئی به‌عنوان رئیس ایمنی در اوپن‌ای‌آی خدمت می‌کرد، شاهد بود که شرکت تحت فشارهای تجاری عقب‌نشینی می‌کند. او به یک جزئیات کلیدی از طرح سرمایه‌گذاری مایکروسافت در سال ۲۰۱۹ اشاره کرد: او یک بند «ادغام و همکاری» را در اساسنامه OpenAI گنجانده بود که به این معنا بود که اگر شرکت دیگری راهی امن‌تر به سوی هوش مصنوعی عمومی (AGI) پیدا کند، OpenAI باید از رقابت دست بردارد و به آن شرکت کمک کند. این همان تضمین امنیتی بود که او در کل معامله بیش از همه برایش ارزش قائل بود.

در حالی که قرار بود قرارداد امضا شود، آمودئی متوجه چیزی شد: مایکروسافت بر این بند حق وتو یافته بود. این یعنی چه؟ حتی اگر روزی یک رقیب مسیر بهتری پیدا کند، مایکروسافت می‌تواند با یک کلمه، تعهد اوپن‌ای‌آی به کمک‌رسانی را مسدود کند. این بند هنوز روی کاغذ بود، اما از روز امضا بی‌ارزش شد.

آمودئی بعداً اوپن‌ای‌ای را ترک کرد و آنتروپیک را تأسیس کرد. رقابت بین این دو شرکت اساساً حول اختلاف نظر بر سر «چگونگی توسعه هوش مصنوعی» می‌چرخد.

تعهد محاسباتی ۲۰ درصدی در حال ناپدید شدن

جزئیاتی در این گزارش وجود دارد که در مورد «تیم هم‌راستایی فوق‌العاده» اوپن‌ای‌آی، لرزه بر اندام می‌اندازد.

در اواسط سال ۲۰۲۳، آلترمن به دانشجوی دکترایی که در زمینه «همسویی فریبنده» (رفتار خوب هوش مصنوعی در حین آزمایش اما عمل به میل خود پس از استقرار) تحقیق می‌کرد، ایمیل زد و نگرانی عمیق خود را در مورد این مسئله ابراز کرد و به تأسیس جایزه تحقیقاتی جهانی ۱ میلیارد دلاری فکر می‌کرد. دانشجوی دکتری دلگرم شد، مرخصی گرفت و به اوپن‌ای‌آی پیوست.

سپس آلتمَن نظرش را عوض کرد: هیچ جایزهٔ خارجی دریافت نشد، اما در عوض یک «تیم هم‌راستایی فوق‌العاده» داخلی تشکیل داد. شرکت اعلام کرد که «۲۰٪ از توان محاسباتی موجود» را به این تیم اختصاص خواهد داد، با ارزشی بالقوه بیش از یک میلیارد دلار. این اعلامیه بسیار جدی بود و می‌گفت که اگر مسئله هم‌راستایی حل نشود، هوش مصنوعی عمومی می‌تواند منجر به «سلب قدرت از انسان‌ها یا حتی انقراض بشر» شود.

یان لایکه، که برای رهبری این تیم منصوب شده بود، بعدها به خبرنگاران گفت که خودِ این تعهد یک «ابزار بسیار مؤثر برای حفظ استعدادها» بود.

درباره واقعیت چه؟ چهار نفر که در این تیم یا با آن همکاری داشتند گفتند که محاسبات واقعی تخصیص‌یافته تنها ۱ تا ۲ درصد از کل محاسبات شرکت بود و این سخت‌افزار قدیمی‌ترین بود. این تیم بعدها منحل شد و مأموریتش ناتمام ماند.

وقتی خبرنگاران درخواست مصاحبه با کارکنان OpenAI مسئول پژوهش «ایمنی وجودی» را کردند، پاسخ روابط‌عمومی شرکت خنده‌دار بود: این یک... چیز واقعی نیست.

آلتمن خودش آرام بود. او به خبرنگاران گفت که «شهودش با بسیاری از مسائل سنتی ایمنی هوش مصنوعی هم‌خوانی ندارد» و اوپن‌ای‌آی همچنان به «پروژه‌های ایمنی، یا دست‌کم پروژه‌های مرتبط با ایمنی» ادامه خواهد داد.

مدیر مالی حاشیه‌ای و عرضه اولیه آتی

گزارش نیویورکر تنها نیمی از اخبار بد آن روز بود. در همان روز، نشریهٔ The Information یک گزارش مهم دیگر را منتشر کرد: اختلاف جدی‌ای بین سارا فریر، مدیر ارشد مالی اوپن‌ای‌آی، و آلترمن وجود داشت.

فرایار به‌طور خصوصی به همکارانش گفت که احساس می‌کند اوپن‌ای‌آی امسال برای عرضهٔ عمومی آماده نیست. دو دلیل: حجم کاری رویه‌ای و سازمانی برای انجام بیش از حد بزرگ بود و ریسک‌های مالی ناشی از وعده آلتمَن برای صرف ۶۰۰ میلیارد دلار در پنج سال برای محاسبات بیش از حد بالا بود. او حتی مطمئن نبود که رشد درآمد OpenAI بتواند از این تعهدات حمایت کند.

اما آلتمَن می‌خواست در سه‌ماهه چهارم امسال شتاب‌زده برای عرضه اولیه سهام اقدام کند.

حتی شگفت‌آورتر اینکه، فرایار دیگر مستقیماً به آلتمَن گزارش نمی‌داد. از اوت ۲۰۲۵، او گزارش‌دهی خود را به فیجی سیمو (مدیرعامل کسب‌وکار اپلیکیشن اوپن‌ای‌آی) آغاز کرد. و سیمو به‌تازگی به‌خاطر دلایل پزشکی مرخصی استعلاجی گرفته بود. این وضعیت را در نظر بگیرید: شرکتی که برای عرضه اولیه سهام عجله دارد، با اختلافات اساسی بین مدیرعامل و مدیر مالی، مدیر مالی به مدیرعامل گزارش نمی‌دهد و سرپرست مدیر مالی در مرخصی است.

حتی مدیران ارشد مایکروسافت هم تحملش را نداشتند و می‌گفتند آلترمن «حقایق را تحریف می‌کند، به حرفش عمل نمی‌کند و دائماً توافق‌ها را زیر پا می‌گذارد.» یک مدیر اجرایی مایکروسافت حتی اظهار داشت: «فکر می‌کنم احتمال معقولی وجود دارد که او در نهایت به‌عنوان یک کلاهبردار در سطح برنی مدوف یا SBF به یاد آورده شود.»

پرتره «دو‌رو»ی آلتمَن

یک عضو سابق هیئت مدیره اوپن‌ای‌آی دو ویژگی در آلتمن را برای خبرنگاران توصیف کرد. این توصیف ممکن است سخت‌ترین طرح شخصیت در کل گزارش باشد.

عضو هیئت مدیره گفت آلتمن دارای ترکیبی بسیار نادر از ویژگی‌هاست: او در هر تعامل رودررو اشتیاق شدیدی برای خشنود ساختن دیگران و محبوب شدن نزد آن‌ها دارد. در عین حال، او بی‌تفاوتی‌ای تقریباً روان‌آزارانه نسبت به پیامدهای فریب دیگران دارد.

داشتن هر دو ویژگی در یک فرد بسیار نادر است. اما برای یک فروشنده، این هدیه‌ای بی‌نقص است.

در گزارش یک استعاره وجود دارد که آن را به‌خوبی بیان می‌کند: استیو جابز به «میدان تحریف واقعیت» خود مشهور بود، توانایی‌ای که می‌توانست جهان را به باور در چشم‌اندازش وادارد. اما حتی جابز هم به مشتریان نگفت: «اگر پخش‌کنندهٔ MP3 من را نخرید، کسانی که دوستشان دارید خواهند مرد.»

آلتمن چیزهای مشابهی درباره هوش مصنوعی گفته است.

مسئله شخصیتی یک مدیرعامل: چرا این ریسک همه است

اگر آلتمَن صرفاً مدیرعامل یک شرکت فناوری معمولی بود، این اتهامات حداکثر یک شایعهٔ هیجان‌انگیز در دنیای کسب‌وکار بودند. اما OpenAI معمولی نیست.

طبق ادعاهای خود، در حال توسعهٔ فناوری‌ای است که ممکن است قدرتمندترین فناوری در تاریخ بشر باشد. این می‌تواند اقتصاد جهانی و بازار کار را دگرگون کند (خود OpenAI به‌تازگی یک سند سفید سیاست‌گذاری دربارهٔ مسئلهٔ بیکاری ناشی از هوش مصنوعی منتشر کرده است) و همچنین می‌تواند برای ساخت سلاح‌های بیولوژیکی در مقیاس وسیع یا راه‌اندازی حملات سایبری مورد استفاده قرار گیرد.

تمام موانع ایمنی بی‌معنی شده‌اند. مأموریت غیرانتفاعی بنیان‌گذار جای خود را به شتاب برای عرضه اولیه سهام داده است. دانشمند ارشد سابق و رئیس سابق ایمنی هر دو مدیرعامل را «غیرقابل‌اعتماد» می‌دانند. شرکا مدیرعامل را با SBF مقایسه می‌کنند. در این زمینه، این مدیرعامل چه حقی دارد که به‌طور یک‌جانبه تصمیم بگیرد چه زمانی مدل‌های هوش مصنوعی را که می‌توانند سرنوشت بشریت را تغییر دهند، منتشر کند؟

گری مارکوس (استاد هوش مصنوعی دانشگاه نیویورک و مدافع دیرینه‌ی ایمنی هوش مصنوعی) پس از خواندن گزارش نوشت: اگر یک مدل آیندهٔ OpenAI قادر بود سلاح‌های زیستی در مقیاس وسیع بسازد یا حملات سایبری فاجعه‌بار راه‌اندازی کند، آیا واقعاً راحت بودید که تنها به آلترمن اجازه دهید تصمیم بگیرد آن را منتشر کند؟

پاسخ اوپن‌ای‌آی به نیویورکر مختصر بود: بیشتر محتوای این مقاله بازگویی رویدادهای پیش‌تر گزارش‌شده است که بر اساس اظهارات ناشناس و حکایات گزینشی استوار است و منابع آن آشکارا اهداف شخصی دارند.

کاملاً مطابق سبک پاسخ‌آلتمَن: اشاره نکردن به اتهامات مشخص، انکار نکردن اصالت یادداشت، تنها زیر سؤال بردن انگیزه‌ها.

درختی از پول که بر لاشه‌ی یک سازمان غیرانتفاعی می‌روید

داستان ده‌سالهٔ OpenAI را می‌توان به شرح زیر خلاصه کرد:

گروهی از ایده‌آلیست‌ها که نگران خطرات هوش مصنوعی بودند، یک سازمان غیرانتفاعی هدف‌محور ایجاد کردند. سازمان دستاوردهای فناوری فوق‌العاده‌ای داشت. این پیشرفت‌ها سرمایه‌ی هنگفتی را جذب کردند. سرمایه بازده خواست. ماموریت شروع به فروپاشی کرد. تیم ایمنی منحل شد. مخالفان پاکسازی شدند. ساختار غیرانتفاعی به یک نهاد انتفاعی تبدیل شد. هیئت‌مدیره که زمانی اختیار تعطیلی شرکت را داشت، اکنون مملو از متحدان مدیرعامل است. شرکتی که زمانی وعده داده بود ۲۰٪ از توان محاسباتی خود را به تأمین امنیت انسان‌ها اختصاص دهد، اکنون کارکنان روابط عمومی‌اش می‌گویند: «چنین چیزی واقعی نیست.»

قهرمان این داستان توسط بیش از صد شاهد عینی، یکسان نام‌گذاری شده است: بی‌بند و حد از حقیقت

او در حال آماده‌سازی برای عرضهٔ عمومی این شرکت است، با ارزش‌گذاری‌ای بیش از ۸۵۰ میلیارد دلار.

این مقاله اطلاعات را از گزارش‌های عمومی نیویورکر، سِمافور، تک برو، گِزِمودو، بیزینس اینسایدر، دِ اینفورمیشن و سایر رسانه‌ها گردآوری می‌کند.