هوش مصنوعی و انقراض بشریت: خطر ۲ تریلیون دلاری؟

علم بدون وجدان فقط ویرانی روح است. رابلن نمی‌دانست که پنج قرن قبل از ظهور هوش مصنوعی به خوبی می‌گوید. سام آلتمن، جفری هینتون، باراک اوباما، سازمان ملل و حتی ویتالیک بوترین همه در کاغذ از همان خطر هشدار می‌دهند. خطر هوش مصنوعی که از هر کنترلی فرار کند. اما به محض اینکه کمی عمیق‌تر برویم، دیگر هیچ‌کس درباره یک چیز صحبت نمی‌کند. یکی از انقراض گونه انسانی می‌ترسد. دیگری نگران از بین رفتن میلیون‌ها شغل، تمرکز قدرت در سه شرکت آمریکایی است. یا به سادگی اینکه همسایه چینی‌اش خیلی جلوتر برود. یک کلمه، هشدار، سه منطق را پوشش می‌دهد که تقریباً هیچ چیز مشترکی ندارند، جز واژگانی که از آن‌ها قرض می‌گیرند. نکات کلیدی این مقاله:

• چندین شخصیت تأثیرگذار، از جمله سام آلتمن و جفری هینتون، نگرانی خود را در مورد احتمال وجود هوش مصنوعی که از کنترل انسان خارج می‌شود، ابراز کرده‌اند.
• یک بحث پایدار میان کسانی که از انقراض گونه انسانی به دلیل هوش مصنوعی می‌ترسند و کسانی که نگران پیامدهای فوری بر اشتغال و تعصبات الگوریتمی هستند، وجود دارد.

انقراض یا شغل‌های از دست رفته: هوش مصنوعی به دلایل یکسان ترسناک نیست

در مارس ۲۰۲۳، مرکز ایمنی هوش مصنوعی، مؤسسه تحقیقاتی کالیفرنیایی، یک جمله منحصر به فرد را به امضای بیش از ۳۵۰ مدیر و محقق رساند. این جمله مبارزه با خطر انقراض مرتبط با هوش مصنوعی را به عنوان یک اولویت جهانی قرار می‌دهد. در همان سطح با پاندمی‌ها یا جنگ هسته‌ای.

در میان امضاکنندگان، سام آلتمن، دمیس هاسابی و داریو آمودئی هستند. این سه مدیر به طور خاص آزمایشگاه‌های پیشرفته‌ترین بخش را رهبری می‌کنند، یعنی به ترتیب OpenAI، Google DeepMind و Anthropic. جفری هینتون و یوشوا بنگیو، که پایه‌های یادگیری عمیق را بیست سال پیش گذاشتند، نیز امضا می‌کنند.

دو سال و نیم بعد. در اکتبر ۲۰۲۵، مؤسسه آینده زندگی با بیانیه‌ای درباره «فراهوش» این موضوع را بیشتر پیش می‌برد. و اینجا، دوباره، بیش از ۸۰۰ امضا، از جمله امضای استیو ووزنیاک، ریچارد برنسون و پرنس هری. آن‌ها خواستار ممنوعیت توسعه یک فراهوش تا زمانی که یک توافق علمی و پذیرش عمومی امنیت آن را تضمین نکند، هستند. بنگیو هنوز هم در این جمع است.

در کنار این دو متن، خانواده دیگری از محققان سال‌هاست که روی یک موضوع کاملاً متفاوت کار می‌کنند. موضوع تعصبات الگوریتمی در استخدام یا عدالت پیش‌بینی‌کننده. این همچنین به بی‌ثباتی مشاغل کامل و تعدادی از شرکت‌های آمریکایی که قدرت محاسبات جهانی را متمرکز کرده‌اند، مربوط می‌شود. برای این گروه، که اغلب تحت عنوان اخلاق هوش مصنوعی جمع می‌شوند، صحبت از انقراض انسانی توجه را از آسیب‌های قابل اندازه‌گیری که امروز بر کارگران خاص تأثیر می‌گذارد، منحرف می‌کند، نه بشریت انتزاعی در پنجاه سال آینده. هر دو گروه از واژه خطر استفاده می‌کنند، اما آن‌ها درباره خطر یکسانی صحبت نمی‌کنند.

آلتمن و ماسک: آتش‌نشان آتش‌افروز

بیایید به امضاکنندگان خوبمان برگردیم. سام آلتمن در ماه مه ۲۰۲۳ متن مرکز ایمنی هوش مصنوعی را امضا می‌کند. همان سال، OpenAI از مایکروسافت ۱۰ میلیارد دلار جمع‌آوری می‌کند و مسابقه برای مدل قدرتمندترین بازار را آغاز می‌کند.

در سال ۲۰۲۶، این شرکت پرونده ورود به بورس خود را ثبت می‌کند بدون اینکه هرگز از مسابقه قدرت محاسباتی عقب‌نشینی کند. اما به طور خاص زمانی که ما این مقاله را می‌نویسیم، صبح امروز اعلام می‌کند که برای امسال به عقب برمی‌گردد. هشدار درباره انقراض گونه و دویدن به دنبال جمع‌آوری بعدی سرمایه، این ابهام را ایجاد می‌کند.

الون ماسک در این زمینه عقب نمی‌ماند. در مارس 2023، او همچنین نامه‌ای را از موسسه آینده زندگی امضا می‌کند. این نامه خواستار توقف شش ماهه در آموزش مدل‌های قدرتمندترین است. چهار ماه بعد، xAI به وجود می‌آید. مدل او، Grok، امروز بر روی یکی از بزرگ‌ترین خوشه‌های محاسباتی که تاکنون جمع‌آوری شده، اجرا می‌شود. هیچ‌کس هرگز این توقف را اعمال نکرده است.

در آنتروپیک، داریو آمودئی به طور منظم متونی منتشر می‌کند که جزئیات آن را با اعداد پشتیبانی می‌کند. او در آنجا سناریوهایی را توضیح می‌دهد که در آن یک مدل مرزی ممکن است از کنترل سازندگانش خارج شود. در همین حال، آنتروپیک به دنبال ارزیابی رکوردی برای عرضه عمومی خود است. و این شرکت در یک نبرد بسیار مورد توجه با پنتاگون بر سر استفاده نظامی از مدل‌های خود پیروز شده است.

تقریباً وسوسه می‌شویم که آن را بازسازی پروژه منهتن ببینیم. فیزیکدانانی که بمب را ساخته بودند، همچنین اولین کسانی بودند که پس از نابودی هیروشیما و ناگازاکی، خواستار کنترل بین‌المللی بر سلاحی شدند که به تازگی تحویل داده بودند. این مقایسه محدودیت‌هایی دارد. اوپنهایمر هرگز بر سر حق امتیاز بر روی پلوتونیوم مذاکره نکرد. سه مدیر هوش مصنوعی در حالی که هر سه ماه یک بار، ماشینی برای جمع‌آوری سرمایه را به حرکت در می‌آورند، هشدار می‌دهند.

ما باید مرزها را عقب برانیم: من یک مقاله جدید نوشته‌ام که چرا صنعت هوش مصنوعی باید کند شود، با یک برنامه سه‌قسمتی برای انجام این کار.

آنتروپیک به طور یک‌جانبه به اولین این مراحل متعهد می‌شود. ما به ارزیابان شخص ثالث دسترسی دائمی، معادل دسترسی کارکنان خود، به سیستم‌های خود خواهیم داد. آنها می‌توانند رعایت تدابیر ایمنی ما را بررسی کنند، حوادث را گزارش دهند و انسجام مدل‌ها را در حین آموزش ارزیابی کنند. --- داریو آمودئی (@DarioAmodei) 12 سپتامبر 2026 << ما باید مرزها را عقب برانیم: من یک مقاله جدید نوشته‌ام که توضیح می‌دهد چرا صنعت هوش مصنوعی باید کند شود و یک برنامه سه‌قسمتی برای این کار ارائه می‌دهد. آنتروپیک به طور یک‌جانبه به اجرای اولین این مراحل متعهد می‌شود. ما به ارزیابان شخص ثالث دسترسی دائمی، معادل دسترسی کارکنان خود، به سیستم‌های خود خواهیم داد. آنها می‌توانند رعایت تدابیر ایمنی ما را بررسی کنند، حوادث را گزارش دهند و انسجام مدل‌ها را در حین آموزش ارزیابی کنند. >>

اوباما، ترامپ، پکن: مسابقه هوش مصنوعی در پوشش امنیت

در برابر این مسابقه بی‌پایان، سیاستمداران وارد عمل می‌شوند. باراک اوباما از دموکرات‌های آمریکایی می‌خواهد که یک برنامه روشن در مورد هوش مصنوعی داشته باشند. او همچنین، به گفته نیویورک تایمز، خواستار نوعی احتیاط در برابر سرعت استقرار مدل‌ها می‌شود. این بیانیه در حالی منتشر می‌شود که دولت ترامپ دقیقاً در جهت مخالف فشار می‌آورد. یک فرمان ریاست‌جمهوری به جلوگیری از هر ایالت آمریکایی از قانون‌گذاری در مورد هوش مصنوعی به نام یک چارچوب فدرال واحد و بیشتر مجاز، می‌پردازد. یک فرمان قبلی ترامپ قبلاً وعده داده بود که امنیت و نوآوری را ترکیب کند. در عمل، کفه ترازو به وضوح به سمت گزینه دوم متمایل است.

در سمت چینی، سخنرانی رسمی از همان واژگان اوباما یا موسسه آینده زندگی استفاده می‌کند. در اجلاس جهانی هوش مصنوعی در شانگهای در سال 2026، پکن بیانیه‌ای به نفع حکمرانی جهانی هماهنگ در این بخش امضا می‌کند. در همین حال، یک شرکت چینی متهم به دزدی مدل‌های آنتروپیک برای جبران عقب‌ماندگی خود شده است که این موضوع باعث واکنش واشنگتن شده است. همکاری ظاهری و مسابقه فناوری واقعی بر روی دو ریل پیش می‌رود که هرگز به هم نمی‌رسند.

اتحادیه اروپا مسیر معکوس را انتخاب کرده و با قانون هوش مصنوعی، که از سال 2024 به تدریج به اجرا درآمده، مجبور به قانون‌گذاری می‌شود. با این حال، بروکسل بازاری را تنظیم می‌کند که در آن نه مدل‌ها و نه مراکز داده قدرتمندترین را در اختیار دارد. واشنگتن و پکن هوش مصنوعی را تأمین مالی می‌کنند. اروپا آن را تحلیل می‌کند.

آینه، آینه زیبا، کدام هوش مصنوعی زیباتر است؟

در ژوئیه 2026، کمیسیون فدرال ارتباطات (FCC) به Reflect Orbital اجازه می‌دهد. این استارتاپ آمریکایی قصد دارد یک آینه غول‌پیکر را در مدار پایین زمین آزمایش کند. این آینه قادر است نور خورشید را به یک نقطه خاص روی زمین در شب بازتاب دهد. هدف اعلام شده، فروش نور خورشید به صورت درخواستی به کشاورزان یا پروژه‌هایی است که می‌خواهند روزهای کاری خود را طولانی‌تر کنند. از ماه‌ها پیش، ستاره‌شناسان، زیست‌شناسان و چندین انجمن حامی آسمان شب هشدار داده‌اند. آن‌ها نگران آلودگی نوری هستند که ممکن است با گسترش این پروژه به وجود آید. آن‌ها همچنین به اختلال در چرخه‌های خواب حیات وحش و تصاویری از رصدخانه‌هایی که غیرقابل استفاده می‌شوند، اشاره می‌کنند. CBC به بررسی نقاط ضعف قانونی این پرونده پرداخته است. هیچ قانونی در سطح بین‌المللی واقعاً مشخص نمی‌کند که چه کسی حق دارد شب یک کشور همسایه را از فضا تغییر دهد. با این حال، FCC پروژه را تأیید کرده است.

به ظاهر هیچ ارتباطی با یک مدل زبانی ندارد. با این حال، همان مکانیزم در هر دو طرف در حال کار است. یک جامعه علمی هشدار می‌دهد، مستند می‌کند و خطر را محاسبه می‌کند. یک نهاد خصوصی، که توسط یک نهاد تنظیم‌کننده که آخرین کلمه را دارد، حمایت می‌شود، با وجود همه این‌ها پیش می‌رود، زیرا توانایی فنی و تأمین مالی لازم را دارد. هشدار هرگز مشکل نبوده است. مشکل این است که هیچ‌کس، نه 800 امضاکننده مؤسسه آینده زندگی، نه محققان مرکز ایمنی هوش مصنوعی، و نه باراک اوباما، قدرت توقف کسانی را که تصمیم به فشار دادن دکمه دارند، ندارد.

Reflect Orbital و هوش مصنوعی: همان مکانیزم قدرت

در اینجا مقایسه با Reflect Orbital مفیدتر از هر گونه مقایسه‌ای با بمب اتمی می‌شود. یک آینه در مدار و یک مدل بنیاد با چند صد میلیارد پارامتر، به ظاهر هیچ ارتباطی با هم ندارند. با این حال، آن‌ها ساختار تصمیم‌گیری مشابهی دارند. یک گروه کوچک از بازیگران خصوصی، یک نهاد تنظیم‌کننده که بیشتر از آنکه آن‌ها را متوقف کند، به آن‌ها اجازه می‌دهد. این حجم از متون هشدار که بدون هیچ‌گونه تأثیری بر زمان‌بندی گسترش انباشته می‌شود. FCC چند ماه طول کشید تا در مورد Reflect Orbital تصمیم بگیرد. سه سال است که همان متون در مورد هوش مصنوعی در حال گردش هستند، بدون اینکه هیچ آزمایشگاهی حتی یک گام در مسیر خود کند کند.

سازمان ملل خود در گزارشی که امسال منتشر شد، تأیید کرده است که هوش مصنوعی می‌تواند خسارات فاجعه‌بار ایجاد کند اگر هیچ مکانیزم کنترلی الزامی تا پایان دهه به وجود نیاید. این متن هیچ ارزشی قانونی ندارد. هیچ دولتی ملزم به اجرای آن نیست.

Reflect Orbital باید قبل از پایان سال اولین آینه آزمایشی خود را راه‌اندازی کند. آزمایشگاه‌های هوش مصنوعی قبلاً مدل‌های بعدی خود را برای سال 2027 برنامه‌ریزی کرده‌اند. متون هشدار همچنان بر روی میز افرادی انباشته خواهند شد که هرگز قدرت اجرای آن‌ها را نداشته‌اند.