OpenAI тільки що показала, чому один з її колишніх дослідників вважає, що ШІ може вбити всіх

OpenAI стверджує, що її остання система ШІ вирішила 90-річну математичну задачу за 88 годин, відновивши побоювання щодо неконтрольованого інтелекту.

8 вересня компанія повідомила, що внутрішня модель, яка значно перевищує нещодавно випущений GPT-6 Astra, координувала приблизно 10 000 агентів ШІ для вирішення проблеми існування та гладкості рівняння Нав'є-Стокса. Це одна з семи проблем тисячоліття в математиці.

Агенти обмінялися 2,7 мільйонами повідомлень і згенерували близько 130 мільярдів вихідних токенів, перш ніж Astra витратила ще 17 годин на формалізацію та перевірку результату в Lean. OpenAI заявила, що система довела, що спочатку гладкий рух рідини може розвинути сингулярність за скінченний час, вирішивши питання, яке залишалося відкритим з 1930-х років.

Ця проблема має приз у 1 мільйон доларів від Інституту математики Клея. OpenAI заявила, що не має наміру претендувати на нагороду, хоча доказ все ще має витримати ширшу перевірку, перш ніж його рішення буде загальноприйнятим.

Реакція з боку математичної спільноти, тим не менш, була вражаючою. Американське математичне товариство описало цю подію як "значний прогрес в людських знаннях", відзначаючи десятиліття роботи математиків перед фінальними кроками, зробленими за допомогою системи OpenAI.

Прорив виявляє зростаючу прірву між публічним і приватним ШІ

Масштаб стрибка можливостей агентів ШІ здивував людей, які працюють з сучасними передовими моделями.

Саймон Сміт, виконавчий віце-президент з генеративного ШІ в Klick Health, назвав це "однією з найшокуючих речей, які я бачив сьогодні", зазначивши, що сама Astra тільки що була випущена і вже вважалася надзвичайно здатною. OpenAI стверджує, що її модель Нав'є-Стокса значно перевищує Astra в математиці і все ще перебуває в навчанні.

Тим часом святкування швидко перетворилося на питання, хто може конкурувати, коли передові лабораторії мають системи, які значно перевищують все, що доступно клієнтам.

Джозеф Г. Аллен, професор Гарвардської школи громадського здоров'я Т.Х. Чана, стверджував, що експеримент OpenAI пропонує потенційний попередній перегляд більш широкої економічної проблеми.

Аллен вказав на обставини, що оточують прорив. Математики Трістан Бакмастер і Левент Алпоге використовували публічно доступні інструменти ШІ, займаючись пов'язаними дослідженнями в області рідинної динаміки, перш ніж OpenAI дізналася про прогрес і розгорнула тисячі агентів, які працюють на її більш просунутій приватній моделі.

OpenAI стверджує, що почала свою роботу над призом тисячоліття після того, як почула чутки про те, що дві проблеми були вирішені. Вона заперечує, що бачила неопубліковану роботу Бакмастера і Алпоге або отримувала доступ до конкретних даних користувачів, хоча компанія заявила, що не може виключити, що анонімні дані про використання продукту сприяли загальному поліпшенню моделі.

Аллен зазначив, що такий же дисбаланс може проявитися в комерційних галузях.

Наприклад, засновник може витратити багато коштів на використання публічно доступних моделей, щоб довести, що ШІ може покращити виявлення раку шкіри, залучити інвестиції та створити потенційно цінну компанію. Передня лабораторія може потім помітити можливість і розгорнути вищу внутрішню модель з тисячами агентів для вирішення тієї ж проблеми.

"Протягом кількох днів вони виграють", - написав Аллен, стверджуючи, що цей сценарій може повторитися в фармацевтиці, медицині, праві, передових матеріалах і програмному забезпеченні.

Побоювання частково виникають через масштаб, який продемонструвала OpenAI. Компанія почала навчати свою нову внутрішню модель 28 серпня і заявила, що її продуктивність продовжує покращуватися.

Коли агенти несподівано вирішили пов'язану проблему рівнянь Ейлера, OpenAI перенесла ресурси з інших викликів призу тисячоліття на Нав'є-Стокса і оновила агентів, коли стали доступні більш здатні версії моделі.

Швидкі досягнення відновлюють попередження про те, що ШІ може стати неконтрольованим.

Це прискорення також надало нової ваги попередженням від дослідників, які допомогли створити прикордонні системи, що тепер просуваються далі за межі доступних публічно моделей.

Джейкоб Коксон подав у відставку з Anthropic цього тижня після трьох років проведення досліджень попереднього навчання в Anthropic та OpenAI, де він був зазначений як основний учасник у GPT-4o.

Коксон сказав:

"Люди, які будують ШІ, щиро вірять, що він може вбити нас усіх до кінця десятиліття."

Він звинуватив OpenAI та Anthropic у гонці до самовдосконалюючого суперінтелекту, "ризикуячи нашими життями", стверджуючи, що конкурентний тиск змушує лабораторії продовжувати будувати більш потужні системи, незважаючи на невизначеність щодо того, чи можуть вони залишатися під контролем людини.

Система Нав'є-Стокса не демонструє рекурсивного самовдосконалення, якого боїться Коксон. Люди все ще обирали цілі дослідження, виділяли обчислювальні ресурси та оновлювали моделі. Але експеримент показує, як швидко може розширитися дослідницька спроможність, коли прикордонна модель множиться на тисячі координованих агентів.

Еван Хабінгер, керівник науки про узгодження в Anthropic, потім публічно підтримав основне попередження Коксона.

"Ми справді щиро віримо, що ШІ може вбити всіх людей," - сказав Хабінгер, оцінюючи ймовірність цього результату більше ніж 10% протягом наступного десятиліття.

Хабінгер сказав, що Anthropic намагається вирішити цю проблему, але поки що не має плану для узгодження суперінтелекту і не є чітко на шляху до його знаходження. Він підкреслив, що вважає ризик від теперішніх моделей низьким.

Однак його занепокоєння зосереджене на майбутньому суперінтелекті, що виникає через рекурсивне самовдосконалення, де все більш здатні системи ШІ допомагають виробляти ще більш потужних наступників.

Попередження швидко поширилися за межі лабораторій ШІ, причому мільярдер-інвестор Білл Акерман описав нитку відставки Коксона одним словом: "Тривожно".

Заклики зупинити гонку ШІ набирають обертів у Вашингтоні

Дебати все більше переходять від попереджень про майбутні системи до пропозицій, які б забороняли компаніям їх будувати без нових запобіжників.

Депутат штату Теннессі Джастін Дж. Пірсон пішов далі, стверджуючи, що компанії ШІ не можуть бути довірені самостійно контролювати себе, і назвав неконтрольований розвиток машинного навчання екзистенційною загрозою.

"Це повинно налякати нас до дій," - сказав Пірсон, закликаючи до негайного втручання уряду.

Вже сенатор Берні Сандерс і депутат Грег Касар оголосили законодавство 3 вересня, яке назавжди заборонить розробку та впровадження штучного суперінтелекту та тимчасово призупинить розвиток просунутого ШІ, поки федеральний регулятор не встановить правила безпеки.

Їх запропонований Закон про заборону штучного суперінтелекту також зобов'яже США шукати міжнародні угоди, спрямовані на запобігання розробці суперінтелектуальних систем в інших країнах.

Сандерс вже закликав OpenAI, Anthropic та Meta в серпні призупинити розвиток просунутого ШІ, посилаючись на повторювані епізоди, коли все більш автономні системи, здавалося, перевищували очікувані запобіжники.

Тиск також надходить зсередини галузі. Anthropic запропонував у червні, щоб провідні лабораторії ШІ розробили координований, перевіряємий механізм для уповільнення або зупинки прикордонного розвитку, якщо можливості розвиваються швидше, ніж доступні запобіжники.

OpenAI почала створювати автоматизовані можливості для вимкнення своїх інструментів ШІ після тесту безпеки, в якому агенти втекли з обмеження і отримали доступ до зовнішньої мережі, в той час як законодавці запропонували надати федеральним чиновникам повноваження вимкнути небезпечні системи.

Компанія сама визнала напруженість, оголосивши про результат Нав'є-Стокса. OpenAI заявила, що прорив був частково призначений для того, щоб показати громадськості, як швидко прогресують її моделі, і що майбутні досягнення можуть вимагати "більш обдуманих рішень" щодо темпу розвитку.

Це залишає політиків перед тією ж проблемою, яку підняли Коксон і Хубінгер: чи можуть бути встановлені правила для контролю над суперінтелектуальним ШІ до того, як будуть розроблені системи, яких бояться дослідники.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.