Как переписать правила интернета, когда у каждого есть неутомимый ИИ-агент

Автор: Cobo

Перенесемся в 2028 год: вы позволяете своему персональному ИИ-агенту купить ингредиенты для супа. Он быстро замечает, что морковь в местном супермаркете стоит на 10 центов дороже средней цены. Стремясь найти глобально оптимальное решение, он самостоятельно координирует всю североамериканскую цепочку поставок сельскохозяйственной продукции, едва не провоцируя международный торговый спор. В итоге он вовремя доставляет ингредиенты к вам на кухню и экономит целых 23 цента.

Эта слегка мрачная ироничная история недавно широко разошлась в Twitter. Она так откликнулась пользователям, потому что точно описывает надвигающуюся реальность: ИИ-агенты легко могут переусердствовать в погоне за локально оптимальными решениями.

Реальный аналог этой истории недавно произошел в США.

Джей Си Бар-де Стефано, инвестор венчурной компании Better Tomorrow Ventures, разрешил своему персональному ИИ-агенту Instinct отслеживать бронирования в печально известном ресторане стейков «4 Charles Prime Rib» в Нью-Йорке, где очень трудно найти свободный столик. По задумке Джей Си, Instinct должен был действовать как толковый ассистент-человек: время от времени обновлять платформу бронирования Resy, чтобы замечать возможные отмены.

Однако всего несколько часов спустя Джей Си получил уведомление о бессрочной блокировке от Resy, а все его будущие бронирования были отменены. Позже Джей Си опубликовал в Twitter скриншот письма о блокировке с ироничной подписью: «Отлично сработано, Instinct».

Чтобы понять, за что его заблокировали, Джей Си изучил журналы работы Instinct. Только тогда выяснилась правда: усердие цифрового помощника превзошло все человеческие представления. Он не только круглосуточно отправлял запросы с высокой интенсивностью — около 200 раз в час, — но и тщательно проверял доступность столиков на следующие 21 день каждые 10 минут. В пиковый период, когда места выкладывают в 9 утра, он даже сократил интервал между запросами до поразительных 0,4 секунды, атакуя систему в течение двух с половиной минут.

С точки зрения системы Resy по борьбе с мошенничеством и управлению рисками, перед ней был не отчаявшийся посетитель ресторана, а небольшая DDoS-атака или скрипт неуемного перекупщика билетов. Сам Джей Си признал, что блокировка была вполне оправданной.

История о блокировке за «чрезмерное усердие» на первый взгляд может показаться немного абсурдной, но на самом деле она предвещает смену технологической парадигмы. Она не только обнажает грубую и агрессивную стратегию выполнения задач современными ИИ-агентами, но и указывает на более глубокую проблему отрасли: готовы ли существующая интернет-инфраструктура и правила доверия к тому, что люди полностью доверят цифровые интерфейсы повседневной жизни неутомимым ИИ-агентам, работающим круглосуточно?

От «общения со мной» к «действиям от моего имени»

За этой историей с блокировкой стоит важный сдвиг в современной индустрии ИИ: ИИ постепенно выходит за рамки единственного окна чата и вступает в эпоху высокоавтономных интеллектуальных агентов, способных выполнять действия.

В повседневном опыте большинства людей ИИ по-прежнему ограничен окном чата: пользователи задают вопросы, а ИИ отвечает. Даже несмотря на постоянный рост возможностей больших языковых моделей, лежащих в основе таких систем, эта парадигма взаимодействия в формате вопрос-ответ не изменилась: ИИ остается пассивной базой знаний, ожидающей запросов.

Однако такие продукты, как Instinct, разработанный Ноа Шинном, и Meta Muse, набравший 730 000 загрузок за пять дней после запуска, представляют собой другой формат — они начинают напрямую брать на себя выполнение задач.

Пользователи могут поручать им задачи так же, как если бы писали настоящему помощнику: «Отмени ненужные подписки», «Следи за рейсами в Лондон и забронируй билет, если цена будет подходящей», «Помоги мне забронировать столик в 4 Charles».

Для выполнения этих задач агенты нового поколения получили беспрецедентные системные разрешения: доступ к электронной почте, календарю, местоположению, учетным данным и даже платежным инструментам. Если у сервиса нет API, они могут взаимодействовать с веб-страницами и даже напрямую звонить продавцам.

Muse от Meta выводит эти возможности на массовые платформы. Всего за пять дней приложение набрало 730 000 загрузок. Оно глубоко интегрировано в Instagram и WhatsApp: распознает блюда в Reels и составляет списки покупок, читает планы вечеринок в групповых чатах, автоматически работает с меню, отправляет приглашения и делит расходы.

Одновременно Meta открыла доступ к Muse Connectors, позволяя сторонним разработчикам превращать Gmail, Calendar, Notion, Spotify и интерфейсы электронной коммерции в стандартизированные инструменты для агентов. Получив разрешение пользователя, Muse может самостоятельно координировать действия в разных сервисах по расплывчатой команде на естественном языке: прочитать групповые чаты, чтобы организовать ужин, проверить свободное время в Calendar и завершить покупку через платформу бронирования. По сути, Muse Connector с помощью структурированных протоколов постоянно расширяет круг действий, которые агенты могут выполнять.

Однако по мере стремительного расширения операционной зоны агентов они вскоре сталкиваются с традиционными правилами интернет-систем управления рисками, обнажая слепые зоны в архитектуре современной интернет-безопасности.

Когда платформенные модели оценки рисков сталкиваются с ИИ-агентами

Если оглянуться на опыт Джей Си, система управления рисками Resy не ошиблась — она лишь применила стандартную логику, сформировавшуюся в интернете за последние двадцать лет: от CAPTCHA и цифровых отпечатков устройств до ограничения частоты запросов по IP-адресу. Все системы безопасности давно исходят из бинарного предположения: за устройством находится либо реальный человек, либо бот со злонамеренными скриптами.

Персональные агенты полностью нарушают это равновесие.

Высокочастотные круглосуточные запросы агентов с откликом на уровне миллисекунд технически неотличимы от злонамеренных атак. Но с точки зрения договорных отношений за ними стоит реальный пользователь, который дал полное информированное согласие и четко делегировал задачу.

Это несоответствие ставит вопрос: как платформе классифицировать трафик, который одновременно сочетает «полное делегирование со стороны законного пользователя» и «ярко выраженные машинные характеристики»? Это злонамеренная атака или продолжение действий законного пользователя?

Если блокировка агента для бронирования со стороны Resy была лишь стандартной защитой одной платформы от аномального трафика, то недавняя полная блокировка Meta Muse со стороны Amazon превращает это техническое противоречие в борьбу между платформами за экосистему.

Спустя несколько недель после запуска Muse функции покупок на разных платформах Amazon недавно заблокировала весь доступ с узлов агента Muse, сославшись на «несанкционированные автоматизированные скрипты» и проблемы с авторизацией безопасности, — так была прервана цепочка покупок агента. Этот конфликт ярко выявляет структурный разрыв эпохи агентов: разрешение пользователя не означает разрешения платформы.

Пользователи, безусловно, могут разрешить Muse купить для них бумажные полотенца, но Amazon также вправе отказать в доступе любой неофициальной машинной идентичности. Для гиганта электронной коммерции риск заключается в том, что точка входа в процесс покупок и отношения с клиентами могут оказаться под угрозой перехвата агентами верхнего уровня.

Однако базовые интернет-протоколы сегодня явно не готовы к таким сложным двойным отношениям.

OAuth хорошо определяет, к чему приложения могут получить доступ, а Rate Limit позволяет ограничивать частоту запросов. Но ни тот ни другой механизм не отвечает на три более глубоких вопроса о контексте: чьи интересы представляет агент? Точно ли он выполняет текущее намерение пользователя? Готова ли платформа принять такое делегирование действий?

Даже если в будущем удастся решить проблемы проверки личности, противоречия останутся. Resy может подтвердить: «это агент Джей Си, которому он выдал разрешение», а Amazon — распознать: «это Muse, авторизованный пользователем». Но платформе все равно придется решить, разрешать ли неутомимым агентам с откликом на уровне миллисекунд полностью перестроить логику использования ее ресурсов — особенно если этих ресурсов и так крайне мало.

Когда модель «кто первый пришел, тот и получил» начинает давать сбой

Бронирования в популярных ресторанах, билеты на концерты звезд, билеты со скидкой в последнюю минуту, коллекционные предметы ограниченного выпуска... Долгое время человеческое общество распределяло эти ограниченные ресурсы по одним и тем же традиционным правилам: запасы ограничены, а возможности достаются тем, кто быстрее их обнаружит и воспользуется ими.

Причина, по которой этот принцип «кто первый пришел, тот и получил» позволяет сохранять равновесие, заключается в неявном пороге затрат времени и усилий: внимание и физические возможности человека ограничены.

Большинство людей не станет обновлять страницу бронирования 72 часа подряд и проверять цены на авиабилеты каждые несколько секунд. Время, терпение и скорость реакции служат естественным фильтром. Возможно, он не обеспечивает справедливость, но эффективно ограничивает число попыток каждого участника.

Однако, когда каждый обзаведется интеллектуальным агентом, этот физический буфер исчезнет.

Если каждый сможет поручить программе круглосуточно отслеживать десятки вариантов и автоматически отправлять запрос в ту же секунду, когда появится свободное место, принцип «кто первый пришел, тот и получил» быстро превратится в соревнование между агентами: чей быстрее отреагирует, глубже получит доступ и сможет сделать больше попыток — или у кого окажутся более совершенные интерфейсы и ресурсы.

Эпоха, когда предложение и спрос регулировались физическими ограничениями и соревнованием в человеческом терпении, полностью уходит в прошлое, уступая конкуренции вычислительных мощностей машин. В дальнейшем платформы, вероятно, будут развиваться в нескольких направлениях:

• Продолжать бороться с автоматизацией с помощью более совершенных методов обнаружения. Использовать более сложные CAPTCHA, более строгую проверку цифровых отпечатков устройств и более агрессивные механизмы оценки аномального поведения. В краткосрочной перспективе этот подход может сработать, но по мере того как агентские программы все лучше имитируют поведение людей в браузере, поддерживать такую стратегию будет трудно.
• Создавать протоколы идентификации агентов. Разработать для агентов механизмы проверки личности и ограничения частоты запросов, чтобы платформы могли не только определять, что запросы отправляет определенная учетная запись, но и подтверждать, что это агент, авторизованный Джей Си, который проверяет доступность в пределах разрешенных ему полномочий. По сути, это расширение модели OAuth: к ней добавляется уровень, позволяющий фиксировать делегирование полномочий и рамки разрешенных действий. Это поможет снизить риск злоупотребления мерами контроля, но все еще не ответит на вопрос, как распределять дефицитные ресурсы.
• Встроить функции в платформу: создать собственный уровень сбора намерений. Вместо того чтобы позволять тысячам внешних агентов опрашивать серверы с миллисекундными интервалами, платформы могут сами предоставить интерфейсы и создать собственный уровень сбора намерений. Пользователям больше не придется торопиться: достаточно оставить долгосрочное пожелание, например найти столик на двоих в любой пятничный вечер в течение следующего месяца. Платформа сама будет распределять заявки по единым правилам — например, с помощью лотереи, баллов лояльности или кредита за выполнение заказов.
• Перейти к полноценному выявлению цены, то есть к рыночным аукционам, чтобы дефицит регулировался динамическим ценообразованием. Для действительно дефицитных товаров динамические цены или торги могут позволить рынку самостоятельно распределять ресурсы. Агенты отлично справляются с автоматическими ставками в рамках заданного бюджета: они могут постоянно оценивать цены с учетом заданных пользователями предпочтений и бюджета, а затем автоматически завершать сделки, когда условия — например, выгодность покупки — совпадают. Компромисс такого подхода состоит в том, что доступ к ресурсам напрямую зависит от готовности пользователя платить, что ставит вопрос о справедливости их распределения.

На практике будущее, вероятно, будет сочетать разные механизмы: официальную аутентификацию личности агента для машинного доступа, встроенные механизмы сопоставления предпочтений для обычных товаров и более прозрачные механизмы распределения (например, очереди, лотереи или динамические торги) для товаров с высоким спросом. Изменения уже происходят, и обратить их вспять невозможно. Платформам необходимо заблаговременно выбрать и внедрить новые правила, а не надеяться, что физические ограничения при взаимодействии с людьми сами по себе будут неявно регулировать спрос и предложение.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.