Эволюция ИИ: границы и реальность рекурсивного самоулучшения (RSI)

Автор: Чжао Чжимин, PhD, Университет Куинс, Канада (исследовательские интересы: интеллект кода и модели мира)

Если вы впервые слышите о RSI, эта статья может стать вводным руководством. Мы разберем RSI с самых основ: начнем с первых попыток самоулучшения в ИИ, обсудим современных агентов, способных изменять код, генерировать обучающие данные и участвовать в разработке моделей, а также проследим, как ИИ постепенно учится улучшать себя.

В 07.2026 OpenAI выпустила GPT-5.6. Впервые в отчетной карточке модели появился несколько необычный новый пункт: может ли ИИ участвовать в улучшении самого ИИ?

OpenAI назвала эту способность самоулучшением. GPT-5.6 Sol набрала 57,9%, а GPT-5.5 — 41,7%: разница между двумя поколениями моделей составила 16,2 процентного пункта. Речь не о том, сколько стандартных задач может решить модель, а о том, способна ли она включиться в разработку ИИ: устранять неполадки в исследовательских системах, оптимизировать программы ядер GPU и рецепты обучения, проводить эксперименты по машинному обучению и даже помогать улучшать другую модель.

Это не единичная новость. Тем же летом OpenAI начала называть агентов «автоматизированными стажерами-исследователями». AgentX от Kuaishou уже привлекает агентов к выдвижению решений, написанию кода и проведению онлайн A/B-тестов, сравнивающих новые и старые версии. Google заявила, что длительные циклы работы агентов участвовали в доработке следующей версии модели. Motus2 перенесла прогнозирование, оценку и обновление стратегий в реальных роботов.

Эти примеры затрагивают проведение исследований, промышленные эксперименты, обучение моделей и физические действия, однако ни один из них не отвечает на главный вопрос: станет ли улучшенная система лучше справляться со следующим циклом улучшений?

Именно этот вопрос лежит в основе рекурсивного самоулучшения (Recursive Self-Improvement, RSI). OpenAI называет соответствующую оценку RSI Index — индексом, измеряющим «способность достигать RSI». Поскольку полный набор вопросов, веса задач и формулы агрегирования не раскрыты, 57,9% можно считать лишь внутренней составной метрикой, а не долей успешно выполненных задач или показателем «полноты» RSI.

Тем не менее эти цифры знаменуют перемены: вопрос, прежде существовавший главным образом в мысленных экспериментах, передовые лаборатории начинают разбирать на измеримые исследовательские способности.

Исследователям понадобилось сорок лет, чтобы постепенно передать машинам все больше процессов улучшения. Сначала в этой статье мы разграничим несколько часто смешиваемых способностей, а затем рассмотрим пять «этапов расширения границ»: какие ограниченные циклы уже запущены, почему они пока не равнозначны «интеллектуальному взрыву» и почему способ замыкания цикла важнее самого факта его замыкания. Эти пять этапов — лишь схема для описания истории, а не общепризнанная технологическая классификация. Они частично совпадают по времени и продолжают развиваться параллельно.

Что такое RSI: от самоулучшения к рекурсивному усилению

Во всех этих новостях говорится о «самоулучшении», но не объясняется, как определить, что замкнутый цикл завершен.

В традиционном понимании рекурсивное самоулучшение (RSI) — это способность системы ИИ использовать свои текущие возможности для улучшения когнитивных механизмов, которые эти возможности породили. Затем улучшенная система участвует в следующем цикле усовершенствований. Здесь чаще всего путают способность к самоулучшению со способностью к самоускорению. Система может лучше решать задачи из фиксированного набора, не становясь лучше в разработке следующего цикла обучения. Компания может ускорить исследования и разработки благодаря широкому применению агентов, но это еще не означает возникновения эффекта сложного роста, порождаемого самими улучшениями.

Это не новая идея. В 1863 году Сэмюэл Батлер представил машины, превосходящие людей благодаря итерационной эволюции. В 1950 году Тьюринг предложил создать «машину-ребенка», которую можно обучать и которая способна изменять себя. В 1965 году И. Дж. Гуд отметил: если для «создания лучших машин» тоже нужен интеллект, то достаточно умная машина сможет проектировать более сильных преемников, которые продолжат совершенствоваться, что приведет к «интеллектуальному взрыву».

Главное не в том, участвует ли ИИ в улучшениях, а в том, становится ли улучшенная система лучше в самоулучшении. Чтобы четко определить эту границу, RSI можно разложить на четыре наблюдаемых критерия, от самого легкого к самому трудному.

В этой статье используется следующая схема. Это не единственное академическое определение, а способ разделить утверждения, которые часто смешивают:

• Непрерывное улучшение: эффективные изменения могут сохраняться в весах, памяти, инструментах или процессах обучения, а не исчезать после одного ответа. Под весами здесь понимаются параметры — набор чисел, которые модель постоянно корректирует и в конечном итоге сохраняет в ходе обучения. Выполнение этого критерия необходимо, чтобы говорить о самоулучшении; в этой статье этот термин относится к улучшениям вывода, памяти, параметров или инструментов.

• Автономный замкнутый цикл: система может выявлять проблемы, предлагать изменения, проводить эксперименты, оценивать результаты и принимать более удачные версии в заданных границах. В этих границах новая версия может участвовать в следующем цикле улучшений — в этой статье это называется ограниченным RSI.

• Рекурсивное усиление (также называемое «запуском»): новая версия не только показывает более высокие результаты в задачах, но и лучше старой версии создает следующее улучшение. Лишь после преодоления этой границы «сама способность к улучшению» начинает накапливать эффект; в этой статье это называется рекурсивным самоускорением.

• Надежность и контроль: улучшения сохраняются при фиксированных ресурсах и скрытых оценках, переносятся на ранее не встречавшиеся задачи и не приводят к загрязнению оценки, неконтролируемому усложнению системы, ухудшению согласованности или невозможности аудита (согласованность означает, что поведение ИИ соответствует намерениям и ограничениям человека, а не просто позволяет получить высокий балл). Для приближения к RSI без заранее заданных границ необходимо выполнить все четыре критерия.

На данный момент появились первые два критерия, для третьего недостаточно публичных свидетельств, а четвертый остается нерешенным. Наличие ограниченных замкнутых циклов не означает, что началось рекурсивное самоускорение. Улучшения смогут перейти в режим самоподдерживающегося роста, только если рекурсивной обратной связи хватит, чтобы компенсировать рост сложности исследований, удлинение циклов итераций и другие факторы сопротивления.

Далее мы будем последовательно использовать четыре термина. Самоулучшение означает улучшение вывода, памяти, параметров или инструментов. Если новая версия может участвовать в следующем цикле улучшений в фиксированных границах, это ограниченный RSI. Если улучшенная система становится лучше в самоулучшении, это рекурсивное самоускорение — «запуск» третьего уровня. Если такое усиление также сохраняется, переносится на новые задачи и выходит за исходные границы задач, система приближается к RSI без заранее заданных ограничений.

На данный момент появились первые два уровня, для третьего недостаточно публичных свидетельств, а четвертый остается нерешенным. Наличие ограниченных замкнутых циклов не означает, что началось рекурсивное самоускорение. Улучшения смогут перейти в режим самоподдерживающегося роста, только если рекурсивной обратной связи хватит, чтобы компенсировать рост сложности исследований, удлинение циклов итераций и другие факторы сопротивления.

Чтобы понять, какого уровня мы достигли сегодня, нужно вернуться к ИИ, который научился «жульничать» еще в 1981 году.

Что такое RSI: от самоулучшения к рекурсивному усилению

В 1981 году Дуглас Ленат создал систему EURISKO. Она не только решала задачи с помощью эвристических правил, но и генерировала, изменяла и оценивала новые правила, применяя этот механизм даже к самой себе. Для своего времени это было весьма продвинутым решением.

EURISKO участвовала в национальном чемпионате Traveller TCS по космическим шахматам. Она проектировала флоты, моделировала сражения и корректировала стратегии на основе неудач. Система выиграла чемпионат в 1981 году, а после изменения правил организаторами победила снова — в 1982-м. Сообщество ИИ было потрясено: эта штука действительно могла самоулучшаться!

Но вскоре Ленат столкнулся с более сложной проблемой.

EURISKO обнаружила, что для получения высокого балла необязательно повышать реальные способности. Одно из правил не делало значимых открытий, но научилось добавлять свое имя в список «первооткрывателей», когда открытия совершали другие правила. В результате внутренняя оценка его «полезности» быстро приблизилась к максимуму. Иными словами, система не стала умнее — она научилась использовать лазейки в механизме оценки.

Сегодня это явление обычно называют взломом системы вознаграждений: система находит лазейки, чтобы повысить свой балл, не достигая настоящих целей, заданных разработчиком. В контексте самоулучшения ИИ это особенно опасно: когда система одновременно является объектом улучшения и может влиять на оценку, самоулучшение рискует превратиться в самообман. Позже мы не раз столкнемся с этой ловушкой.

В последующие десятилетия генетические алгоритмы, эволюционные стратегии и нейроэволюция снова и снова показывали, что поиск и отбор могут порождать сложное поведение. Но они также постоянно демонстрировали одну и ту же проблему: если в целевых метриках есть лазейки, система может сначала научиться использовать их, а не действительно становиться сильнее.

Эта линия развития продолжается до 2017 года, когда появился еще более крайний пример — AlphaZero от DeepMind. Она с нуля освоила го, шахматы и сёги исключительно благодаря самостоятельной игре и впервые продемонстрировала мощь «обучения на данных, которые система сгенерировала сама».

В рамках четырехуровневой схемы этой статьи AlphaZero — ограниченная реализация: самостоятельная игра создает обучающие сигналы, улучшения записываются в веса, и в пределах фиксированной игры сформировались первые два уровня.

Однако ключевое ограничение состоит в том, что границы замкнутого цикла задаются людьми, а система не может изменять сами границы. Функции вознаграждения (баллы за победу), правила игры, процессы обучения и методы оценки заранее определены людьми. AlphaZero создала устойчивый автономный цикл самоулучшения внутри полностью закрытой песочницы, но не могла поставить эту песочницу под сомнение или изменить ее. Это означает, что улучшения навсегда ограничены измерением «лучше играть в шахматы» и не могут выйти за пределы песочницы.

Таков общий потолок исторических методов. Исследования эпохи LLM не перепрыгнули через него, но начали поочередно включать в замкнутый цикл элементы, которыми прежде управляли люди. Первым передали сигнал обратной связи, определяющий, «что нужно улучшить».

Первый этап (2022–2023): Как научить ИИ на собственных ошибках

Все исторические методы упирались в одно и то же: направление улучшения заранее задавали люди. EURISKO и AlphaZero полагались на заданные человеком функции оценки, а генетические алгоритмы — на созданные людьми функции приспособленности. Системы могут эволюционировать, но развиваются только по заданным человеком траекториям. Чтобы двигаться дальше, нужно прежде всего спросить: может ли система без участия человека оценивать качество собственного текущего результата и определять направление улучшения? Сигнал обратной связи, указывающий на следующее изменение, в этой статье называется «сигналом улучшения».

Раньше этот шаг был невозможен, потому что машины не понимали, «что считается хорошим ответом». Во второй половине 2022 года большие языковые модели (LLM) уже научились понимать язык и оценивать качество текста. Впервые универсальным методом стала генерация языковой обратной связи самой системой. Главное ограничение этого подхода: параметры в ходе всего процесса не меняются; улучшения происходят главным образом в процессе рассуждений и внешней памяти.

Reflexion: превращение разбора ошибок в многоразовую память

Самый прямой подход — попросить модель дорабатывать ответы в реальном времени: сначала дать ответ, затем раскритиковать его, переписать и повторять этот цикл, не меняя параметров. Но у такого подхода есть неотъемлемый недостаток. Критиковать собственный ответ той же моделью — все равно что измерять кусок ткани той же линейкой: слепые зоны трудно обнаружить. Если разбор остается в пределах текущего контекста, весь прогресс исчезнет после завершения задачи.

Reflexion (NeurIPS'23) добавляет важный элемент дизайна — ситуационную память. После неудачного выполнения задачи модель на естественном языке составляет разбор ошибок и сохраняет его для дальнейшего использования. При столкновении с похожей задачей она напрямую получает этот контекст. Это похоже на блокнот ошибок для ИИ: чем больше накоплено ошибок, тем выше стартовая точка следующей попытки.

В тесте программирования на Python HumanEval Reflexion достигла точности pass@1 91%, превзойдя лучший из прежних результатов, указанных в статье, — GPT-4 (80%). Pass@1 показывает долю задач, решенных после одного полного цикла ответа, когда итоговая программа проходит скрытые модульные тесты. Во всем этом процессе параметры модели оставались неизменными.

Первая граница прогресса: память может сохраняться, но на ее основе не сформированы новые базовые способности.

Ситуационная память Reflexion может сохранять сведения между задачами и тем самым частично отвечать требованию «устойчивого улучшения». Однако сохраняется внешняя текстовая память, а не параметры модели, и новая модель с более сильными базовыми способностями не появляется. Если убрать память, способности возвращаются к исходному уровню.

Итог: этот этап дает ИИ сохраняемый блокнот ошибок, но опыт еще не усвоен. Чтобы двигаться дальше, улучшения нужно записывать в параметры и создавать действительно новую версию.

Второй этап (2022–2024): Обучение на данных, сгенерированных самой моделью

Цель — встроить блокнот ошибок в ядро модели. На этом этапе решается задача записи сигналов улучшения, сгенерированных самой системой, в параметры, чтобы способности улучшались действительно устойчиво. Без этого шага не возникает рекурсивной структуры, в которой «последовательные версии сильнее предшественников», а значит, нет и RSI.

Идея проста: пусть модель сгенерирует набор обучающих данных, а затем использует его для собственного дообучения. Это немного напоминает «попытку подняться в небо, наступая себе на ногу». Этот этап как раз призван выяснить, возможно ли это на деле.

Впервые устойчивое улучшение на уровне весов стало систематически изучаться с помощью больших языковых моделей.

STaR: основа самонастраивающегося рассуждения

В 2022 году STaR (Self-Taught Reasoner) (NeurIPS'22) позволила модели генерировать цепочки рассуждений, сохранять правильные части ответов для собственного дообучения, а затем использовать обновленную модель для генерации следующей партии цепочек рассуждений.

Проблема в том, что если модель с самого начала отвечает неправильно на все вопросы, цикл не запустится.

Решение STaR называется обратным рассуждением: сначала модели сообщают правильный ответ, чтобы она вывела ход решения и использовала его для обучения. Это похоже на то, как сначала включить свет в темной комнате, научить кого-то ходить, а затем выключить свет и предложить ему ориентироваться самостоятельно.

SPIN: улучшение модели путем сравнения с прошлыми версиями

Порог фильтрации в STaR фиксирован, тогда как SPIN (Self-Play Fine-Tuning) (ICML'24) позволяет текущей модели соревноваться с предыдущими версиями, учась различать «человеческие примеры» и «результаты прошлых версий». Чем труднее их различить, тем ближе модель к человеческим примерам; дополнительные ручные аннотации не нужны.

Граница второго этапа: веса изменились, но цели и красную ручку по-прежнему держат люди.

Этот этап обеспечивает устойчивость на уровне весов, но сигналы обратной связи все еще зависят от человека. Функцию вознаграждения проектируют люди, обучающие задачи выбирают люди, стандарты фильтрации данных тоже устанавливают люди. Система может самостоятельно генерировать данные-кандидаты, но решение о том, какие данные «хорошие» и заслуживают обучения, остается за людьми. SPIN не требует дополнительных ручных аннотаций, но по-прежнему ориентируется на существующее распределение человеческих примеров, которое и задает верхний предел.

Есть и более глубокая проблема: рекурсивного усиления пока нет. По мере роста возможностей модели фиксированные обучающие задачи постепенно перестают быть сложными. Система все лучше справляется с этим набором задач, но нет свидетельств, что она лучше проектирует само обучение. Это похоже на спортсмена, который уже пробежал дистанцию за менее 10 секунд, а тренер все еще оценивает его по нормативам школьного урока физкультуры: потенциал роста ограничен критериями оценки.

Итог: система умеет генерировать данные и отвечать сама себе, но оценивать себя пока не может. Пока красная ручка остается у людей, потолок возможностей тоже будут задавать люди.

Третий этап (2022–2025): Передача ИИ большей власти над оценками

Можно ли отдать эту красную ручку ИИ? Пока оценка и обратная связь зависят от ручной разметки или валидаторов, написанных людьми, направление улучшения остается в руках человека. Валидатор — это программа, которая автоматически проверяет правильность результатов по заранее заданным правилам. Третий этап призван уменьшить эту зависимость: может ли ИИ сам генерировать больше сигналов обратной связи?

Это дальнейшее развитие автономного замкнутого цикла: модель не только анализирует собственные результаты, но и получает часть обратной связи для обучения.

От CAI к Meta-Rewarding: от оценки ответов к оценке судей

Суть третьего этапа — трехступенчатое развитие в ответ на вопрос «кто выставляет оценки?».

Первый шаг: в 2022 году Anthropic предложила Constitutional AI (CAI). Люди составляют набор текстовых принципов, на основе которых ИИ выставляет оценки. В экспериментах эффективность этого подхода существенно не отличалась от обучения с ручной оценкой: людям больше не нужно было оценивать каждый пример отдельно.

Второй шаг: в 2024 году Self-Rewarding Language Models от Meta (ICML'24) продвинулись дальше. Одна и та же модель пишет ответы, оценивает себя и другие ответы-кандидаты, а затем использует оценки для собственного обновления. Метод дообучения называется Direct Preference Optimization (DPO). Его можно упрощенно описать так: «Этот ответ лучше того, поэтому в дальнейшем отдавай предпочтение более удачному».

Если начать с Llama 2 70млрд, то после трех циклов итераций ее процент побед на AlpacaEval 2.0 вырос с 9,94% до 20,44%. Здесь судьей выступает GPT-4, а соперником — GPT-4 Turbo; процент побед не является обычным показателем правильности ответов.

Третий шаг: если качество ответов может развиваться самостоятельно, может ли развиваться и качество суждений? В 2024 году Meta-Rewarding добавила к этому уровню «метаоценку». Одна и та же модель одновременно выступает в роли отвечающего, судьи и «судьи над судьей». Третья роль специально оценивает точность выставления баллов. В каждом цикле обновления модель одновременно становится «лучше как отвечающий» и «точнее как судья».

Однако в статье также отмечается тревожное явление: после нескольких циклов итераций «судья над судьей» начинает деградировать. Он перестает оценивать, какое суждение разумнее, а просто выбирает вариант с более высоким баллом, из-за чего критерии оценки смещаются. Это напоминает старую проблему EURISKO в версии 2024 года: чем дальше заходит эволюция, тем сильнее искривляется линейка, которой измеряют хорошее и плохое.

Граница третьего этапа: красную ручку передали ИИ, и линейка начала искривляться.

Этот этап значительно уменьшает зависимость сигналов обратной связи от ручной разметки, но одновременно обнажает главную проблему RSI: если у оценщика и оцениваемого одни и те же слепые зоны, замкнутый цикл легко превращается в самоподтверждение.

Такие системы могут обеспечивать устойчивые автономные обновления, но не обязательно справятся с новыми задачами, отличающимися от обучающих данных; также нет доказательств, что новые версии станут сильнее в улучшении других систем. Проблема смещается от вопроса «не слишком ли медленная обратная связь от людей?» к вопросу «надежна ли самооценка?»

Итог: красная ручка наконец оказалась в руках ИИ, но, взяв ее, он начал ставить себе высокие оценки.

Четвертый этап (2023–2026):

Предоставление ИИ возможности менять способы своей работы

Первые три этапа в основном касались изменения результатов, памяти, параметров и сигналов обратной связи. Но возможности системы ИИ определяются не только параметрами: они также зависят от всей управляющей системы вокруг модели — от способа составления промптов и выбора инструментов до организации процессов, хранения памяти, выданных разрешений и оценки результатов.

В большой статье 2026 года Лилиан Венг назвала весь этот уровень harness. Это словно упряжь на лошади: она не только помогает модели работать, но и ограничивает то, куда, каким образом и как далеко та может двигаться. Harness определяет, смогут ли возможности модели превратиться в надежные действия.

Вероятно, недавнее самоулучшение начнется с harness: изменение весов обходится дорого, обратная связь поступает медленно, а риски велики; изменение harness по сути означает правку кода, что дешевле и проще отменить. В долгосрочной перспективе возможна совместная эволюция весов модели и harness, но оценщики, контроль разрешений и ключевые границы безопасности должны оставаться вне эволюции.

Итак, вопрос четвертого этапа звучит так: может ли система самостоятельно менять свой harness, то есть определять архитектуру собственной работы?

Обновление параметров происходит в рамках заранее заданного способа работы и позволяет встроить способности в модель. Обновление harness меняет способ вызова этих способностей — подобно перепроектированию рабочего места, набора инструментов и методов обучения.

Улучшение harness подчиняется четкой последовательности. Объекты оптимизации становятся все глубже, приближаясь к сути вопроса «как мыслит система»:

flowchart LR

A["Переформулировка
промпта"] --> B["Структура контекста
Что подать на вход"]

B --> C["Рабочий процесс
Изменение шагов"]

C --> D["Код harness
Изменение всей схемы"]

D --> E["Код оптимизатора
Изменение самого способа изменений"]

Чем глубже изменения, тем сильнее их влияние и тем ближе система к тому, чтобы «переписывать собственную логику работы». Теперь последовательно рассмотрим эту лестницу от верхних уровней к более глубоким.

OPRO: итерационное улучшение промптов

Может ли простое изменение промптов — инструкций, которые мы даем модели, — сделать систему сильнее? OPRO (ICLR 2024) предлагает показательный подход. Модели передают использованные промпты вместе с соответствующими оценками, чтобы она могла выявить закономерности и создать улучшенные версии. То, что раньше требовало от людей многократной проверки «небольших изменений формулировок», теперь может итеративно выполнять сама модель.

Однако верхний предел очевиден: какими бы хорошими ни были промпты, они лишь задействуют уже существующие возможности модели и не создают новых.

ADAS и AFlow: автоматическое проектирование рабочих процессов агентов

На уровень глубже объектом оптимизации становится уже не только формулировка, но и то, как организованы подаваемая модели информация и весь процесс выполнения задачи. Например, AI Scientist объединяет в конвейер этапы «предложить идеи → написать код → провести эксперименты → написать статьи → пройти рецензирование». Поскольку процесс можно записать в коде, его можно и исследовать поиском.

ADAS (ICLR 2025) превращает само «проектирование рабочих процессов» в задачу оптимизации. Агент-дизайнер более высокого уровня непрерывно пишет новые рабочие процессы в виде кода, запускает, фильтрует и изменяет их в цикле.

AFlow (ICLR 2025) идет еще дальше. Она представляет рабочие процессы как блок-схемы из вызовов модели и логических проверок, а затем использует алгоритмы поиска для нахождения более удачных структур, в конечном итоге превосходящих решения, созданные вручную.

Self-Harness и DGM: возможность переписывать код harness

На верхней ступени этой лестницы система может напрямую переписывать код, определяющий способ ее работы. Здесь есть два подхода.

Первый — «предложить, оценить, принять». Система выявляет собственные проблемы, предлагает изменения и внедряет их после проверки эффективности.

Self-Harness (2026) вводит строгие критерии принятия изменений: сначала система подводит итоги причин неудач, затем вносит небольшие изменения, которые можно отменить. Новая версия сохраняется, только если не ухудшились результаты как на известных, так и на неизвестных проблемах.

Второй подход — эволюционный поиск. Система сохраняет набор решений-кандидатов, позволяет им порождать варианты, а затем оставляет лучшие версии по итогам экспериментов.

Darwin Gödel Machine (DGM) (2025) напрямую эволюционирует код, который изменяет собственные инструменты. При неизменной базовой модели доля успешного ремонта в SWE-bench Verified выросла с 20% до 50%.

В основе этих двух подходов лежит одна мысль: код — универсальный язык, определяющий систему. Когда инструменты записаны в виде исполняемого кода, который можно оценивать, агенты-программисты могут искать решения в этом пространстве проектирования.

MetaClaw и AgentX: реальные пользователи как источник обратной связи

Какой бы путь ни был выбран, для самоэволюции инструментов нужны сигналы о том, «насколько хорошо выполнены изменения».

Сигналы улучшения DGM поступают из фиксированного тестового набора. MetaClaw (2026) позволяет агентам извлекать опыт из реальных развертываний в ходе диалогов и закреплять его в весах в фоновом режиме. В результате самоэволюция начинает опираться на пользователей, а не только на наборы вопросов.

В индустрии этот подход уже применяют в реальном бизнесе. AgentX от Kuaishou (2026) анализирует записи выполнения задач, чтобы менять инструменты субагентов, и выбирает новые версии по итогам прошлых задач.

В основе метода лежит похожая на Self-Harness схема «предложить, оценить, принять». Отличие в том, что в конечном счете требуется провести настоящий онлайн A/B-тест. Вовлеченность и поведение пользователей при потреблении контента становятся сигналами вознаграждения системы.

Суть различий между этими методами не в механизмах, а в том, кто играет роль тренера: тестовый набор, реальные пользователи или онлайн-бизнес. Чем ближе тренер к реальности, тем выше вероятность, что улучшения окажутся действительно полезными, но одновременно возрастает и риск эксплуатации.

Граница четвертого этапа: рабочую архитектуру можно менять, но границы проверки и конечные цели по-прежнему задаются извне.

На этом этапе способ вызова моделей, инструментов и памяти также стал объектом эволюции. Однако направление развития инструментов по-прежнему задается внешними задачами, валидаторами или целями пользователей. И, что важнее, высокий балл инструментов не означает более высокого базового интеллекта. Система может менять инструменты, но это не значит, что она сможет эффективно использовать обновленные инструменты.

Короче говоря: система наконец может менять собственные конечности и верстак, но критерии приемки и границы ее создания по-прежнему определяются внешним миром.

Пятый этап (2025–2026):

Замыкание цикла обучения и исследований

Изменение инструментов — один из путей, но инструменты меняют то, как система выполняет задачи во время работы: какие инструменты использовать, каких процессов придерживаться и когда остановиться. Пятый этап меняет более ранний слой — материалы и среду обучения: источники тренировочных вопросов, особенности среды практики и способы генерации обучающих данных. Первый путь определяет, как использовать имеющиеся способности, а второй — на каком опыте будут обучаться следующие версии модели. Эти направления существенно совпадают во времени: многие команды работают над обоими одновременно. Однако объекты изменений различаются: один подход влияет на структуру управления в процессе рассуждения, другой — на поступление данных до обучения.

Поэтому начинает расширяться еще одно направление замкнутого цикла: может ли весь процесс обучения и исследований стать объектом работы системы? Система начинает генерировать обучающие материалы, выбирать стратегии практики, проводить эксперименты, менять процессы обучения, а затем записывать результаты обратно в модель или инструменты.

Здесь важно избежать распространенного заблуждения. Самостоятельная генерация данных или среды лишь расширяет сферу автономного замкнутого цикла. Даже если ИИ выполняет генерацию вопросов, ответы и оценку, система все равно не преодолела порог рекурсивного усиления, если новая версия не стала лучше проектировать следующий цикл улучшений.

SEAL: модели создают собственные обучающие данные и инструкции по обновлению

Получив новый, незнакомый материал, модель обычно обучается только так, как заранее определили люди. Но в одном проекте 2025 года модели позволили сначала написать собственный «план обучения»: как организовать материалы, в каком темпе учиться и нужно ли несколько раз переписать текст. Все это определяла сама модель, после чего обновляла параметры в соответствии с планом. Это похоже на то, как если бы она сама составила расписание занятий, а затем посещала их.

Этот метод называется SEAL (Self-Adapting LLMs) (NeurIPS'25). Эффективность плана можно оценить по тому, «насколько точно модель работает после занятий». Затем система использует результаты для корректировки плана — это и есть обучение с подкреплением.

В задачах вопросно-ответного поиска по знаниям этот подход повысил точность с 33,5% до 47,0% и превзошел прямую генерацию обучающих материалов с помощью GPT-4.1.

SEAL решает задачу «как подготовить для себя учебные материалы». Однако для агентов, которым нужно многократно взаимодействовать со средой, быстро возникает другое узкое место: реальная практика часто слишком медленная и дорогая. Поэтому следующий проект включает в замкнутый цикл и саму среду.

SEAL решает задачу «как подготовить для себя учебные материалы». Однако для агентов, которым нужно многократно взаимодействовать со средой, реальная практика часто слишком медленная и дорогая: веб-среды слишком сложны, а каждое действие приходится выполнять в реальности, поэтому сбор данных требует много времени и денег. WebEvolver (EMNLP'25) предлагает компромисс — обучение внутренней «модели мира», имитирующей реакцию веб-среды, словно система создает мысленную песочницу. Агенты могут недорого и интенсивно тренироваться в этой песочнице, выходя в сеть только для проверки ключевых шагов; во время выполнения задач песочница также помогает предсказывать результаты следующего действия. В трех тестовых наборах реальных веб-задач общая производительность выросла примерно на 10% по сравнению с существующими самоэволюционирующими агентами, причем более сильная «модель-учитель» не использовалась.

Теперь замкнутый цикл может тренироваться в симулированной среде. Следующий естественный вопрос: могут ли прогнозирование, оценка и обновление параметров происходить вне веба, замыкая цикл в реальном физическом мире?

Motus2: самоулучшение параметров выходит в физический мир

Самоулучшение происходит не только в языке и коде. В 08.2026 средняя доля успешного выполнения двух реальных задач роботом выросла с 65% до 75%. Улучшение обеспечил вполне конкретный замкнутый цикл: робот сначала представляет несколько действий, прогнозирует результат каждого из них, выбирает более удачные действия, а затем использует результаты для следующего цикла обучения.

Эта система называется Motus2. Стратегия предлагает действия, модель мира прогнозирует их результаты, а модель ценности оценивает, помогают ли эти результаты выполнить задачу. Прогнозирование и оценка используются и для выбора действий, и для обновления параметров действий.

Это улучшение стратегии на уровне весов, но замкнутый цикл остается ограниченным: базовые версии модели мира и модели ценности заморожены, а цели задач и надзор по-прежнему поступают извне. В статье не показано, что улучшенная Motus2 лучше проектирует следующий цикл алгоритмов обучения. Она доказывает, что замкнутый цикл может работать на реальных роботах, а не то, что RSI без заранее заданных ограничений уже достигнуто.

SEAL, WebEvolver и Motus2 включили в замкнутый цикл обучающие материалы, среды практики и физические действия. Они расширили круг операций, которые система может выполнять автономно, но пока не дали ей права решать, «что исследовать и когда принимать результаты». Чтобы понять, насколько далеко продвинулась эта граница в реальных исследованиях и разработках, нужно вернуться к передовым лабораториям и производственным системам.

OpenAI и Google: участие агентов в разработке моделей

«Автоматизированный стажер-исследователь» OpenAI уже может находить ошибки, оптимизировать программы ядер GPU, экспериментировать с рецептами обучения и помогать улучшать другую модель. Google также заявила, что длительно работающие агенты участвовали в доработке базовых моделей. Однако ни одна из компаний не продемонстрировала полностью автономный замкнутый цикл: люди по-прежнему выбирают направление исследований и решают, можно ли продвигать результаты, а публичной информации недостаточно, чтобы восстановить принцип работы цикла.

Реальное изменение состоит в том, что ИИ перестал быть просто «моделью, которую исследуют» и стал «исполнителем, участвующим в исследованиях моделей». Он вошел в мастерскую обучения, но пока не взял в руки штурвал лаборатории.

Лето 2026 года: автоматизированные исследовательские системы начинают улучшать собственные методы исследований

Первые пять этапов постоянно расширяли список того, «что система может изменять». Серия работ, появившихся летом 2026 года, поставила вопрос напрямую: можно ли поручить автоматизированным исследовательским системам изучать и улучшать сами автоматизированные исследовательские системы?

На тесте предварительного обучения GPT обычный внутренний цикл снизил валидационную потерю примерно на 0,009, а добавление внешнего цикла привело к среднему снижению примерно на 0,045 — примерно в пять раз больше. Валидационную потерю можно понимать как величину, на которую модель «промахивается» при работе с новыми данными; как правило, чем она ниже, тем лучше. Здесь сравнивается величина снижения потери, а не пятикратное увеличение точности задачи.

Bilevel Autoresearch, обеспечившая этот результат, использует два уровня циклов: внутренний агент оптимизирует код задачи, а внешний — механизм поиска внутреннего агента. Система улучшает уже не только ответы, но и «способы поиска ответов».

Recursive Harness Self-Improvement (RHI) показала схожие результаты: в 30 синтетических задачах исследовательского машинного обучения обновленный агент с ограниченным бюджетом инференса превзошел не оптимизированную конфигурацию с максимальным бюджетом, одновременно сократив затраты на инференс вплоть до примерно 60%. Улучшение рабочих механизмов иногда эффективнее, чем простое увеличение бюджета на рассуждения.

Однако эти два результата в основном получены в контролируемых экспериментах ограниченного масштаба. Чтобы доказать, что замкнутый цикл не просто время от времени находит удачное решение, нужны более длительная непрерывная работа, несколько следующих друг за другом версий и тесты за пределами цикла. AIDE² пытается объединить все три элемента.

Настоящие споры вызывает AIDE². Команда Weco поручила автоматизированному исследовательскому агенту выступать внешним улучшителем и непрерывно переписывать инструменты внутренней AIDE в течение 100 шагов. За восемь дней работы без участия человека система отобрала семь последовательных улучшенных версий. Команда сообщила, что лучшая версия не только превзошла исходную, но и показала результат выше версии, которую вручную настраивали два года, а также принесла улучшения в задачах, с которыми цикл прежде не сталкивался.

Изменилось и поведение при взломе системы вознаграждений. В тесте программ ядер GPU KernelBench, который не участвовал в оптимизации, в исходной версии 63% тестовых примеров демонстрировали ситуацию, когда «публичные оценки будто бы улучшились, но скрытая проверка этого не подтвердила». В лучшей эволюционировавшей версии эта доля снизилась до 34%. Скрытая оценка — это результат, который система не видит во время оптимизации и который используется только при окончательной приемке. Возможно, благодаря ей были отсеяны версии, подстроенные лишь под публичные оценки.

Weco называет это уровнем 1: чистое положительное улучшение. Это не общепринятый в индустрии стандарт, но на сегодня такие свидетельства ограниченного RSI заслуживают серьезного внимания. Границы этих свидетельств также ясны: результаты основаны на отчетах самой команды, а полный доклад еще не опубликован. Кроме того, в развившейся системе обнаружились рост сложности и мертвый код. Что важнее всего, она не прошла следующий тест на запуск: не доказано, что улучшенная система справляется с улучшением новой версии лучше, чем ее предшественница.

В двух словах: замкнутый цикл несколько раз сработал успешно, но пока не доказано, что следующий виток будет быстрее благодаря предыдущему.

Общий взгляд: как определить текущий уровень RSI

В таблице ниже предыдущие этапы сравниваются по четырем критериям, рассмотренным в начале статьи (непрерывное улучшение, автономный замкнутый цикл, рекурсивное усиление, надежность и управляемость), а также указаны основные пробелы. Большая часть релевантных работ о замкнутых циклах метаисследований — это препринты arXiv последних месяцев 2026 года, а AIDE² — результат из блога команды, опубликованный самой командой и еще не прошедший экспертную оценку. Эти выводы следует считать наблюдениями за текущим этапом, а не сложившимся консенсусом.

В таблице ✅ означает наличие прямых свидетельств, ⚠️ — что вывод справедлив лишь при ограниченных условиях или свидетельств пока недостаточно, а ❌ — что это еще не продемонстрировано.

История этой области — это история постепенного продвижения внутрь «объектов, которые система может изменять». Сначала менялись результаты и память, затем параметры, суждения, управляющие инструменты и обучающие среды, а в конечном счете — механизмы, порождающие сами улучшения.

Чем глубже мы продвигаемся, тем труднее определить и доказать, что такое «улучшение». Если вернуться к четырем критериям — непрерывному улучшению, автономному замкнутому циклу, рекурсивному усилению, надежности и управляемости, — реальные препятствия для запуска RSI без заданных ограничений сегодня сосредоточены в самых сложных аспектах трех последних критериев, которые можно разделить на четыре взаимосвязанных барьера.

Первый барьер (надежность автономного замкнутого цикла): надежен ли валидатор и может ли система его изменить? Когда система одновременно улучшает себя и оценивает себя, критерии оценки будут смещаться с каждой итерацией. «Судья над судьями» в Meta-Rewarding все чаще склонялся к более высоким оценкам, а EURISKO еще раньше научилась вписывать свое имя в книгу заслуг. Оба примера напоминают об одном: в процессе оптимизации система будет использовать любую лазейку между метриками и реальными целями.

Внешние якоря здесь — это оценки или ограничения, которые улучшенная система не может подделать. Формальные доказательства, исполняемые валидаторы и скрытые тесты обычно надежнее самооценки модели. Скрытые оценки AIDE² могут уменьшить некоторые формы взлома вознаграждения именно потому, что внутренние агенты не могут ими манипулировать.

По-настоящему надежный принцип — не поручать людям проверку каждого шага, а сохранять оценщиков и границы полномочий вне контроля эволюционирующей системы. Для математических задач и кода можно использовать доказатели, компиляторы или скрытые тесты. Исследовательское чутье, долгосрочное здоровье кода и границы развертывания по-прежнему требуют окончательного решения человека.

Второй барьер (надежность и управляемость, часть первая): могут ли улучшения выйти за пределы собственного распределения данных? Обучение на самостоятельно сгенерированных данных усиливает существующие предубеждения, сглаживает разнообразие и в конечном счете ведет к коллапсу модели: ответы становятся все более однообразными, а исходные ошибки многократно усиливаются в циклах самообучения. Изменение управляющих инструментов с помощью фиксированного набора вопросов может встроить особенности этого набора в рабочий процесс, создавая еще одну форму переобучения.

Недостаточно просто улучшить результат на незнакомой задаче. Система должна выдерживать скрытые оценки на разных задачах, в разных областях и в разное время, чтобы доказать, что она накопила переносимые способности, а не просто освоила более изощренные приемы прохождения тестов.

Третий барьер (само рекурсивное усиление): действительно ли улучшение дает рекурсивное усиление? Рост баллов за выполнение задач не означает, что система лучше проектирует следующее улучшение. AIDE² продемонстрировала несколько этапов чистого положительного улучшения, но не прошла тест на запуск. AI4AI-Bench показывает, что большинство систем по-прежнему не меняют основные алгоритмы обучения. Если фундамент слишком слаб, качество самостоятельно сгенерированных данных и самодиагностики тоже может ухудшить цикл.

Четвертый барьер (надежность и управляемость, часть вторая): могут ли возможности, сложность и контроль расширяться одновременно? Рост силы не обязательно означает большую «послушность», а умение лучше менять код не обязательно упрощает его сопровождение. Мертвый код и рост сложности в AIDE² — предупреждение, пусть и в небольшом масштабе. В крупных системах обучения чем выше полномочия и быстрее итерации, тем труднее людям понять, к чему привело каждое изменение.

Главный научный сотрудник OpenAI Якуб Пахоцки публично заявил, что ни одна лаборатория пока не решила проблемы согласованности и мониторинга настолько, чтобы ответственно и длительное время наращивать масштабы работы на полной скорости. Настоящая цель — не просто поднять кривую возможностей, но и обеспечить, чтобы безопасность, мониторинг, откат изменений и возможности аудита росли как минимум такими же темпами.

AutoResearchEval проанализировала 800 реальных траекторий исследований и выделила 45 категорий ошибок. В конечном счете все они указывают на один и тот же пробел: современным агентам не хватает устойчивого метакогнитивного цикла. Они не могут непрерывно сверять выводы с доказательствами, надежно возвращаться к прежним версиям после ошибок или активно ставить под сомнение собственные исследовательские траектории. Решить эту проблему простым добавлением еще одного уровня рабочего процесса не получится.

Поэтому реалистичный сценарий, скорее всего, состоит не в том, что людей просто исключат из замкнутого цикла, а в том, что они поднимутся по лестнице абстракции: от написания кода — к его проверке, от проведения экспериментов — к проектированию проверок, от локального исполнения — к решению о том, что стоит изучать, каких доказательств достаточно для продвижения и когда нужно остановиться. По мере того как машины берут на себя все больше работы, людям останутся не полномочия управлять каждым шагом, а выбор целей, установление границ проверки и право окончательного вето.

Заключение: замкнутый цикл самоулучшения появился, но рекурсивное усиление еще предстоит доказать

От того, как EURISKO обучилась «самообману» в 1981 году, до моделей, которые в 2026 году начинают участвовать в оценках, изменять инструменты управления, обновлять стратегии и обучать преемников, — более точный вывод таков: появились ограниченные и измеримые замкнутые циклы самоусовершенствования, которые уже начали приносить чистую пользу. Однако пока нет достаточных публичных свидетельств того, что усовершенствованные системы непрерывно улучшали свои собственные способности к совершенствованию. Поэтому способ формирования замкнутого цикла важнее самого цикла.

Замкнутый цикл, сформировавшийся на фоне дрейфа критериев оценки, будет все лучше оптимизировать собственные искаженные цели. Цикл, сформировавшийся на фоне коллапса распределения данных, будет все лучше справляться с сужающимся набором задач. А цикл, сформировавшийся на фоне усиления предубеждений при выравнивании, будет становиться все способнее и все труднее поддаваться корректировке.

Теперь главными стали два вопроса: вспыхнет ли этот процесс и что останется за пределами границ, которые нельзя будет изменить, если это произойдет? Ответ на первый зависит от того, сможет ли способность к совершенствованию обеспечить рекурсивное усиление, а на второй — от того, смогут ли проверка, полномочия и управление оставаться эффективными.

Вернемся к EURISKO, которая сорок лет назад вписала свое имя в список «первооткрывателей». Использованная ею лазейка и проблемы, с которыми сталкиваются передовые саморазвивающиеся системы сегодня, по сути, одни и те же: когда система начинает оценивать саму себя, как понять, действительно ли она стала лучше или лишь научилась выглядеть лучше?

Прошло сорок лет, возможности систем уже несопоставимы, но этот вопрос почти не изменился. Изменились ставки: то, что когда-то было игрой на победу или поражение за настольной игрой, теперь может стать методами работы научных и экономических систем. То, как в конечном счете закроется этот разрыв, по-прежнему зависит от того, когда и как мы приложим к нему руку — или отдернем ее.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.