Google Gemini снижает использование токенов на 88% при анализе видео

**Google внедрил анализ видео на основе агентов в несколько моделей Gemini Flash. Инструмент автономно выбирает сцены, кадры, аудио или соответствующие транскрипции и, по словам компании, может снизить использование токенов до 88%, одновременно незначительно повышая точность в определенных оценках.

Модели Gemini 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite могут анализировать сегменты менее одной секунды, включая изменения состояния и резкие переходы, которые могут быть упущены при обычной выборке в один кадр в секунду. Эта способность имеет значение для автоматизированного редактирования, где краткий переход или мгновенное изменение могут изменить смысл сцены.

Система также может находить конкретные моменты в часах записи, не потребляя миллионы токенов в процессе. Для этого она определяет потенциально релевантные временные окна и повторно выбирает их с более высокой частотой кадров, когда обнаруживает аномалию или сигнал, требующий большей временной разрешающей способности.

Помимо поиска сцен, Gemini может подсчитывать повторяющиеся движения и отдельные объекты с течением времени. Инструмент не ограничивается наблюдением за изображениями, так как он сочетает кадры, аудио и транскрипции в зависимости от характера задачи, поставленной разработчиком.

Google утверждает, что этот автономный выбор позволяет модели сосредоточить свои ресурсы на моментах и сигналах, которые действительно важны. В результате получается менее жесткий поток анализа, в котором искусственный интеллект решает, что исследовать, с какой скоростью это делать и каким образом, прежде чем предоставить ответ.

До сих пор Gemini использовал статическую обработку, которая по умолчанию выбирала видео с частотой один кадр в секунду, хотя разработчики могли настраивать эту конфигурацию через API. С момента запуска нативного анализа видео в 2025 году система сочетала изучение кадров с транскрипцией аудиодорожки.

Агентский подход напрямую связывает рассуждения модели с нативными инструментами видео. Согласно Google, Gemini может инициировать цикл поиска, извлекать конкретную часть файла, наблюдать за результатом и решать, нужно ли ему обратиться к другому сегменту, увеличить скорость выборки или изменить режим.

Преимущества эффективности более заметны на длинных материалах, которые могут варьироваться от 10-минутных учебных пособий до 90-минутных лекций и многочасовых файлов. С помощью статического метода разработчики должны были выбирать между высоким потреблением токенов или использованием собственных селективных техник, которые могли бы упустить важные детали.

Google утверждает, что их результаты в 1H-VideoQA и LVBench показывают снижение использования токенов на 88%, сопровождающееся незначительным увеличением точности. В оценке 1H-VideoQA компании Gemini 3.7 Flash с анализом на основе агентов достигает наибольшей точности при наименьших затратах на запрос, согласно данным, представленным компанией.

Компания также включила LongVideoBench в число тестов, использованных для сравнения производительности моделей. В этом наборе оценок Google описывает Gemini 3.7 Flash как альтернативу с наивысшим общим качеством и наилучшим сочетанием точности и эффективности затрат.

Эти результаты являются утверждениями Google и отражают их собственные бенчмарки, поэтому они не равны независимой валидации всех сценариев использования. Тем не менее, потенциальная экономия может быть актуальной для приложений, обрабатывающих большие аудиовизуальные библиотеки, особенно когда каждый запрос требует поиска конкретного момента, а не описания всего видео.

Агентский анализ уже активен для загруженных видео и видео на YouTube через API Gemini в Google AI Studio и на платформе Gemini Enterprise Agent. Разработчики должны настроить режим обработки как "агентский" в API, чтобы активировать селективное поведение.

Google планирует расширить технологию на свои собственные продукты в более поздний срок. Компания надеется вскоре внедрить ее для всех пользователей приложения Gemini, использующих устройства Flash и Flash Lite, в то время как в ближайшие месяцы она также планирует использовать ее в функции Ask YouTube на странице воспроизведения.