Google Gemini redukuje zużycie tokenów o 88% podczas analizy wideo

**Google wprowadził analizę wideo opartą na agentach do kilku modeli Gemini Flash. Narzędzie autonomicznie wybiera odpowiednie sceny, klatki, dźwięk lub transkrypcje i, według firmy, może zmniejszyć zużycie tokenów o 88%, jednocześnie nieznacznie poprawiając dokładność w niektórych ocenach.

Modele Gemini 3.7 Flash, 3.6 Flash i 3.5 Flash-Lite mogą analizować segmenty krótsze niż jedna sekunda, w tym zmiany stanu i cięcia, które mogłyby zostać utracone przy konwencjonalnym próbkowaniu jednego klatki na sekundę. Ta zdolność jest istotna dla automatycznej edycji, gdzie krótka przejrzystość lub natychmiastowa modyfikacja mogą zmienić znaczenie sceny.

System może również lokalizować konkretne momenty w godzinach nagrań, nie zużywając milionów tokenów w trakcie procesu. W tym celu identyfikuje potencjalnie istotne okna czasowe i ponownie próbuje je w wyższej szybkości klatek, gdy wykryje anomalię lub sygnał wymagający większej rozdzielczości czasowej.

Oprócz znajdowania scen, Gemini może liczyć powtarzające się ruchy i pojedyncze obiekty w czasie. Narzędzie nie ogranicza się do obserwacji obrazów, ponieważ łączy klatki, dźwięk i transkrypcje w zależności od charakteru zadania, które programista mu zadał.

Google twierdzi, że ta autonomiczna selekcja pozwala modelowi skoncentrować swoje zasoby na momentach i sygnałach, które naprawdę mają znaczenie. Konsekwencją jest mniej sztywny przepływ analizy, w którym sztuczna inteligencja decyduje, co badać, z jaką prędkością to robić i w jaki sposób przed dostarczeniem odpowiedzi.

Do tej pory Gemini używał statycznego przetwarzania, które domyślnie próbkuje wideo z prędkością jednego klatki na sekundę, chociaż programiści mogli dostosować tę konfigurację za pomocą API. Od wprowadzenia natywnej analizy wideo w 2025 roku, system łączył badanie klatek z transkrypcją ścieżki dźwiękowej.

Podejście oparte na agentach łączy rozumowanie modelu bezpośrednio z natywnymi narzędziami wideo. Zgodnie z danymi Google, Gemini może rozpocząć cykl wyszukiwania, odzyskać konkretną część pliku, obserwować wynik i zdecydować, czy potrzebuje skonsultować się z innym segmentem, zwiększyć prędkość próbkowania lub zmienić tryb.

Zalety efektywności są bardziej widoczne w długich materiałach, które mogą mieć od 10-minutowych samouczków do 90-minutowych wykładów i plików trwających kilka godzin. Przy metodzie statycznej programiści musieli wybierać między przyjęciem wysokiego zużycia tokenów a stosowaniem własnych technik selektywnych, które mogłyby pomijać istotne szczegóły.

Google twierdzi, że ich wyniki w 1H-VideoQA i LVBench pokazują spadek o 88% w zużyciu tokenów, towarzyszący nieznacznemu wzrostowi dokładności. W ocenie 1H-VideoQA firmy, Gemini 3.7 Flash z analizą opartą na agentach osiąga najwyższą dokładność przy najniższym koszcie za zapytanie, według danych przedstawionych przez firmę.

Firma uwzględniła również LongVideoBench wśród testów używanych do porównania wydajności modeli. W tym zestawie ocen Google opisuje Gemini 3.7 Flash jako alternatywę o najwyższej ogólnej jakości i najlepszej kombinacji między dokładnością a efektywnością kosztową.

Te wyniki są twierdzeniami Google i odzwierciedlają ich własne benchmarki, dlatego same w sobie nie stanowią niezależnej walidacji wszystkich scenariuszy użycia. Mimo to potencjalne oszczędności mogą być istotne dla aplikacji przetwarzających duże biblioteki audiowizualne, szczególnie gdy każde zapytanie wymaga wyszukiwania konkretnego momentu, a nie opisywania całego wideo.

Analiza agenta jest już aktywna dla przesyłanych wideo i filmów z YouTube za pośrednictwem API Gemini w Google AI Studio oraz na platformie Gemini Enterprise Agent. Programiści muszą skonfigurować tryb przetwarzania jako "agentowy" w API, aby aktywować selektywne zachowanie.

Google planuje rozszerzyć tę technologię na swoje własne produkty w późniejszym terminie. Firma ma nadzieję wkrótce wprowadzić ją do wszystkich użytkowników aplikacji Gemini, którzy korzystają z urządzeń Flash i Flash Lite, a w najbliższych miesiącach planuje również wykorzystać ją w funkcji Ask YouTube na stronie odtwarzania.