Wykorzystanie tokenów przez agentów AI wzrosło 14-krotnie od lutego

Wykorzystanie tokenów przez agentów AI wzrosło 14-krotnie od lutego, osiągając około 5 razy więcej niż w przypadku użytkowników ludzkich. Wraz z przejściem od prostych rozmów do agentów wykonujących zadania, wykorzystanie tokenów stało się kluczowym wskaźnikiem kosztów infrastruktury AI. Andreessen Horowitz ujawnił to 21. dnia w swoim raporcie 'Charts of the Week', opierając się na danych OpenRouter. Tokeny to jednostki tekstu, które modele AI odczytują i generują, stanowiące podstawową jednostkę pomiaru kosztów API modelu i wykorzystania infrastruktury inferencyjnej. Użytkownicy ludzie zazwyczaj korzystają z modelu w formie pytań i odpowiedzi, podczas gdy agenci AI powtarzają czynności czytania, pisania i wykonywania, aby osiągnąć cele, co zwiększa zużycie tokenów poprzez przywracanie tego samego kontekstu i kontynuowanie stanu zadania. Te dane dotyczą nie całkowitej wielkości rynku AI, ale obserwowanych trendów w OpenRouter. Wzrost wykorzystania agentów stawia zarządzanie kosztami jako główny problem dla platform, a OpenRouter wprowadził funkcję automatycznego klasyfikowania żądań według działów, typów zadań, złożoności agentów i centrów kosztowych. W kraju również rozpowszechnienie agentów AI wiąże się z problemami kosztów infrastruktury, bezpieczeństwa i kontroli danych, a firmy Liner i Rebellion prowadzą działalność w zakresie krajowych rozwiązań AI opartych na NPU.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.