Використання токенів AI-агентами зросло в 14 разів з лютого

Використання токенів AI-агентами зросло в 14 разів з лютого, що приблизно в 5 разів більше, ніж у людських користувачів. Використання генеративного AI переходить від простих розмов до виконання завдань, що робить використання токенів ключовим показником витрат на AI-інфраструктуру. Андрісен Хоровіц 21 числа повідомив про це на основі даних OpenRouter у розділі "Графіки тижня". Токени є одиницями тексту, які AI-модель читає та генерує, і є базовою одиницею для вимірювання витрат на API моделі та використання інфраструктури для інференції. Людські користувачі зазвичай використовують модель у форматі запитів і відповідей, тоді як AI-агенти повторюють читання, написання та виконання для досягнення цілей, що призводить до збільшення споживання токенів. Ці дані відображають не абсолютний розмір всього ринку AI, а тенденції, спостережувані в OpenRouter. Зростання використання агентів підвищує важливість управління витратами, і OpenRouter впровадив функцію автоматичного класифікування запитів за відділами, типами завдань, складністю агентів та центрами витрат. В Україні також поширення AI-агентів пов'язане з проблемами витрат на інфраструктуру, безпеки та контролю даних, а компанії Liner та Rebellion просувають проекти на основі вітчизняних NPU для AI повноцінних рішень.