NVIDIA представила NeMo Switchyard, що знижує витрати на виконання агентів за допомогою технології маршрутизації AI моделей

Odaily Star Daily повідомляє, що компанія представила систему маршрутизації AI моделей NeMo Switchyard, яка має на меті допомогти розробникам динамічно розподіляти завдання AI агентів між кількома великими моделями, зберігаючи при цьому продуктивність і знижуючи витрати та затримки.

Вони зазначили, що створення AI агентів не означає, що потрібно покладатися на єдину велику модель. Різні моделі мають свої переваги в здатності до інференції, швидкості відповіді та витратах на виконання; наприклад, для класифікаційних завдань можуть підійти легкі моделі, тоді як для складних інференцій потрібні більш потужні передові моделі. Якщо всі запити надсилати до найбільшої моделі, це призведе до збільшення витрат і затримок; а використання лише малих моделей може знизити якість виконання складних завдань. NeMo Switchyard за допомогою інтелектуального механізму маршрутизації автоматично обирає найбільш підходящу модель для виконання, враховуючи вимоги завдання, можливості моделі, витрати, затримки та стан системи, між кількома спеціалізованими моделями та передовими моделями. Ця система підтримує розробників у зміні постачальників моделей і версій моделей без зміни архітектури застосунку.

Вони представили, що NeMo Switchyard пропонує кілька стратегій маршрутизації, включаючи маршрутизацію LLM класифікаторів без навчання, етапну маршрутизацію (Stage Router), маршрутизацію ескалації (Escalation Router) та регульовану маршрутизацію, навчану на основі реальних даних робочого навантаження. Серед них, маршрутизація ескалації надає пріоритет у розподілі завдань моделям з низькими витратами, і коли виявляється підвищення складності завдання, постійні помилки або затримка виконання, запити підвищуються до більш потужних моделей, що дозволяє досягти балансу між продуктивністю та витратами.

Вони зазначили, що в рамках відповідних тестів NeMo Switchyard, розподіляючи завдання між різними моделями, значно знизила витрати на виконання AI агентів, зберігаючи при цьому високий рівень виконання завдань. Наприклад, у порівнянні з використанням лише передових моделей, рішення на основі маршрутизації ескалації знизило витрати приблизно на 74% у тестах LangChain з багатократними агентами, лише 7% запитів вимагали виклику передової моделі.

Крім того, компанія вже співпрацює з Cognition, Nous Research, Ramp, LangChain, LiteLLM, Kong та іншими підприємствами, інтегруючи NeMo Switchyard у процес розробки AI агентів та інфраструктуру корпоративних застосунків.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.