NVIDIA wprowadza NeMo Switchyard, wykorzystując technologię routingu modeli AI w celu obniżenia kosztów operacyjnych agentów inteligentnych

Odaily Planet Daily informuje, że wprowadzono system routingu modeli AI NeMo Switchyard, który ma na celu pomoc programistom w dynamicznym przydzielaniu zadań agentów AI (AI Agent) pomiędzy różnymi dużymi modelami, jednocześnie zapewniając wydajność przy jednoczesnym obniżeniu kosztów i opóźnień.

Zostało to podkreślone, że budowanie agentów AI nie oznacza, że muszą oni polegać na jednym dużym modelu. Różne modele mają swoje zalety w zakresie zdolności wnioskowania, szybkości reakcji i kosztów operacyjnych; na przykład zadania klasyfikacyjne mogą być odpowiednie dla lekkich modeli, podczas gdy złożone wnioskowanie wymaga silniejszych modeli na czołowej pozycji. Jeśli wszystkie żądania są kierowane do największego modelu, prowadzi to do wzrostu kosztów i opóźnień; z kolei korzystanie wyłącznie z małych modeli może obniżyć jakość realizacji złożonych zadań. NeMo Switchyard, dzięki inteligentnemu mechanizmowi routingu, automatycznie wybiera najbardziej odpowiedni model do wykonania zadania spośród wielu dedykowanych modeli i modeli na czołowej pozycji, biorąc pod uwagę takie czynniki jak wymagania zadania, zdolności modelu, koszty, opóźnienia oraz stan systemu. System ten wspiera programistów w przełączaniu różnych dostawców modeli i wersji modeli bez zmiany architektury aplikacji.

Wprowadzono również, że NeMo Switchyard oferuje różne strategie routingu, w tym klasyfikator LLM bez potrzeby treningu, routing etapowy (Stage Router), routing eskalacyjny (Escalation Router) oraz regulowany model routingu trenowany na rzeczywistych danych obciążenia roboczego. Wśród nich, routing eskalacyjny priorytetowo przydziela zadania do modeli o niskich kosztach, a gdy wykryje wzrost złożoności zadania, ciągłe błędy lub zastoje w wykonaniu, eskaluje żądanie do silniejszego modelu, osiągając równowagę między wydajnością a kosztami.

Zostało to również podkreślone, że w związanych testach NeMo Switchyard, przydzielając zadania pomiędzy różnymi modelami, znacząco obniżył koszty operacyjne agentów AI przy jednoczesnym utrzymaniu wysokiego wskaźnika realizacji zadań. Na przykład, w porównaniu do korzystania wyłącznie z modeli na czołowej pozycji, rozwiązanie oparte na routingu eskalacyjnym obniżyło koszty o około 74% w testach wieloetapowych agentów inteligentnych LangChain, przy czym tylko 7% żądań wymagało użycia modelu na czołowej pozycji.

Ponadto, współpracowano z takimi firmami jak Cognition, Nous Research, Ramp, LangChain, LiteLLM, Kong, integrując NeMo Switchyard w procesie rozwoju agentów AI oraz infrastrukturze aplikacji przedsiębiorstw.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.