Spectro Cloud przedstawia oszczędności kosztów tokenów do 70%

Spectro Cloud uruchomił lokalną platformę inferencyjną PaletteAI Inference Launchpad, która pozwala firmom na prowadzenie inferencji dużych modeli językowych (LLM) na własnym sprzęcie, co może obniżyć koszty tokenów o maksymalnie 70%. Produkt ten oferuje funkcje takie jak vLLM, Kubernetes, uwierzytelnianie, kontrola dostępu oparta na rolach (RBAC) oraz monitorowanie, a także wspiera GPU AMD i NVIDIA. Spectro Cloud rozszerzył wsparcie dla GPU AMD, operatorów GPU, środowiska uruchomieniowego ROCm oraz referencyjnego stosu AI dla przedsiębiorstw. Została również wprowadzona funkcjonalność integracji z narzędziami do kodowania AI, umożliwiająca połączenie z OpenAI Codex CLI. Firmy rozważają lokalną inferencję z powodu problemów z kosztami i kontrolą danych, ponieważ rosnące wykorzystanie usług AI w chmurze prowadzi do wyższych opłat za tokeny i ryzyka przesyłania wrażliwych informacji na zewnątrz. Spectro Cloud wyjaśnił, że lokalna inferencja pozwala na przechowywanie danych wewnątrz i przekształcanie kosztów infrastruktury w przewidywalne. AMD ocenił, że wsparcie infrastrukturalne Spectro Cloud przyspieszy wdrażanie usług firm w otwartym środowisku AI. Choć ogłoszenie to nie ma związku z kryptowalutami ani sieciami blockchain, może stanowić istotne wyzwanie pod względem kosztów i bezpieczeństwa dla organizacji zajmujących się kodem i wrażliwymi informacjami.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.