Tether stellt TurboQuant als Open Source bereit: KV-Cache-Kompressionsrate bei lokalen KI-Geräten um bis zu das Fünffache gesteigert
Das Tether-KI-Forschungsteam hat die Open-Source-Veröffentlichung der Produktionsversion von TurboQuant sowie deren Integration in das QVAC SDK 0.12.0 bekannt gegeben.
TurboQuant basiert auf einem Speicherkompressionsalgorithmus von Google Research, der den KV-Cache der KI-Laufzeitumgebung um bis das Fünffache komprimieren kann, während die Ausgabequalität nahezu auf dem Niveau unkomprimierter Modelle bleibt.
Dies bedeutet, dass Laptops, Mobiltelefone und Edge-Geräte längere Konversationen, größere Dateien und komplexere Aufgaben bewältigen können, ohne Daten in die Cloud hochladen zu müssen.
Diese Open-Source-Veröffentlichung umfasst eine vollständige Quantisierungspipeline, Adapter für gängige Inferenz-Frameworks sowie eine Entwicklerdokumentation, die sich an Entwickler und Startups richtet, die KI auf Consumer-Hardware, Edge-Geräten und Peer-to-Peer-Netzwerken einsetzen.
Das könnte Ihnen auch gefallen

Warum bereitet Peter Thiel, der Mann hinter Palantir, einen Ausstieg in Argentinien vor?

Die Midlife-Crisis der Krypto-GPs: Ohne PMF gibt es keinen neuen Scheck vom LP

Die gescheiterte Verteidigung der Solana-Wächter: Um Hyperliquid zu zerreißen, greifen sie tatsächlich zu dem Skript, für das Ethereum einst selbst kritisiert wurde?

Interview mit Makro-Experte Raoul Pal: Der KI-Wettlauf führt zu einer „ökonomischen Singularität“ – geben Sie Ihre Anteile in den nächsten vier Jahren nicht leichtfertig auf

"Gefangen in der Welt der Kryptowährungen: Lassen Sie sich nicht von der Angst, etwas zu verpassen, in den gefährlichsten letzten Zug drängen."

Neueste Studie der BIZ: Die Zukunft von Stablecoins und die globale Währungslandschaft

Drei Jahre später: Ein Rückblick auf meine Einschätzung von ChatGPT im Jahr 2023

Von Casino-Tools zu globalen Preismaschinen: Die Perspektive des NYSE-Chefs auf Hyperliquid

Sharplink-CEO: Die Zukunft von Ethereum entfaltet sich

Sind es Hacker und Regulierungsbehörden, die DeFi ruiniert haben?

Chris Lee: Vom Krypto-OG zu Großinvestitionen in die drei Speicher-Giganten, Prognosen zu KI-Bullenmarkt-Korrekturen, Web4 und Chancen für die junge Generation

He Yidengs Rang: Wenn du schon einmal hier bist, kannst du es auch versuchen

Sechs große Kritikpunkte eines Ethereum-Entwicklers

WEEX GOGOGO Folge 3|LALIGA Road to Gold – 6 explosive Momente, 1 WM-Ticket und eine Nacht, die niemand vergessen wird

2 Jahre, 225-fache Rendite? Wir enthüllen die KI-„Flaschenhals“-Anlagestrategie des mysteriösen Forschers Serenity

B.AI kooperiert mit BNB Chain zum Start der „Billion AI Token Subsidy“-Feier und entfacht das On-Chain-Ökosystem für intelligente Agenten

Der Billionen-Dollar-Rausch beim Speicherverkauf: Gewinne beim Speicherkauf halbiert




