WASTE Open Source, Kimi K3 läuft auf 64GB MacBook

Das Edge-Datenbankunternehmen SQLite AI hat die WASTE-Inferenz-Engine als Open Source veröffentlicht, die es ermöglicht, das vollständige Kimi K3 auf einem 64GB MacBook Pro auszuführen. Das konvertierte Modell nimmt etwa 1TB ein und erreicht eine Geschwindigkeit von 0,49 bis 0,54 Token pro Sekunde. WASTE hält etwa 27GB des Modellkerns im Speicher, während über 80.000 Experten auf dem integrierten SSD gespeichert sind. Bei der Generierung eines Tokens wird nur der aktuell aufgerufene Experte von der Festplatte gelesen. Diese Version wurde nicht destilliert, beschnitten oder Experten entfernt, jedoch wurden die Expertengewichte auf 3-Bit neu quantisiert, während der Modellkern in 4-Bit und 8-Bit vorliegt.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.