WASTE open source, Kimi K3 può funzionare su MacBook da 64GB

La società di database edge SQLite AI ha rilasciato il motore di inferenza open source WASTE, che consente a Kimi K3 di funzionare completamente su un MacBook Pro da 64GB. Il modello convertito occupa circa 1TB e ha una velocità di generazione di 0,49-0,54 token al secondo. WASTE mantiene circa 27GB del backbone del modello in memoria, con oltre 80.000 esperti memorizzati nell'SSD integrato, leggendo solo l'esperto attualmente chiamato dal disco rigido per ogni token generato. Questa versione non ha subito distillazione, ritaglio o rimozione di esperti, ma i pesi degli esperti sono stati ri-quantizzati a 3 bit, mentre il backbone del modello utilizza 4 bit e 8 bit.

Questo contenuto è fornito a solo scopo informativo generale e non costituisce consulenza finanziaria, di investimento, legale o fiscale. Qualsiasi evento, ricompensa, promozione online o informazione correlata menzionata nel presente documento non deve essere considerata una raccomandazione, una sollecitazione o un invito ad acquistare, vendere, fare trading o altrimenti negoziare criptovalute. Le criptovalute sono altamente volatili e possono comportare perdite. La disponibilità dei servizi, dei prodotti e degli eventi correlati di WEEX può variare a seconda della regione. È tua responsabilità assicurarti che la tua partecipazione sia conforme alle leggi e ai regolamenti locali applicabili.