WASTE de código abierto, Kimi K3 puede ejecutarse en un MacBook de 64GB

La empresa de bases de datos en la nube SQLite AI ha lanzado el motor de inferencia de código abierto WASTE, que permite que el Kimi K3 completo funcione en un MacBook Pro de 64GB. El modelo convertido ocupa aproximadamente 1TB y tiene una velocidad de entre 0.49 y 0.54 tokens por segundo. WASTE mantiene alrededor de 27GB de la arquitectura del modelo en la memoria, con más de 80,000 expertos almacenados en el SSD incorporado, y solo lee desde el disco duro el experto actual para cada token generado. Esta versión no ha sido destilada, recortada ni eliminada de expertos, pero los pesos de los expertos se han re-cuantificado a 3 bits, mientras que la arquitectura del modelo utiliza 4 bits y 8 bits.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.