WASTE é open source, Kimi K3 pode rodar em MacBook de 64GB

A empresa de banco de dados de borda SQLite AI lançou o motor de inferência open source WASTE, permitindo que o Kimi K3 completo funcione no MacBook Pro de 64GB. O modelo convertido ocupa cerca de 1TB, com uma velocidade de 0,49 a 0,54 tokens por segundo. O WASTE mantém cerca de 27GB do backbone do modelo na memória, com mais de 80 mil especialistas armazenados no SSD embutido, lendo do disco rígido apenas o especialista chamado para cada token gerado. Esta versão não passou por destilação, poda ou remoção de especialistas, mas os pesos dos especialistas foram requantizados para 3 bits, enquanto o backbone do modelo utiliza 4 bits e 8 bits.

Este conteúdo é fornecido apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, promoções online ou informações relacionadas mencionadas neste documento não devem ser consideradas uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar qualquer outra transação com criptoativos. Criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar conforme a região. É de sua responsabilidade garantir que sua participação esteja em conformidade com as leis e regulamentações locais aplicáveis.