PrismML lança Bonsai 27B, modelo de IA com 27 bilhões de parâmetros adaptado para iPhone

PrismML lançou o modelo Bonsai 27B, que é o primeiro modelo de IA com 27 bilhões de parâmetros capaz de rodar em smartphones de consumo. O modelo foi compactado para 3,9 GB e pode operar no iPhone 17 Pro Max a uma velocidade de 11 tokens por segundo. A variante ternária foi compactada para 5,9 GB, alcançando 26 tokens por segundo em um laptop M5 Pro. A tecnologia de compressão é baseada na propriedade intelectual do Caltech, reduzindo a precisão de cada peso do modelo de 16 bits de ponto flutuante para apenas 1 positivo ou 1 negativo, com a variante binária sendo 14 vezes menor que o modelo de precisão total. Em 15 testes de benchmark, o Bonsai 27B ternário obteve uma pontuação média de 80,49, alcançando 94,6% do desempenho do modelo de precisão total. O modelo é disponibilizado gratuitamente sob a licença Apache 2.0. Babak Hassibi, CEO da PrismML, confirmou que a empresa está em negociações iniciais com a Apple sobre a tecnologia de compressão, com planos futuros para compactar o modelo Gemma.