腾讯混元发布 Hy3 1bit 和 4bit 压缩版本

腾讯混元发布了 Hy3 的 1bit 和 4bit 压缩版本，显著降低了2950亿参数模型的部署门槛。Hy3 原始权重接近 600GB，1bit 版本缩小至 85.5GiB，单张 96GB 的英伟达 H20 显卡即可运行。单卡运行时，用户需关闭部分加速功能，并缩短模型处理的文本长度。使用两张 H20 显卡后，可以开启加速。4bit 版本体积为 169.9GiB，需至少两张 H20 显卡，虽然占用更多显存，但效果更接近原始模型。腾讯混元表示，4bit 版本在代码、工具调用、长文理解和 Agent 任务上接近原始模型，1bit 版本也仅有小幅下降。开启生成加速后，1bit 版本速度提升约 50%，4bit 版本提升接近 60%。此外，腾讯混元还提供了适合服务器部署的 4bit 版本，可做成 API，供多个用户或应用调用。