AiNews
⚡ 速览 🧠 模型
返回首页
Reddit

三进制模型GGUF的Base-3无损打包方案

针对BitNet-b1.58和Ternary-Bonsai等三进制大模型,社区推出了一种更紧凑的GGUF变体格式:Q2_B3(B3S)。由于三进制权重仅限于-1、0、1,传统Q2编码会造成空间浪费。B3S通过Base-3直接打包这三种状态,在128个权重的分块中,仅需26字节的打包数据外加1个f16缩放因子,每个块共28字节,折合每个权重1.75位。相比传统方案,该方法在保持无损的前提下,将权重显存占用降低了约22%,有效缓解了边缘端和本地推理的显存压力。

获取每日 AI 情报与羊毛福利

加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。

立即加入

相关阅读