昇腾原生1.58-Bit大模型训练框架
本文介绍了由 OpenBMB 团队推出的 BitCPM-CANN，这是首个在华为昇腾（Ascend）NPU 平台上实现原生 1.58-Bit（三值化）量化感知训练（QAT）的系统性研究。针对极端低比特大模型在端侧部署时能否在复杂推理任务中保持性能的痛点，该研究填补了理论与实际硬件部署之间的空白。BitCPM-CANN 深入探索了三值化权重在端侧尺度下的能力保留问题，并通过昇腾 CANN 架构进行了深度优化，实现了高效的原生训练与推理。这一成果不仅证明了 1.58-Bit 大模型在复杂任务上的可行性，也为中国开发者在国产算力平台上部署超低功耗、高吞吐量的端侧大模型提供了极具价值的实践路径与技术参考。