AiNews
⚡ 速览 🧠 模型
← 返回首页

#ascend

包含标签 "ascend" 的文章,共 2 篇。

🛠️ 开发工具 V2EX

200万预算国产大模型显卡选型:华为昇腾最稳妥

针对200万预算的国产显卡本地化大模型部署需求,市场主流选择主要集中在华为昇腾、摩尔线程和壁仞科技等品牌。从实际部署和厂商支持角度来看: 1. 华为昇腾(如910B)是目前生态最完善、企业级支持最到位的选择。其CANN软件栈对Qwen、Llama等主流大模型适配度极高,虽然价格偏高,但对200万预算的商业项目而言,其部署成功率和后期维护保障最高。 2. 摩尔线程与壁仞科技等品牌性价比更高。摩尔线程凭借MUSA架构在CUDA兼容性上表现较好,适合有一定自研能力的团队;壁仞在单卡算力上具优势,但软件生态仍需厂商深度配合调优。 对于追求稳定交付的企业,首选华为昇腾;若追求极致性价比且具备较强工程调优能力,可考虑摩尔线程或壁仞,并要求厂商提供深度技术支持。

🧠 模型动态 Reddit

昇腾原生1.58-Bit大模型训练框架

本文介绍了由 OpenBMB 团队推出的 BitCPM-CANN,这是首个在华为昇腾(Ascend)NPU 平台上实现原生 1.58-Bit(三值化)量化感知训练(QAT)的系统性研究。针对极端低比特大模型在端侧部署时能否在复杂推理任务中保持性能的痛点,该研究填补了理论与实际硬件部署之间的空白。BitCPM-CANN 深入探索了三值化权重在端侧尺度下的能力保留问题,并通过昇腾 CANN 架构进行了深度优化,实现了高效的原生训练与推理。这一成果不仅证明了 1.58-Bit 大模型在复杂任务上的可行性,也为中国开发者在国产算力平台上部署超低功耗、高吞吐量的端侧大模型提供了极具价值的实践路径与技术参考。