⚡ AiNews
⚡ 速览 🧠 模型
返回首页
Reddit

tandem.cpp 支援 AMD 与 DeepSeek-V4.1

llama.cpp 补丁集项目 tandem.cpp 近期更新,重点优化了超大内存混合专家(MoE)模型在有限显存设备上的运行效率。本次更新正式加入 AMD ROCm 支持,并让 16GB 显存加 64GB 内存的消费级 PC 也能高效跑起 DeepSeek-V4.1-Flash IQ2_XS 等大规模 MoE 模型。其核心思路是将高频专家常驻 GPU,其余部分交由 CPU 处理,通过异构计算加速推理。这为开发者在普通硬件上部署和测试超大模型提供了切实可行的低成本方案。

获取每日 AI 情报与羊毛福利

加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。

立即加入

相关阅读