Reddit
4张2080Ti本地运行DeepSeek-V4
开发者分享了低成本本地运行DeepSeek-V4-Flash(284B参数)的方案。仅需不到2500美元,利用4张旧款RTX 2080 Ti显卡,通过定制Turing内核与W8A8量化,实现了255 tokens/s的Prefill速度。该实践证明了无需昂贵的新一代GPU,利用旧硬件和深度优化也能高效运行前沿MoE模型,极具实用价值。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。