4张2080Ti本地运行DeepSeek-V4
开发者分享了低成本本地运行DeepSeek-V4-Flash（284B参数）的方案。仅需不到2500美元，利用4张旧款RTX 2080 Ti显卡，通过定制Turing内核与W8A8量化，实现了255 tokens/s的Prefill速度。该实践证明了无需昂贵的新一代GPU，利用旧硬件和深度优化也能高效运行前沿MoE模型，极具实用价值。
开发者分享了低成本本地运行DeepSeek-V4-Flash（284B参数）的方案。仅需不到2500美元，利用4张旧款RTX 2080 Ti显卡，通过定制Turing内核与W8A8量化，实现了255 tokens/s的Prefill速度。该实践证明了无需昂贵的新一代GPU，利用旧硬件和深度优化也能高效运行前沿MoE模型，极具实用价值。