V2EX
Gemma 4本地实测:MTP加速超越Qwen
有开发者在RTX 3080(10G显存)显卡上测试发现,利用llama.cpp的MTP(多Token预测/投机采样)技术,Gemma 4 12B(Q4量化)的本地运行速度可达85~105 token/s,超越了此前Qwen 9B的75 token/s,且生成质量更优。技术实现上,该方案通过llama-server配置了专门的草稿模型(Draft Model),并开启了KV Cache的Q4_0量化,将模型层完全卸载至GPU。这一实测结果证明了MTP与投机解码技术在消费级硬件上压榨大模型性能的巨大潜力,为开发者本地部署更大参数模型提供了极具价值的实践参考。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。