Reddit
Qwen3.8 Flash Next 在 128GB Strix Halo 上的量化适配实践
在 128GB Strix Halo 平台上部署 Qwen3.8-Flash-Next-UD-Q5_K_XL 模型时,当同时跑语音识别、智能助手和语音合成等多模态服务,内存会直接压到极限。实测数据显示,mmproj 占用约 1GB;MTP 实际吃掉 5.5GB 内存,而其文件本身只有 2.8GB。此外,上下文长度和 KV 缓存量化对整体系统资源的消耗也十分明显。这些真实跑出来的内存数据,能为在消费级高性能硬件上部署多模态大模型的开发者提供直接的资源规划参考。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。