AMD MI60显卡本地LLM推理优化实践

一位海外开发者分享了在 AMD Radeon Instinct MI60（32GB 显存）计算卡上，针对智能家居（Home Assistant）和智能监控（Frigate）场景进行本地大模型推理优化的实践。作者使用 llama-bench 工具进行了 30 轮基准测试，重点评估了 Gemma 和 Qwen 模型在不同配置下的表现。测试深入探讨了在 ROCm 环境下，通过调整 Batch Size、线程数、启用 Flash Attention 等关键参数对 Prompt 处理速度和 Token 生成速度的影响。该实践为使用 AMD 老款计算卡的开发者提供了宝贵的调优数据，证明了利用低成本旧款企业级硬件构建高效、低延迟本地 AI 智能家居助理的可行性。