AiNews
⚡ 速览 🧠 模型
← 返回首页

#mlx

包含标签 "mlx" 的文章,共 1 篇。

🛠️ 开发工具 V2EX

M5 Air 32G本地跑大模型实测:散热成瓶颈

本文针对配备 32G 内存的 MacBook Air M5 进行了本地大模型运行实测。结论表明,该配置虽能运行本地模型,但由于无风扇设计,高强度运行下温度上升极快并会导致降频,外挂风扇也无法根治,不适合长期高负载推理。测试对比了 Ollama 与针对 Mac 优化的 MLX 平台,结果显示 MLX 运行速度更快。受限于 32G 统一内存,建议运行的模型大小不要超过 22GB。实测中成功运行了 Qwen、Gemma、GLM 等主流模型的 4-bit 量化版本。对于有高强度本地开发与推理需求的开发者,建议选择带主动散热的 MacBook Pro;Air 仅适合轻度便携式调试。