AiNews
⚡ 速览 🧠 模型
← 返回首页

#apple-silicon

包含标签 "apple-silicon" 的文章,共 2 篇。

🛠️ 开发工具 V2EX

M5 Air 32G本地跑大模型实测:散热成瓶颈

本文针对配备 32G 内存的 MacBook Air M5 进行了本地大模型运行实测。结论表明,该配置虽能运行本地模型,但由于无风扇设计,高强度运行下温度上升极快并会导致降频,外挂风扇也无法根治,不适合长期高负载推理。测试对比了 Ollama 与针对 Mac 优化的 MLX 平台,结果显示 MLX 运行速度更快。受限于 32G 统一内存,建议运行的模型大小不要超过 22GB。实测中成功运行了 Qwen、Gemma、GLM 等主流模型的 4-bit 量化版本。对于有高强度本地开发与推理需求的开发者,建议选择带主动散热的 MacBook Pro;Air 仅适合轻度便携式调试。

🛠️ 开发工具 LINUX DO

2万二手128G Mac成跑大模型性价比之选

近日在开发者社区引发热议,二手平台上128G统一内存的MacBook Pro(如M3 Max版本)价格已降至2万元左右,成为开发者本地运行“满血版”大模型的极具性价比选择。 **核心技术与应用价值**: 1. **统一内存架构(UMA)**:苹果芯片的统一内存允许GPU直接访问高达128GB的内存空间,能够轻松加载并运行70B及以上参数量的本地大模型,突破了传统PC显存不足的瓶颈。 2. **极高性价比**:相比于购买全新MacBook或配置多张昂贵的NVIDIA显卡,2万元左右的二手M3 Max设备极大地降低了个人开发者和AI创业团队搭建本地私有化AI开发与测试环境的硬件门槛。 对于需要频繁离线调试、处理敏感数据或进行大模型推理实验的开发者而言,这提供了一个低成本、高效率的硬件替代方案。