AiNews
⚡ 速览 🧠 模型
返回首页
V2EX

Mac M5 Ultra 硬件推演与大模型推理性能分析

基于硬件参数推演,M5 Ultra 的显存带宽达到 1.2T,最高支持 256GB 统一内存,售价约 8.6 万元。其内存带宽约为 M3 Ultra 的 1.5 倍,官方预估 Prefill 性能可达其 4 倍。结合 omlx 框架的更新数据,本文对比了 M3 Ultra 与 M5 Ultra 在运行 ds-v4-flash-0731 模型时,在 1K 到 128K 不同上下文长度下的 Prefill 与 Decode 性能表现。这为本地部署大模型的开发者评估大容量统一内存的实际推理效率提供了参考。

获取每日 AI 情报与羊毛福利

加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。

立即加入

相关阅读