V2EX
Mac M5 Ultra 运行大模型性能推演
基于 Apple 官方数据与 omlx 框架更新记录,推演配备 256GB 统一内存的 Mac M5 Ultra 运行大语言模型(如 ds-v4-flash-0731)的实际性能。M5 Ultra 的内存带宽达到 1.2TB/s,Prefill 性能约为 M3 Ultra 的 4 倍。通过量化对比 1K 到 128K 不同上下文长度下的 Prefill 吞吐量与 Decode 解码速度,为本地部署大模型的硬件选型提供数据参考。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。