V2EX
Mac M5 Ultra 运行大模型性能推演
基于硬件参数推演，M5 Ultra 芯片搭配 256GB 统一内存的 Mac 方案，其内存带宽可达 1.2TB/s，在预填充阶段相比前代有明显提升。结合 omlx 框架的更新数据，本文测算并对比了该配置在运行 ds-v4-flash-0731 Q4 等模型时，在不同上下文长度下的预填充与解码性能，为本地大模型开发评估算力基础。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go，第一时间接收精选资讯推送。