V2EX
M5 Ultra性能推演与本地大模型运行分析
基于苹果M5 Ultra芯片与256GB统一内存配置(1.2T显存带宽),结合omlx工具最新数据,推演其运行ds-v4-flash-0731等大模型的实际表现。M5 Ultra的内存带宽约为M3 Ultra的1.5倍,理论prefill性能可达M3 Ultra的4倍左右。通过估算不同上下文长度(1K至128K)下的prefill与decode性能,为本地部署大模型提供硬件性能参考。注:此为基于公开信息的数字推演,实际表现以官方实测为准。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。