mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万

编者注：此文完全是数字推演，不代表真实硬件能力。笔者不对信息准确度负责。
信源会罗列在文章下方

结合 256GB 统一内存来看，目前比较有价值的就是运行 ds-v4-flash-0731 ，恰巧最近 omlx 有过一次版本更新，官方性能数据如下：信息来源

然后，M5 Ultra 的内存带宽是 M3 Ultra 的接近 1.5 倍。又根据苹果官网数据，其 prefill 性能是 M3 Ultra 的 4 倍（ ollama 数据，框架不同，只能参考）

所以大概预期，M5 Ultra 运行 ds-v4-flash-0731 Q4 的大致性能是：

prefill

上下文	M3U （ v0.5.4rc2 ）	3×	4×
1K	531.0	~1590	~2120
4K	486.5	~1460	~1950
64K	468.5	~1410	~1870
128K	438.6	~1320	~1750

decode

场景	M3 Ultra	M5 Ultra 预计
MTP 关，1K	27.6	~40
MTP 关，4K	25.8	~38
MTP 关，64K	22.8	~33
MTP 关，128K	21.3	~31

信息来源： https://newreleases.io/project/github/jundot/omlx/release/v0.5.4rc2

https://www.apple.com.cn/mac-studio/

https://omlx.ai/compare

sentinelK

1 天前

@tanszhe 这个完全没有基础数据，所以只能看看了。毕竟内存带宽只是一个必要条件，并不是充分条件。
LLM 的表现和硬件、生态、框架、甚至模型本身都息息相关。

就像是保时捷 911 卡雷拉的前悬挂用的依然是麦弗逊结构。但你不能说用多连杆的面包车比他更运动。

slowgen

1 天前

今晚 Qwen3.8-Flash-Next 发布，和 Ling-3.0-Flash 差不多大小，125B A6B ，如果性能追上 DeepSeek v4 Flash 0731 的话，其实 256GB 就够。

人的欲望总是随着新模型的发布不断上涨，买 512GB 赌的是未来这个容量可以跑下更大更 SOTA 的开源模型，赌 Fable 5 级别的模型很快就可以跑在个人设备上。

c0xt30a

1 天前

我这么算 tg:
- 1.2TB/s 的带宽
- dsv4-flash 的激活是 13B 的 fp4 ，大概是 6-7 GB
- 1M 上下文时候 bf16 kv 是 7 GB

所以不带 mtp:
- 在 ctx=0 时，1200/7 = 171 tok/s
- 在 ctx=1M 时，1200/(7+7) = 85 tok/s

参考：
- https://www.reddit.com/r/LocalLLaMA/comments/1svzlog/the_exact_kv_cache_usage_of_deepseek_v4/

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1237246