mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万

也就是说，结合实际场景，大概实际应用时打开 MTP ，prefill 也就是 1500 左右的水平，decode 大概在 60 左右。

prefill 性能仍然偏低。

但是结合非常大的统一内存，能实现非常高的多会话缓存命中能力，所以和多卡部署相比，有利有弊。

NVIDIA 打下的江山，Apple 开始摘桃子了吗

这个价格对比 n 卡服务器，甚至可以说性价比爆表，统一内存的架构优势在 LLM 时代凸显出来了

虽然比不上 nvidia ，但是便宜啊！！！！！

快囤 mac mini

可以使用 DeepSeek V4 Flash Vision Exp 吗

逼的哪天老黄给显卡加内存条。让你们胡搞

这速度适合一个人玩玩。甚至不适合一个人干活（并发 agent 的情况）。

dsf 什么时候个人部署可以比较简单的到 100tps 的话感觉比较可用

是不是比双 DGX Spark 要强？

@sillydaddy 从推论来讲，是。但是这个需要看实测。
毕竟 GB10 跑的是 cuda ，mlx 环境不能直接横比。

@ReinXD 同配置 nv spark 只要 3w 啊

这玩意是不是还能多机并联增加性能来着

@clemente dgx spark 显存没有 512g ，这个区别挺大的，跨越到 512g 意味着可以部署满血 1M 版本的 dpsk v4f ，而且 m5 ultra 带宽 1.2TB/s 也是吊打 dgx ，大模型计算核心耗时其实都是权重搬运，这个对实际使用提升应该是非常巨大的。总的来说，和 dgx 完全不是同级别的硬件，dgx spark 还是有点不上不下，m5 ultra 已经摸到云端服务器水平了，考虑到个人/小团队使用甚至非常超模，部署的好很有可能比用官方 api 的体验还舒服

Q4 量化版，和满血版能相差多大？

是不是得等 512gb 的版本

目前准备搞个 256 的，up 建议等 512 吗？个人感觉模型参数量大的话，受制于内存带宽，性能不会好到哪里去，所以感觉 512 的意义不是很大，相较于 256 的话。

@mkdirmushroom 真要买得等 512g ，能满血部署 1M dpsk v4f 是质变，不然不如买块 5090 玩，1.2T/s 对 1-4 个人来说其实是很超模的带宽水平，你对比 H200 那种 4.5T/s ，这么点人数根本吃不满带宽，楼主的估计其实还保守了点，低负载下+dspark mtp 加速，我算了下理论上至少能到 100 token/s

@dragonszy 跑 dsv4f 应该用不到 512 的，glm 的量化版本应该至少要 512 了

@dragonszy @mkdirmushroom 如果只是聚焦于 0731 的话，个人谨慎预测，性价比很低。
v4-flash 无损就是 8bit ，所以其实 256GB 已经可以跑无损（和 GB10 * 2 逻辑一样），但是 prefill 和 decode 会更难看。

而且家用不太可能同时占用太多个 session 的 kvcache 。同时保持 3~5 个 session 是在线的我已经觉得大脑过载了。

512GB 的优势一个是能同时保持更多的 1M 上下文的 session 在线（能命中缓存）以外，就是能跑更大规模的模型。
但是反过来说，更大规模的模型 prefill 和 decode 会更慢。

所以，统一内存方案的掣肘就在这，看似能跑很大的模型，但是实际把 RAM 占满速度又无法接受。