云 llm 越卷越便宜， mac 统一内存本地部署 32b 已经没意义了

专用的 AI 一体机不是很贵嘛

@conge 你这医院不是国内的吧。

本地部署的需求永远都在，只是说你不是这方面的用户。

@YaakovZiv #13 OP 说的是 mac 统一内存本地部署，你这种场景应该是机房私有部署吧？

对于有些公司业务来说，把模型部署在其他公司的服务器上本身就是不可接受的风险

现在大公司都在搞超节点，个人只能看个热闹了

「签保密协议」的保密等级有限。真正保密等级高的，要么自建开源模型，要么自建机房然后让对方进驻。
比如我司的云计算产品，别人要采购，他们可能是自己建一个保密机房，然后我们的人进去部署好整个云计算环境，然后他们用。我们这边要访问机房里的环境，必须要政审拿到权限才可以进。要 debug ，得他们的人连上服务器，然后和我们共享屏幕，我们指导对方怎么查日志找问题。

找 Kimi 改简历改出别人的真实简历， 这种事情发生一次就够说明问题了

mac 部署本来性价比也不高

我的 mac 是 64g ，我都不考虑本地部署。

@msg7086 私有化部署我经常见，无法访问机房环境的客户我也天天打交道，但是需要政审访问机房环境闻所未闻，你们甲方这么大权力随便发协调函查档案和无犯罪证明？并且组织部还乖乖配合审查？

本地部署小参数本来就是个人折腾着玩的。
公司数据敏感私有化也和 Mac mini 没啥关系。
这东西价格高可能还是因为很多人其实没接触过好奇加一些营销号宣传吧，加上虽然价格不低，但是还在一般人相对可接受范围内。
像 DGX Spark 对于大众就没啥讨论度了哈哈。

@crocoBaby #4 保密协议有用就不会有间谍了。

32g 开个 codex 都不一定够用...这就没意义了？

@MoonLin 是啊，甲方是美国联邦政府和美国国防部。

比如你想下载一个 电影，但是云 llm 肯定会拒绝帮你找资源，但是。。。

个人使用的自部署需求量很低了, 但是企业还是存在的, 当然此时都是起手百万搞私有化了, 跟 mac 没关系了.

现在小模型智能不足, 微调不够普及. 今后的随身 AI 助理可能是:

1. 白天的信息全部储存在上下文. (推理/工作)
2. 晚上针对白天的信息进行微调. (微调/睡觉)

如果要切换新的 AI 助理, 就 "老带新" (类似蒸馏), 以确保知识迁移.

你要从正经的角度来说，我也赞同你的观点。

因为类似 dgx spark 这种东西，说实话，部署一个 120b 左右的模型，说实话也就干点杂活，但凡是正经的做点事情，效果很差，而真正需要干活的例如医院，其实自己都有部署自己的算力集群，可以部署更大的模型，做到 100%离线。

在和 nvidia 线下交流会的时候，我冒犯的问了 nvidia 员工这个困扰我很久的问题，我很想知道 dgx spark 这种个人/边缘算力机器的东西到底是干什么的？你们的目标是谁？或者真正的 typical 场景是什么？
他倒也坦诚的表示，这东西的定位其实就是很模糊和小众，其实本质上就是当年疫情的时候，在美国很多离线办公的人，公司买来配给员工的，现在其实也不是他们主要的销售产品。

现在这台 dgx spark 搞了个 frp ，已经被我拿来做物理云服务器了，挺不错。然后跑了个 qwen3.6-35b 的模型，用来整理一些文档，仅此而已。

@msg7086
这种 gov/drcc region 出问题 debug 真的烦死人 而且大概率遇到一个啥都不懂的 operator