云 llm 越卷越便宜， mac 统一内存本地部署 32b 已经没意义了

说隐私保护的有点跑题，隐私分为非核心商秘（比如大部分行业的客户隐私）和核心机密。大部分都属于前者，所以保密协议可行。

https://github.com/drumih/turbo-fieldfare

Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook

工作的话本地确实已经不如云了，但是要是玩的话，尤其是自己进行点微调训练，本地还是有优势的

涨价了，一台至少涨了五百块，我还是买的贵点，估计得涨了有八百块左右

企业落地没有人愿意云算力的，哪怕本地贵很多。
这些私域数据是企业的命脉，一旦某些关键数据泄露，可能直接关系到企业存亡
这也是为什么开源一定是 llm/agent 落地推进生产的关键，闭源 api 是永远没法落进实际生产环境的

做工具这边的体感是，个人往本地跑的意愿确实在降，但主要不是模型差多少，而是现在 agent 、上下文管理这套工具链基本都按云端 API 优先设计的，本地模型再能打，配套生态跟不上用起来还是别扭。个人这块云是赢了，但企业私有化完全是另一套逻辑，动辄百万起，跟 mac 这种消费级硬件本来就不是一回事。

本地 llm 需求只会越来越大，延迟、隐私、安全就是 云 llm 无法解决的

脑子抽了用 Mac mini 跑 LLM 本体
正确用法肯定是最合适的执行环境啊，当年养龙虾也没叫你本地跑 llm
最适合跑 llm 的最便宜的设备是 dgxspark

每个人头上都有一个大脑，所以每个人手上都有一个智能达到大脑甚至超越大脑的设备是天经地义的

微信读书不要钱的时候，也有人说可其它电子书都没有意义了。
外卖大战的时候，已经有人说可以不用再去实体店了。

等这波大战过去，开始收割时，本地 LLM 还是会再次流行起来。

Jesus Christ... Tunnel vision all the way!

楼上的各位别争了，Mac mini 就是被硬炒上去的，你真用过它跑模型做业务么？就算是 LLM wiki 我都嫌本地模型蠢。更别提那个吞吐量了。

本地 LLM 确实是无意义的，但本地 AI 应用还亟待开发。我更期待手机上什么时候能上 32G 以上的内存

我已经后悔把 m3 max 64g 换成 m5 max 128g 了，哎

其实耐心就好，本地部署 LLM 总会有这个需求。有这个需求自然技术就会迭代，成本也会下来。比起云服务肯定会高，但最终会回归到一个合理的价格区间内。

@MoonLin #31 说明你没见过政府用户。各大云都有政府云业务。还有欧洲区涉及 GDPR ，也需要分开运营。国外云厂商在中国必须由中国公司代理运营。这些都是不能直接访问的，必须通过代理公司和监管系统访问。

@alexluo1 能跑 70B 了吧，应该是比较实用的参数量级了吧

用户群体不一样啊，做毛片的肯定要用本地部署

本地模型 哪怕是 32B 部署起起来也不便宜。。。

私人的本地 llm 是用来发朋友圈、小红书炫耀的，瞬间成为资深 AI 专家