云 llm 越卷越便宜, mac 统一内存本地部署 32b 已经没意义了

8 月 2 日
 crocoBaby
硬件成本对比云 llm 已经没法比了,但是看了一眼二手市场 mac mini 依然高居不下
10699 次点击
所在节点    Local LLM
74 条回复
qazwsxkevin
8 月 2 日
其实你应该反边界思考,云 LLM 做不到的需求,还是很大的。
crocoBaby
8 月 2 日
@qazwsxkevin 除了 nsfw 没想到别的了
xjoker
8 月 2 日
隐私部署还是要的

比如人事部 财务部
资料不能外泄
crocoBaby
8 月 2 日
@xjoker 一般都签保密协议采购云 llm 吧
xjoker
8 月 2 日
@crocoBaby 没必要呀 真泄露了你没办法证明是不是它泄露,君子协定
EdwardKot
8 月 2 日
最近也确实有此疑问,但是我还是部署了 asr 、ocr 、35B-A3B ,有些小钱能省(但是主要是手头现有的内存还算大,如果是新买专门用于本地部署的肯定不会)
xing7673
8 月 2 日
mac mini 价格高早就不是本地 llm 需求驱动了,2-3 月还是,但是 4 月后就绝对不是了。
crocoBaby
8 月 2 日
@xing7673 是什么
crocoBaby
8 月 2 日
@EdwardKot 别说为了 ai 特意买大内存的想法没有了,连为了 coding 买的大内存的想法也没了
slowman
8 月 2 日
回到大型机时代了
crocoBaby
8 月 2 日
@slowman 确实,也只能这样了
xing7673
8 月 2 日
@crocoBaby #8 存储上涨,苹果备货清完了 SKU 都卖完了
YaakovZiv
8 月 2 日
私有化部署,目前的接触比较多的是两份财务统计的场景。医院信息科的测试场景。
crocoBaby
8 月 2 日
@xing7673 那只好等新款 macmini 了
crocoBaby
8 月 2 日
@YaakovZiv 刚需使用场景
magichan
8 月 2 日
数据安全性在很多公司具有一票否决权,

就像 5 楼说的,数据泄密是很难被证明的, 而且很多公司要求的不是泄密后有赔付,而是不泄密。
lookenghua
8 月 3 日
云 llm 越来越便宜,但是很多破限的模型也不支持,其次云端有延迟,对于敏感的用户很烦的,本地又不是非要跑那么大的,比如语音输入就很小适合本地跑
conge
8 月 3 日
@YaakovZiv 我在医院工作
我们医院买了保密的 Gemini
只让用 chat ,不开放 api ,
说是可以处理敏感信息的。
AsukaShen
8 月 3 日
@crocoBaby #14 新款铁定涨价,估计最低 5999等等党一败涂地
crocoBaby
8 月 3 日
@AsukaShen 如果跟二手的 2024 款 m4 对比,其实还是划算的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1231540

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX