公司想搞本地化算力部署 deepseek coder v2 给技术用,听到 AMD 锐龙 AI Halo 也不算贵,可行么

6 月 16 日
 cheman

AMD 锐龙 AI Halo 2.7w rmb ,现在每月花在 token 上的钱其实感觉是蛮多的,有这样的一个方向性的想法,不知道会有什么坑,或者问题,有人懂么,专业点的看法。

4934 次点击
所在节点    程序员
36 条回复
ala2008
6 月 16 日
日常开发能用这么多 token ?我感觉我们日常用 cursor 就可以了
msg7086
6 月 16 日
我实际的体验来说,一个好的模型哪怕价格是便宜模型的 5 倍也可能是前者最终更便宜。
同时用着 5.5 XH 和 3.5 Flash ,要达到同样的代码质量,前者花费的钱应该更少。
我之前同样做一个重构,3.5 改着改着就漏东西或者写错东西了,5.5 几乎可以一遍过,跑完测试就可以提交了。
如果同样两个人用两个模型做同一个需求,用 3.5 那个人得一遍一遍检查调试迭代,5.5 的那个人一把做完提交就可以摸鱼去了。
自建的话更痛苦,因为 token 输出速度更低,你要同时忍受更低的智力和更低的速度。别人 20 分钟干完的活你可能要干一整天,还要吃降血压的药。
coefu
6 月 16 日
这么点成本的投入给公司集体用?就 amd 这机器的 umem 带宽,你自己一个人用都慢的无法接受,还给集体并发用,想什么呢。公司机器用没有个几百万的投入,都不用开始。
calvinHxx
6 月 16 日
local llm 作为玩具还行 生产力就算了吧,
要不先去了解一下一块 H200 多钱?能提供多少算力? deepseek pro 1.6T 算力 勉强能当生产力用用
花 千万 rmb 本地部署, 感觉不如去开 prox20
martinm
6 月 16 日
别幻想了,订阅顶级模型吧
longaiwp
6 月 16 日
别想太多了,拿这 2.7W 用 DeepSeek 能全公司用一整年了。
coderfee
6 月 16 日
这模型,把员工当日本人整吗
roygong
6 月 16 日
没个大几百万买 H200 或者 H20 整机还是趁早洗洗睡吧,本地部署成本大到吓人
106npo
6 月 16 日
就算部署起来,不算硬件投入,光电费都比你买 token 贵.
Immortal
6 月 16 日
别折腾了 花点 token 钱得了
Biem
6 月 16 日
可能把这钱拿去找实习生然后说有转正机会会更值。
james2013
6 月 16 日
那还不如给每个员工配个 opencodego 会员,首月 5 美元,以后每月是 10 美元(据说会员失效重新订阅仍是 5 美元),每月用 deepseek v4 flash 估计用不完。
opencode zen 有免费的 deepseek v4 flash ,每天可以少量免费使用
wsbqdyhm
6 月 16 日
@coefu 真是一个人用都嫌弃得玩意
martinm
6 月 17 日
技术,程序员不会用这种淘汰的模型,模型智商不够会胡说八道,开 DeepSeek 最便宜了
jonty
6 月 17 日
@fcten #10 如果采购 deepseek ,够烧多久
zzutmebwd
6 月 17 日
@fcten 问题是顶级开源模型不如顶级闭源模型。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1220819

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX