需要大概 500 亿 token,现在用什么方案比较好?

6 月 7 日
 LeeReamond

计算了一下批量任务大概需要 500 亿左右,输入输出比大概在 20:1 ,需要 deepseek v4 pro 及以上智商的模型。

不知道有没有比较熟悉各种 tokenplan 的老哥指条路,谁家比较便宜。

目前用的是 mimo v2.5 pro 的 tokenplan ,估算了一下要几千块钱,还是很贵啊。。。

4919 次点击
所在节点    问与答
33 条回复
sillydaddy
6 月 8 日
如果是**检索信息**而不是**全量处理文档**,有没有可能改进一下流程?即,不要把所有的内容,都作为输入 token ,这样太消耗了!可以使用工具+ReACT 模式,去递进的搜索、提取。

这是我在做的项目,试了下,相比之前,感觉能把成本减少 90%以上: /t/1215475
afkool
6 月 8 日
@LeeReamond 中转是把订阅转成 api 卖,当然便宜了。至少现阶段,gpt 系列没有人以次充好。
人品差的可能会植入一些恶意提示词获取密钥之类的。所以用的时候注意一下权限管理,防人之心不可无。
andyskaura
6 月 8 日
@DeadLion 你想多了,老套餐现在能联通一次都不容易。降权降得厉害
DeadLion
6 月 8 日
@andyskaura 除了刚出 5.1 那会儿限流 429 后面没遇到过 昨天好几个账号都跑满了 消耗 7 个亿
日常也都 2 亿 token 快的很
andyskaura
6 月 8 日
@DeadLion #24 那估计是我的账号太早了?去年 10 月份的订阅,今年过完年基本就无法使用了。10 个需求只能正常回复 2 个。
defunct9
6 月 8 日
team bug 号,还可以继续薅
LongjingTea
6 月 8 日
我用的是免费账户 mimo v2.5 pro 免费额度还有几百亿这个月 19 号过期过期不介意的话你可以低价收走
LongjingTea
6 月 8 日
@MeAndRhythm 6,057,316,608 / 82,000,000,000
已使用 7.0%
DeadLion
6 月 8 日
@andyskaura #25 感觉可能跟姿势有关 要么就是你号黑了 我 1 月份的也是老账号
Lexin914
6 月 8 日
@qili36585009 老哥有没有速度快的中转站推荐
LeeReamond
6 月 8 日
@maolon 我看官方价格 batch api 只是 50%off ,老哥怎么搞的 1/10 价格呢。

@sillydaddy 目前是低价收的账号,不是走原价

@MeAndRhythm 老哥哪个区的,目前限流问题怎么样。我有几个新加坡区的现在只能单线程调用了,非常糟糕。能并发的话倒是有兴趣
guanhui07
6 月 8 日
中转站
qili36585009
6 月 10 日
@Lexin914 happycode.vip 稳定好用

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1218571

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX