最近两个月 AI Token 用量: 135 亿,缓存命中 96%,有点夸张

7 月 8 日
 chengzp

统计了一下 5 月到 7 月初的 AI 用量,68 天,总 Token 大概 135.65 亿,日均 2 亿左右,换算成 API token 价格 $15,194 ,比工资都高了有木有😂。感谢 Codex 和 Cluade 的套餐订阅。

比较意外的是缓存命中率有 96%,缓存节省显示 $70,824 ,不然成本会更吓人。

感觉现在做 AI 应用,模型本身只是成本的一部分,缓存、上下文复用、模型路由、限流策略可能才是真正决定能不能跑得动的关键。

大家现在 AI 应用的 Token 成本大概是什么水平,可以分享分享你们的用量吗?

日均 2 亿 Token 算重度使用吗?

大家有没有什么比较实用的降本方案?

5665 次点击
所在节点    OpenAI
21 条回复
xiaomushen
7 月 8 日
赚了多少呢?
realpg
7 月 8 日
我这边,AI Coding 的效能不算码农工资,是 15 倍左右回报率
yjxjn
7 月 8 日
请教一下,缓存命中这个如何提高?使用 OpenSpec 之类的么
bailywen
7 月 9 日
@realpg 不算码农的工资是怎么理解呢?是不计员工工资或者这些码农是外包的不计入成本?
aarontian
7 月 9 日
@yjxjn 只要模型上下文够长/压缩不频繁,相当于每次调用只有最近的一组 tool call+tool result 是新的(比如 1-2w token ),前面都是缓存的 token ,但使用 token 数按接近 1M 给你算,缓存率自然高。
这些是模型厂+agent 开发者考虑的事,不需要用户特别做什么
msg7086
7 月 9 日
@bailywen 应该是不管用不用 AI 都能挣到工资的意思?
chengzp
7 月 9 日
@xiaomushen 扎心了,老铁。就是工作中会用,然后维护了个开源项目,分逼不挣,用爱发电😂

https://github.com/chengzuopeng/stock-sdk
chengzp
7 月 9 日
@yjxjn 不需要做什么,感觉也做不了什么。就是日常使用 Claude Code 和 Codex ,没有特意关注过缓存命中
cubecube
7 月 9 日
越是不主动管理缓存,命中率越是高
twocool
7 月 9 日
日均 2 亿 token 放在做 AI 应用的团队里应该算中大型体量了,重度与否还得看具体场景——如果是纯聊天类应用,这个量级已经不小,如果是批量数据处理/Agent 自动化跑长流程,这个量级反而正常。请教一下,你这个是哪类场景呢?
artemisdiana
7 月 9 日
@twocool 纯聊天用不了多少吧,日均两亿 这种应该是跑任务了
twocool
7 月 9 日
@artemisdiana 噢噢 难怪啊
Had
7 月 9 日
两个月 三百多亿
基本上都在这个项目上 https://wdl.dev/
Codex 在 95%-96%
Claude 在 96%-97%
chengzp
7 月 9 日
@twocool
@artemisdiana
倒是没有自动化跑长任务,聊天占比很少,基本都是 coding 消耗,工作 + 开源项目维护,日均大概 50-100 轮对话吧
realpg
7 月 9 日
@bailywen #4

码农工资加一起就不好算了,反正工资是小头
开发/维护/运营的低人员公司,码农也兼其他的,就好像我,在这公司,开发运维法务财税钻政策空子跟政府对接我都干,怎么衡量我在这里的成本,总共就四个跟技术沾边的人,有个开发还兼职公司司机呢

而且我还不止在一个公司工作

直接量化就是 每个月烧的 AI 创造的软件营收是 AI 投入的 15 倍左右
Liftman
7 月 9 日
我差不多 1w 多刀。但是我不是开发。我们底下开发大概是我的数十倍。 但是回报率是值得的。
xiaomushen
7 月 9 日
@Liftman 什么生意这么赚钱?量化?

开发每个月 10W 刀,那就算净利润 30%+来算,人均月营业额也要 100 万人民币了.
xhfx
7 月 9 日
coding 都能用这么多啊,现在业务 coding 也不了几个 token
XinPingQiHe
7 月 9 日
我也不懂这里面的赚钱逻辑,希望你们花这么大量 token 的 , 能展开讲讲。
syyyyy
7 月 9 日
让 CLAUDE 测了一下对比,有个点需要跟作者分享下。首先作为行情通道做的非常好。
但同时想分享一组测试结果,供你和使用者参考。我们把 SDK 中信号类功能背后的思想,按学术文献口径构造成因子,在 A 股沪深主板做了 12 年(2014-2026,149 个月度截面)的验证,口径包含:财报时点对齐、退市股回补、行业和市值中性化、真实交易成本(佣金/滑点/分段印花税)、涨停买不进和跌停卖不出的约束、Newey-West 统计修正。结果:
追涨类信号全部反向。站上均线/多头排列(t=-5.2)、动量强势(t=-3.2)、大阳线(t=-10.6)、涨停次数(t=-8.5)、放量活跃(t=-6.9)——信号越强的股票,随后 5 到 63 天平均表现越差,五种持有期都一样;
筹码获利盘也反向(我们用 Grinblatt-Han 2005 的学术口径代替 CYQ 黑箱,t=-3.8),且与均线距离 0.81 相关,基本是同一个信号;
止盈止损救不了它。考虑到实盘没人按月傻拿,我们额外做了逐日路径模拟:追涨买入配 8%/5%、10%/7%、20%/10% 三档止盈止损,12 年全部跑输"同规则随便买"的基线;最紧那档年化 -17%——A 股中短期偏反转,止损频繁触发在反弹前,越紧亏越快;
反着用有信号但很薄:买远低于均线的,扣完成本每月约 +0.16%,撑不起单独的策略。
两个可能有用的建议:①信号文档里加一句风险提示,说明金叉/超买超卖类是描述性事件、未经收益率验证,避免使用者当买入依据;②内置回测引擎目前没有财报时点、退市股、涨跌停可成交性和分段成本的处理,测这类信号容易得出偏乐观的结果,加个说明或约束会让它更可靠。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1225926

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX