各位 v 友好,又来给大家汇报一个刚上线的新保障。
近期使用 OpenAI 模型的佬们可能也发现了,官方缓存命中率有点不太稳定。
缓存命中了确实香,能省下不少调用成本;但官方一波动,账单也容易跟着坐过山车,一个不留神,午饭的鸡腿都没了。
我们想了想:
上游缓存波动,不能全让用户买单。
所以,Modelflare OpenAI 缓存命中率保障现已正式上线!
目前三个分组分别提供以下每日最低缓存命中率保障:
系统会审计符合 OpenAI 缓存要求、并已形成有效缓存的请求,按照 UTC 自然日核算缓存命中率。
如果当天的缓存命中率低于对应分组的保障目标,相关差额成本将由 Modelflare 承担并进行补偿。
简单说就是:
缓存正常命中,佬们照常省钱; 官方缓存抽风,符合保障规则的差额我们来兜底
这里也说明一下哈:保障按每日整体命中率核算,并不是承诺每一条请求都能强行命中。请求本身仍需符合 OpenAI 的缓存要求。
数据看板 → 令牌用量分析
查看相关记录。
缓存平时看起来没什么存在感,但它实实在在影响每次调用的成本。既然大家选择在 Modelflare 使用 OpenAI 模型,我们也希望在上游出现波动时,尽量让大家的使用成本更 稳定一点。
第一次来体验 Modelflare 的新用户,可以领取:
活动仅限新用户,留言时记得提供你的 Modelflare 用户 ID ,方便领取赠金额度。
最后还是那句话:
官方缓存抖一下,不能让佬们的钱包也跟着抖~
欢迎大家来体验,也欢迎留言反馈实际使用情况!
立即注册 Modelflare ( https://origin.modelflare.dev/dashboard/overview)
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.