1m 上下文感觉面对 agent 还是少了?预测下接下来哪家会先出真*2m 上下文?

3 天前
 lynn1su
不是那种跑 30%就开始降性能的那种模型
2654 次点击
所在节点    程序员
27 条回复
Vegetable
3 天前
我觉得恰恰相反,现在是 agent 肆无忌惮的的浪费上下文,上下文越长,信噪比越低。这样下去上下文边际能力收益会越来越低。
模型训练那边已经想明白后训练才是最有性价比的付出,agent 也会探索出让上下文更有价值的方法,我并不期待更大的上下文,我期待“Agent 仙人”
shukebeta2004
2 天前
@xiaoz 没错。即使是支持 1M 上下文的模型,我也主动限制为 256K 上下文,尽早触发上下文压缩可以有效降低使用成本,特别是当 agent 们大部分时候都在自主工作时。超过 400k 每一次工具调用都变得异常昂贵,即使命中 cache 也是。
txican
2 天前
不只是压缩,还有总结。
压缩是从上下文中去掉一部分,总结是保存为文档,需要的时候再来读。
好比你写论文,记忆里只有一个大概 “XXX 说过一个什么意思的话”, 真要要引用的时候,你再去找原始资料再读一遍, 确认你没记错,确认更多细节。
Adven
2 天前
我日常超过 256K 上下文使用的话,多轮对话下去成本会骤升,好多 Agent 工具在这个量级附近已经开始自动压缩模型上下文了,1M 以上的上下文需求目前占比应该非常小,但是潜力肯定还是有的,最大阻力是算力成本墙,要成为主流还是得给输入/输出上下文的单价进一步降下来,个人认为至少得目前市场价数倍的降幅,且模型能力还要保持不下降,否则这个短期内市场博弈下,大多数用户盯着消耗账单望而却步。
guo4224
2 天前
外面一堆 200 的都一样用
xiaomushen
2 天前
500K 是甜点,1M 上下文大部分用不到---因为上下文有效的,可能就最近几轮对话。再之前的,都是废话
xiaomushen
2 天前
这和人对话一样的道理:说话请说重点,别东拉西扯废话连篇

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1235921

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX