Taylor77

@charsunny 纯人工吗？ 4655 篇，人多的话还行。不过可以试试 JEv ，对比跑跑看如何。
但确实是个思路，以后所有的文档校核，确实是个不错的场景

@FF0EAA1C 那切换个组织，还能保有当前的数据继续使用不？会不会换个组织就立马又是一样的情况

🤔啊，别骂别骂，师夷长技以制夷啊，兄弟们！本人身在曹营心在汉纳，天理昭昭，日月可鉴。
我是在践行毛主席的教导“学点外语，洋为中用。” 我在认真学外语啊

在哪里申请退款啊，我看订单里没有退款选择

补一个更清楚的结果摘要，主帖里的实验数据排版挤在一起了：
48 个 case：
A ｜现有流程：42/48
B ｜改善 LLM Context：46/48
C ｜ Better Context + Jev：38/48
24 个 holdout case：
B：23/24
B + Jev：17/24
这轮实验最值得记录的结果是：
改善原 LLM 的 context ，比增加 Jev decision layer 效果更好。
如果继续测试 Jev ，我会把它负责的 decision 缩到一个非常具体的问题，而不是让它重新判断整个 Agent 应该做什么。

更新一下这个项目。
上次发这个 Playground 时，我主要还在研究 Jev 的 Choice / Noul / Score 到底怎么用。后来我真的把 Jev 接进了一个 AI 日程助手，并针对上面提到的“8:00 到单位 ≠ 8:00 开会”这类问题做了 3 组对照。
结果挺出乎我预期：
现有流程：42/48
只改善 LLM context：46/48
改善 context + Jev：38/48
也就是说，这轮实验里 加 Jev 反而比不加差。在 holdout 中 Jev 也没有修正原方案的错误，反而引入了新的 mismatch 。 粘贴的 Markdown (1)
复盘后我现在觉得，比“再加一个模型”更重要的是先把 context/evidence flow 做对。如果继续测 Jev ，我会把它负责的 decision 缩得非常窄，而不是让它再判断整个 Agent 的行为。
完整实验记录放这里了：
https://tryjevai.com/blog/jev-ai-agent-scheduling-test
算是给上次这个帖子的一个后续，也把负结果一起记录下来。

新帖里也开了一贴讨论具体实验结果，就不在这里重复贴完整数据了。https://v2ex.ih06.com/t/1247068