@
lesismal > 他的结论来源的基础就不合理,也就是他的观点不合理
我觉得是你随意扩大了对其观点的解释。这是原话:Any project that has not scanned their source code with AI powered tooling will likely find huge number of flaws, bugs and possible vulnerabilities with this new generation of tools. Mythos will, and so will many of the others.
curl 作者想要说明的是,Mythos 本身并没有比其他模型强多少。他所说的噱头是指 "The whole world seemed to lose its marbles. Is this the end of the world as we know it?",或者说「 Mythos 颠覆性地超越了此前所有模型,并且将会引起业界巨大震动」。
他批判的是「 Mythos 强得离谱」这个观点,并没有说「 Mythos 没有提升」「 Mythos 很弱」或「 Mythos 是很一般的模型」。说人话就是要给这个 hype 降温,而不是彻底反对整个观点。这就是我为什么引用来回答楼主的问题:「 Mythos 真的那么"牛逼"么?」
至于说「 curl 作为一个高度精良的项目,拿来做实验不合理」,这就更没道理了。一方面是 Anthropic 的封闭模式导致目前客观上没有办法在「各种语言的 web 服务,还有各种企业级,乱七八糟的系统」上进行有效的评测;另一方面是 Mythos 如果想要证明自己是「颠覆性的强」,「能够在 curl 上找出高危漏洞」自然是一个充分条件,好马配好鞍。如果只是用一般的项目扫描,那现有的模型也可以做到类似的效果,只不过受限于应用 AI 的能力、技术水平、人力成本或意识形态等乱七八糟的原因,没人去做罢了。而 curl 作者用自己的项目验证了「 Mythos 并不能在顶尖开源项目中找出高威胁安全漏洞」,说明其能力并没有炒作中那么颠覆,逻辑是闭环的。