大模型的训练是不是到头了？

不是行内人就别评论了。。。多调查调查不是坏事

你要不把你的内容输入到 GPT5 呢？

点进来之前我以为 NVIDIA 要黄摊子了呢。

多模态，通用世界模型。 前路漫漫呢

2 年这个发展速度已经够快了。。。这行业里还有很多要做没做的东西，空间大着呢。。。

还有多模态和 MOE 呢

只能说纯语言的模型快到头了 (不过数据集还可以继续增长)

很明显没有，大模型至少还有个二次大升级，大模型它还可以收集各个用户反馈成功与否，来进一步大提升自己某个问题的准确率和它本身的洞察力。
就看谁家大模型掌握的用户问答数据更多了。

基于 Transformer 的 LLM 应该是到头，Scaling Law 基本失效。其他方向目前还没看到能让 LLM 大幅进化的迹象，实现 AGI 还需要新的技术出现。

AGI 不可能的

那不正是做空 ai 概念股的机会

Openai 估计是到头了, Anthropic 和 Google 油还很多.

首先应该解决 AI 的幻觉问题，经常性胡说八道

堆参数和训练文本的模式可能走到头了，要开始卷算法了把

你可以试一下 qwen3 的 30b-a3b 模型。
以后可以拼小模型的性能。
小模型微调+行业数据+内部文档+本地部署

远没到头啊，到头的时候是老板一句话把产品做完了，把下面牛马都裁掉

针对人类学习的科学研究还没有到头~

至少目前还没到头。

不过你可以说现有范式下的 pre training 趋于平缓了，test time training 还远没看到上限，作为例子，本次 GPT5 pro 模式下，数学等逻辑推理能力提升很大，幻觉也大大降低了(但大部分人可能都用不到)。这是 o 系列模型进一步提升的效果。而且 OpenAI 最近接连在 IMO 和 IOI 上连续获得金牌也足以说明一些问题。

我看很多人说 GPT5 智力下降了，表现在连个 9.11 和 9.8 的大小都比不出来。这一方面是 OpenAI 路由的问题，本来这些数学问题无论大小都要用 thinking 模式，如果只是路由到直接输出的基模，不管谁家的都有可能大错；另一方面也可能大多数用户也不知道这些常识，什么时候要用什么样的模型里面也是有点门道的～

目前的大模型能力在继续增强是毫无疑问的，但也不是没有缺陷。on-line learning, memory, long term planning 这些还都要进一步突破~

@kunkunzhang 尽说片汤话

没呢 互联网公司还没大规模裁员呢

感觉 pretraining 这套确实到头了