大伙有想过二次训练吗？

4 月 24 日

archxm

2053 次点击

所在节点

9 条回复

raycool

4 月 24 日

理论上是
只是微调的效果不可控，并且算力的需求比 RAG 大太多了。

HHHans

4 月 24 日

gpt3.5 刚出来的时候微调还很火热，现在已经没人提了。。

owt5008137

4 月 24 日

正常模型本就是分初始预训练和继续预训练的，你说的二次训练怕不就是继续预训练。然后后面才是微调和对齐训练。

gorvey

4 月 24 日

cursor 的自研模型就是这么干的，底模是 kimi-k2.5 ，注入 cursor 中高质量的对话训练的

XenoGear

4 月 25 日

你有卡当然可以，普通人压根没有足够的资源来训练大模型

archxm

4 月 25 日

@XenoGear 话说，既然 ai 真这么火热，云服务商，或者其他公司，应该可以提供这种租借服务吧。但要签协议，保证不摄取用户数据，帮用户训练二次模型。
我感觉这个需求还是停常见的。

kennylam777

4 月 25 日

@archxm 早就有了, vast.ai 很多人在用

問題是你所謂的二次訓練, 其實還有分 CPT 及 SFT 的, 一般用 SFT 已經足夠應付任務, CPT 效果不佳而且你之後還是要補回一次 SFT

archxm

4 月 25 日

@kennylam777 好的，又学到新术语

mingtdlb

4 月 25 日

@HHHans #2 说明一直在发展，这种方案不合适，淘汰了呗

第 1 页／共 1 页

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.