如何从头构建一个自己的大模型呢？从底层最基础的神经网络开始实现

2025 年 1 月 11 日
 lenqu

我最近闲来无事，想系统性的学习一下神经网络，之前看到的都很片面，希望有懂的推荐一下

3045 次点击
所在节点    机器学习
9 条回复
TimeNewRome
2025 年 1 月 11 日
实现不了.深度神经网络有三部分: 数据 模型 训练
TimeNewRome
2025 年 1 月 11 日
@TimeNewRome 孤立的一个人在没有足够的经费的情况下, 什么都做不了.
paopjian
2025 年 1 月 11 日
大模型? 不如先从传统机器学习学起? sklearn 上的功能模型学一下决策树 svm 之类的, 再开始深度学习, 从 rnn cnn 到 resnet 最后是 tansformer, 最终参数量大了就可以叫大模型了
NewYear
2025 年 1 月 12 日
现代的 AI 引擎的训练量是非常恐怖的，你可以理解为一个显卡运行几年才理解完成，才能得出这么好的效果。

别说服务器，电费都是个问题。
NewYear
2025 年 1 月 12 日
回忆一下，你有没有听过给照片里的汽车“拉框”的兼……职工作？看似 AI ，全是人力确认才交给 AI 引擎去训练！
leaves98
2025 年 1 月 12 日
系统性的话，最好看书吧，西瓜书，花书
Sawyerhou
2025 年 1 月 12 日
从花书开始。
me007
2025 年 1 月 12 日
https://github.com/rasbt/LLMs-from-scratch/blob/main/ch02/01_main-chapter-code/ch02.ipynb 从 0 开始
huangyezhufeng
2025 年 2 月 17 日
自荐一波： https://github.com/ai-glimpse/toyllm

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1104401

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX