公司要搭建本地大模型，推荐配置。

2025 年 4 月 17 日
 Woolaman

中型公司，大概 100 人，实际使用的大概 20 人左右。 第一步是搭建 DeepSeek 70B 的模型。 第二步是在它的基础上，将公司内部的相关文档、知识库喂给它，进而训练出我们公司自己的模型。

请问，20 人使用的情况下跑 70B 的模型，需要什么配置？ 训练它又需要什么样的配置？

3427 次点击
所在节点    Local LLM
10 条回复
MrLonely
2025 年 4 月 17 日
顶配 Mac Studio 是它所在的那个价位的最佳 LLM 性能。我只知道训练普遍是比推理要高一个数量级的硬件的。
tool2dx
2025 年 4 月 17 日
70B 的模型，只需要买两块 A6000 GPU 就能跑了吧。

知识库不用训练，用一个本地嵌入模型，把文件向量化就够了。

如果训练，第一你源数据一定要整整齐齐，第二听说很容易训练后降低智商。
calmlyman
2025 年 4 月 17 日
按阿里云文档里，给的最低配置是 2 卡 GU120 （ 2 * 96GB 显存）
kiritoxkiriko
2025 年 4 月 17 日
70b 模型 BF16 精度 2 张 a100/a800 ，int4 要 1 张，买不到可以换成 4 张 4090
rockddd
2025 年 4 月 17 日
训练?部署 dify ，文档塞到知识库里，直接就可以配合大模型问答了。
terranboy
2025 年 4 月 17 日
啥叫知识库喂给他 目前很多企业这 2 个搞不清楚， 企业私有知识 RAG 难点在于资料整理， 多模态的资料如何识别
frayesshi1
2025 年 4 月 18 日
喂给它是不是 OP 想训练模型，训练大模型一般万卡以上。很多训练和部署推理没有搞清楚，机器学习或者深度学习本质就是一个方程，训练是根据样本求方程的参数，而推理是把 x 值带入方程求出结论，用 DS 的模型就是用别人的参数，把问题带入模型得到结论。
mumbler
2025 年 4 月 18 日
deepseek 70B 并不好用，推荐 qwq 32B 或者 gemma3 27B ，可以直接跟 deepseek 671B 满血打的

本地部署大模型+知识库的一键安装包：
qwq.flashai.com.cn
gemma3.flashai.com.cn
coefu
2025 年 4 月 18 日
2.2 你们没有那个实力做到，搞个 rag 顶天。不要想太多。
coefu
2025 年 4 月 18 日
@frayesshi1 他可能以为，训练 70B 的模型就像使用 elasticsearch 那么容易。就算微调 70B 的模型都够呛。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1126176

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX