学习大模型的显卡怎么选型

2025 年 6 月 2 日
 cuteshell
想高性价比的配一个主机进行大模型的学习,预算不超过 2 万,能够进行大模型的训练和推理,自己研究了一下,有两套方案,请大家帮拿拿注意。

方案一:一张 5070Ti ,显存 16G ,估计只能训练一些 3B 、4B 的小参数模型
方案二:两张 5060Ti 的显卡,显存可以达到 32G ,可以训练一些 7B 、8B 的模型,但是单张计算性能只有 5070Ti 的一半。

之前在公司用 A800 和 3090 做过训练,感觉性能还行,5070Ti 能更接近 3090 ,不知道到有没有用 5060Ti 做过训练的朋友,5060Ti 的性能是不是太低了,如果性能太低,光显存大是不是也没多少用。或者大家有没有更好的方案。
8445 次点击
所在节点    Local LLM
30 条回复
cpstar
2025 年 6 月 2 日
就 16G 显存还训练??一张 3090 的 24G 完全秒杀,省 xing 省 xing 吧。
就 5060 还双卡??没有 nvlink ,就靠 pcie 那点带宽,省 xing 省 xing 吧。
cuteshell
2025 年 6 月 2 日
@cpstar 之前在公司用 8 卡的 A800 ,也是 PCIe ,多卡训练时感觉还是可以的
nomagick
2025 年 6 月 2 日
16G 3B 4B 你也训不了,不过学习嘛,0.5B 还是可以的;
话说回来,LLM 这种应用,主要吃带宽,还不如买 mac 了,内存即显存
crackidz
2025 年 6 月 2 日
租卡可好?
lovestudykid
2025 年 6 月 2 日
@nomagick "主要吃带宽","还不如买 mac",你是怎么把这两句话连在一起的
testcgd
2025 年 6 月 2 日
训练直接租 autodl 吧,本地优先考虑推理和 debug ,5060x2 会好一点
cuteshell
2025 年 6 月 2 日
@nomagick 之前用 24G 的训练过 Qwen 7B ,不过输入的 token 不能太多,16B 训练 4B 模型,按比例算可能是可以的,不过确实没有试过。
cuteshell
2025 年 6 月 2 日
@crackidz 租过阿里的试过,不用的时候停机,再启动记得好像有点问题,我再试试
cuteshell
2025 年 6 月 2 日
@testcgd 好的,多谢
2ruowqe9r
2025 年 6 月 2 日
模型训练,我感觉数据整理好麻烦,OP 是怎么解决的?
coefu
2025 年 6 月 2 日
4*2080ti 22g.
cuteshell
2025 年 6 月 2 日
@2ruowqe9r 之前是人工整理的,还有让用户参与收集,自己写脚本再整理一下。看还有 easydataset 什么的,不过还没用过
nomagick
2025 年 6 月 2 日
@lovestudykid 嗯?

20s PCIE3.0 x16 ~32GB/s
30s 40s PCIE4.0 x16 ~64GB/s
50s PCIE5.0 x16 ~128GB/s

Mac Mini M4 120GB/s
Mac Mini M4 Pro 273GB/s
Mac Studio M4 Max 410GB/s
Mac Studio M3 Ultra 819GB/s
nomagick
2025 年 6 月 2 日
@cuteshell LoRA 微调和全参数训练还是不一样的
mumbler
2025 年 6 月 2 日
2080ti 22G 最好,支持 nvlink ,5000 元实现 44G 显存,英伟达坑比较少

建议研究 agent ,别在大模型微调上浪费一分钱
lovestudykid
2025 年 6 月 2 日
@nomagick #13 你主要看带宽,难道不应该看单卡,要容量才看多卡。RTX 5090 1792 GB/s
cuteshell
2025 年 6 月 2 日
@nomagick 本来主要是想 lora 微调,你说的对,如果学习,全参数或继续预训练也可能会需要。
Rendex
2025 年 6 月 2 日
或者 V10016G 闲鱼现在有双卡或者 4 卡的 nvlink 底板卖,这玩意因为配置麻烦,是现有显卡唯一在降价的
Rendex
2025 年 6 月 2 日
@Rendex #18 v100 16g 说是 500 左右,一路从 700 降下来的,底板可能要将近 1k
davidqw
2025 年 6 月 2 日
再加点钱把 4090 魔改 48G 版本拿下

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1135792

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX