本地大模型多大显存够用？

你至少也要先规划一下自己想跑多少 B 的模型吧？如果你对「够用」的定义是能跑就行，那 2B 4B 的小模型手机都跑得动

@mokeyjay 没概念，能达到 ds 刚出来的效果吗？

论文助手，润色之类需要什么显卡够了
@mokeyjay

@s2555 #2 满血版的 Deepseek 671B 这种规模本地就别想了，哪怕老黄送你几个计算卡，光电费，就已经是国家电网战略合作伙伴了。

有这个预算，还是买 Coding plan ，这个卡的钱，一年的订阅费都用不完，一年后，你还玩不玩都不一定呢

上下文 256k 才勉强够用

48G 适合跑的最新模型有 Qwen3.5-27B Qwen3.5-35B-A3B, Gemma-4-26B-A4B Gemma-4-31B ，可以先体验下再考虑

@ntdll 买显卡也有别的用途

@zhandouji2023 你这需求自然是越大的模型效果越好，很难界定「够用」的标准，我的建议是直接买现成的服务不要自己搞

pro6000 的 96GB 内存都不一定够，最起码双卡，不考虑电费，这价格买 api 够多少年的了

@stevn 这样看来还是要买 api 啊

本地能跑个人开销的起的开源模型没有一个能和开源模型掰手腕的，也就画图模型还能追一追，其他的是真的不行，与其花那个钱买设备不如买 api 了

@WDATM33 #11 打错了 是没有一个能和闭源模型掰手腕

本地想跑 GLM 这个等级的大模型就别想了，GLM-5.1 满血版需要 8 张 H200 ，总计 1.15TB 显存才能跑；哪怕是量化到极致的最低要求也得 240G 显存

@nullyouraise 已经放弃本地跑了，买的 200 块一个月 coding plan 用的还行