有什么本地部署好使的写代码小模型吗？ 24GB 显存玩玩那种

没那么关注，不过前些天我装了个 Strata （ https://github.com/Niko1221/Strata ），也许可以试试。

24GB 显存可以搞高精度一点的模型还有长上下文了。

这种去年的模型有啥好折腾的，工具调用根本不稳定，不如用🤗上的新模型量化版

舊模型不值得折騰+1

DS R1 Distill 還是 Qwen2.5, 而 Qwen3 也不算太好, 這些東西 Tool use 正確輸出 xml 也極不穩定而且無法自行修正, 到了 Qwen 3.5 就好很多

有 64GB RAM 直接上 Strata 試試吧, Qwen 3.8 Flash Next 125B A10B 的 Tool uses 很穩, 3090 應該在 Prefill 及 generation 的速度也十分好用

年度最佳本地小模型：
低内存：qwen3.8 27B.
高内存：qwen3.8 flash next （ Strata ）.
27b 在执行层面上，只要把任务和验收标准写好，质量不比 gpt6 sol 差。找个大一点的付费模型当领导，27b 当力工。

建议 llama.cpp 上 Qwen3.8 27B Q4 。建议暂时不要尝试 Strata ，这个东西似乎买了推广，作为一个开源推理系统，推广力度如此之大，原因不明，等情况明朗后再尝试，上 Qwen3.8 flash next 用 llama.cpp 也没有问题

strata 真香。ddr5 内存再大一点会更香。

qwen3.6 35ba3b apex mtp 版本，效率和质量好得多
qwen3.8 27b 也可以，但是说实话我体感一般。

另外你跑的那些都是过时了吧，删了认准最新版吧

1 个 3090 就 Qwen3.8 27B 。有 4 个 3090 就 qwen3.8 flash next

你这信息太滞后了，落后了好几个版本了。
本地 30B 以内的模型写代码，几乎没得选，唯一答案就是 qwen3.8 27B ，再过一段时间答案就是 qwen4 27B

@uprit 哈哈，都是 deepseek 给我整理的，过来投石问路

@52txr 所有的 ai 都只有去年的 ai 数据，推荐给你也都是去年的毫无参考价值。（现在的迭代速度 1 个月前的本地 ai 就基本淘汰了，可以理解一个月就是一年，你这些模型可以理解为 10 年前的了...）直接去 huggingface 看，下载多的就把链接给你的 ai 问问它怎么样。推荐 qwen3.8-27b 系列

@uprit
@52txr 没错,唯一答案就是 qwen3.8 27B ，苦哈哈的玩了几个月，尝试了各种 24GB 显存方案，比如 NInfer ，llama.cpp 自编译，Bonsai, GSQ_RCQ ，Flash_Next, 最后发现居然官方标准 GGUF 模型是最佳答案：unsloth/Qwen3.8-27B-UD-Q4_K_M.gguf ，可以提供 200k 上下文，q8 精度 kv 。速度方面用 ngram ，关 mtp ，刚好不会 oom 。参数方面也可以自编译 llama.cpp kv 混合模式 k q8_0,v q5_1 ，这样可以开 mtp ，速度快点，另外 GUI 应用不能占显存，所以要有个备用的显卡，比如板载的或不同品牌的例如 AMD 的显卡。