# 我也试了一下，2 张 T4 卡，启动参数如下：
export CUDA_VISIBLE_DEVICES=0,1

/opt/llama.cpp/build/bin/llama-server \
--host 0.0.0.0 \
--port 8000 \
--metrics \
--verbosity 3 \
-m /var/unsloth/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-IQ4_XS.gguf \
--alias Qwen3.8-27B \
--n-gpu-layers all \
--split-mode layer \
--tensor-split 1,1 \
--ctx-size 131072 \
--parallel 1 \
--predict 8192 \
--batch-size 4096 \
--ubatch-size 1024 \
--flash-attn on \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--cache-prompt \
--temp 1.0 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.0 \
--load-mode mmap
# 结果
Prefill：70.50 tok/s
Decode：13.51 tok/s
1024 tokens：75.8s
这速度几乎是无法生产的，大佬看看这堆废铁（ nvidia Tesla T4 16GiB ）还有必要跑吗，但使用 8 张卡跑四个实例并行是不是也是可以？

@coderluan 不加班，也会胡思乱想。 @SUN700S 楼主还是找个轻松工作，多出去交流一下，多去外面看看，远离朋友圈。

@kobeguang 我他妈，这 2 天总是看到这样帖子。是不是该整个《程序员互助会》，被家庭、工作、世俗裹挟的 80 ，90 后。同样现在每个月交粮，亲热几次感觉很别扭。自己的老婆，想干还得约得看心情。这特么结婚的意义就如同还债，没完没了。不能再多说了，不然 v2er 要说🐢了

@xinyewdz 像这样通勤上班不少，我都已经来回开了 3 年，习惯了。最近突然油价飙升，想找个搭子，摊下成本。

@xinyewdz 也不算远，45km ，比市区到青浦还快。

兄弟，同 34 岁，说说上海的行情，基本没戏。比年年轻的还有很多找不到工作，身边有几个同事出去后都想回，但现在很多公司岗位都在收缩，软件这个行业基本没指望了，换个其他出路，骑驴找马再看看。

@suke119 你这个 Token 自由的一米呀，回个帖还用 AI 。楼上整个 AI 文本分析，你居然直接上图，佩服。

@daxiaolian 好的👌

@laojuelv 感谢，我试试

今天我 ali coding plan 也抽风了，然后直接换 minimax2.5 好了。同样适用 claude code

最近写的项目用 nunu ，大佬可以看看是否满足需求 https://github.com/go-nunu/nunu

@10240 pdm 现在支持不咋样，虽然已经 1.0 ，简单用了一下也没啥东西。

@hellojukay 谢谢，我也有这个想法，2 个仓库有些费劲，又不是啥大项目～

@Kirkcong 目前来看，小众需求罢了。小公司不需要，大公司也不敢用。就是写一写学习下，作为一个开源平替。如果官方 pdm 成长起来基本就没戏了。

@sn0wdr1am 单个节点也是支持的，我看 9.x 版本已经很完善了，不知道还有什么搞头。

@lnbiuc 截图我完善下

@cnbatch 困扰我挺长一段时间了。项目开发完一直纠结，现在思路清晰了。很感谢你，同时也感谢楼上的几位老哥。