本地部署靠不靠谱？

本地玩玩 ollama 和 lm 这种体验一下得了，和大厂训练出来的模型没得比

我研究了一圈感觉最合适的就是以比较低的价格买 395max, 然后跑跑简单任务或者整点龙虾 Hermes agent 这种东西,干不来太多超长上下文的重活. 真的干重活老老实实买 api 套餐吧. 而且 395max 可以上 linux, 自己会折腾能释放出比原装更高一点的潜力.

DGX Spark 现在也有一定性价比,但是这机器本身三分之一的价格在网卡上, 只买一台根本用不到. 不过考虑到一张 5090 和 spark(gb10)方案的机器价格都差不多了, 所以真的要上还是值得上的. 这个对商用用户来说其实是更好的选择,因为很容易上集群,上了集群就可以自己训练.本身那个金灿灿的盒子颜值也很高.

然后就是苹果. 讲真苹果目前 m5 max 的性能是完全碾压其 a 和 n 两家的. 如果苹果能出 48G 版本的 m5 pro mac mini, 这个其实是最甜点的,普通人跑跑的模型差不多 48-96 这个版本就够用了. 而 m5 推理层可以用飞快来形容, 苹果的统一内存带宽也高,不训练只推理用苹果其实是最舒服的. 就是现在 studio 和 m5max 的价格太贵了,而且只有 macbook pro 也很难当一个随时待命的服务器.

算力最强的当然是 5090 ,但是功耗和价格摆在那里, 而且还有额外的装机成本. 如果真的手搓,还有个选择就是英特尔 b70 计算卡,但是 b70 也就是 32g,其他内存硬盘最近这价格硬顶到最后也很难比 aimax 便宜.如果硬盘内存价格能再回落一点可能 b70 会是纯推理性价比更好的选择.

可以试试两个 512g 的 mac studio 部署 glm5.1

接近 5.3 想多了吧。。 顶多接近 3.5 的水平

搞兩台 H200 部署全量的 GLM-5.1 差不多

楼上说的买得那些，还是直接买 token 划算