GLM 5.1 开源了, https://huggingface.co/zai-org/GLM-5.1

4 月 8 日
 onedge

https://huggingface.co/zai-org/GLM-5.1

3940 次点击
所在节点    程序员
11 条回复
gotoschool
4 月 8 日
我去 得 2t 的显卡才能爬?
onedge
4 月 8 日
@gotoschool 希望快出个 flash turbo air 哈哈
yulon
4 月 8 日
5.1 是不是蒸过 Grok 了,要被气笑了,遇到我压缩过的短 URL ,会自作聪明修复成一个看起来正常但是没有一个字符是对的假 URL ,哪怕它自己访问过是 404 还要回复给我,犟得要死,以前只有 Grok 会出这种情况😅
Geon97
4 月 8 日
反正跑不起来
akiyamamio
4 月 8 日
这也不是让个人跑的吧,我猜是各个 coding plan 可以支持 glm5.1 了
beyondstars
4 月 8 日
开源可以让更多平台自部署 glm5.1 ,减轻官方服务器的压力。
onedge
4 月 8 日
@akiyamamio 个人跑硬件没 20 万以上下不来吧,乖乖买套餐吧,20w 能用多少年
capric
4 月 8 日
@onedge 跑 fp8 要 8x h200 ,加上其他硬件,约 200w
onedge
4 月 8 日
@capric 内行,我还在想串 4 台 512 的 mac studio 哈哈
capric
4 月 8 日
@onedge 可以跑的
带宽 4x M3 Ultra (约 4 x 0.8 = 3.2 TB/s )对 8x H200 ( 8 x 4.8 = 38.4 TB/s )约 1/12
8x H200 的公开示例输出吞吐约 ~526 tok/s
理想上限约 40~50 tok/s
考虑多机通信开销后,单路交互常见可能落到 约 3~10 tok/s
onedge
4 月 8 日
@capric 👍我想着也最多是“能”跑,但离可用体验还远

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1204157

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX