跑本地大模型 电费要多少?

7 月 8 日
 mingtdlb

想了解下跑本地 LLM 的兄弟们,有算过 1 度电能产出多少 token 么。

https://www.douyin.com/video/7651445609950281713 一度电 500 万,不懂啥模型

5596 次点击
所在节点    Local LLM
23 条回复
mingtdlb
7 月 14 日
@fcten #20
感觉你这个能耗有点低呀,你测出来的?

另外 N 卡比 mac 电力成本低,不应该吧,n 卡插上服务器,服务器那功耗,都有三百左右了,而且单卡的功耗就挺高的。工作站的卡功耗设计不是应该更低么,毕竟电源、散热都没办法更服务器比
fcten
7 月 14 日
@mingtdlb 比较的是输出相同 token 的能耗。N 卡的推理速度是 Mac 是好几倍。

服务器虽然散热好,但是单机要塞下 8 卡,分给每张卡的散热功率就非常有限了。
coefu
7 月 15 日
在数据中心用 mac ?这都能想的出来。

用 mac studio 当然是在家里,甚至是在自己桌面了。低功耗,无声,无需额外散热(和人一起待的有冷气的房间,那铁皮盒子散热比 mbp 都高效)。B 站上面 rtx6000 最静音的方案,2 米以内也有噪音,就别说热量了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1225726

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX