3090 跑文本向量模型可以么？ 3090 是不是有点过剩？

3 月 21 日
 catyun88

如题 3090 涡轮 24G 客户拿来跑文本向量模型,配的铂金 8259CL 的处理器 是不是有点过剩

1664 次点击
所在节点    Local LLM
2 条回复
malusama
3 月 21 日
这还过剩？ 4090 我都嫌弃不够
coefu
3 月 23 日
embedding 的话，凑合 带宽窄了点，主要是 GPU core 算的快一点，Tensor core 多一点。 用 qwen3 embedding FP16 ，显存差不多可以用完。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1200033

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX