Home Sign Up Sign In
tkwl
V2EX  ›  问与答

请问单卡或者双卡的 LLM 推理服务器用什么卡较好，预算 10w 左右的，是不是 H20 是比较合适的选择

  •   
  •   tkwl · Jul 7 · 1039 views
    This topic created in 32 days ago, the information mentioned may be changed or developed.
  • LLM
  • 推理
  • 显卡
    3 replies  •  2026-07-08 15:16:36 +08:00
    zsj1029
        1
    zsj1029  
       Jul 7
    h20 目前推理卡性价比最高的没错，vllm 部署，pcie 的就可以，多卡根据预算来
    tkwl
        2
    tkwl  
    OP
       Jul 7
    @zsj1029 谢谢，我看预算再往下就不如搞 5090 多卡了
    AIgogo
        3
    AIgogo  
       Jul 8
    工作站用 nvidia p6000 最强，要考虑功耗和散热，还有显存和 token 吞吐吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   991 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 18:50 · PVG 02:50 · LAX 11:50 · JFK 14:50
    ♥ Do have faith in what you're doing.