做了个 Gemma 4 本地部署的硬件匹配工具,求各位大佬指点

4 月 8 日
 SiddhaDo

最近对 Gemma 4 感兴趣,发现一个问题:模型版本太多了( E2B 、E4B 、26B MoE 、31B Dense ), 每个对硬件要求都不一样,看群里经常有人问"我这个配置能不能跑 xx 模型"。

自己踩了一圈坑之后,把经验整理成了一个小工具:

→ 自动检测你的 GPU ( WebGPU/WebGL ,不需要装任何东西) → 根据你的硬件推荐最合适的模型 + 量化方案 → 直接给 Ollama / llama.cpp / Transformers 的运行命令 → Mac 、Windows 、Linux 、手机都覆盖了

地址: https://www.gemmamatch.com

纯前端,没有后端,不收集任何数据。

目前数据主要是从 r/LocalLLaMA 和社区 benchmark 整理的, 肯定有不准的地方,特别是:

  1. GPU VRAM 映射表可能漏了一些型号
  2. Apple Silicon 只能检测到 Metal 版本,分不出 M1/M2/M4
  3. 速度估算比较粗糙

如果各位跑过 Gemma 4 ,欢迎反馈下实际体验, 我可以把数据补进去,让推荐更准一些。

2012 次点击
所在节点    分享创造
5 条回复
y2f0
4 月 8 日
lume 的 vm 可以检测硬件自动推荐吗?
Barhe
4 月 8 日
建议再提供一个 curl 调用的模式。
slax
4 月 8 日
SiddhaDo
4 月 8 日
@Barhe 数据现在还不多😂
SiddhaDo
4 月 8 日
@y2f0 这还真没试过

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1204155

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX