gemma4:e4b 的效果出乎意料， 1050ti 也能很好的生成文章

4 月 7 日
 andyskaura
之前使用 deepseek qwen 在超迷你模型（ 32b 以下）上写小说，基本驴唇不对马嘴。
这次的谷歌的模型确实牛逼了。
本地部署未审查版本，简直就是写文利器


1050ti：
5342 次点击
所在节点    Local LLM
29 条回复
Tiger1994
4 月 7 日
笔记本显卡 R760M 能跑吗
andyskaura
4 月 7 日
@pxiphx891 https://huggingface.co/TrevorJS/gemma-4-E4B-it-uncensored-GGUF 随便找的
andyskaura
4 月 7 日
@villivateur 我跑的 q4 量化
villivateur
4 月 7 日
@andyskaura 就是 Q4 量化呀，我试了下，128K context ，需要 16G 左右的显存
burp2019
4 月 7 日
楼主哪里能看到成品，最近经常刷到 AI 小说，生成的动画
andyskaura
4 月 7 日
@villivateur #24 那我就不清楚了 我没有指定 context ，不过你这 128K 也许设太大了
andforce
4 月 7 日
@kooze 等你好消息
BD8NCF
4 月 7 日
感谢楼主。
下午在 1050Ti 上跑了一下，发现还可以。只是速度有点慢。
iango
4 月 7 日
@villivateur 对于 16G 显存 128K context 太大了，从 4K 开始测试，一点点往上拉。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1203908

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX