[求助] 求成本可控,性能过关的本地 vibe coding 方案

1 月 23 日
 newmancode

如标题所言,想要一款成本在万元内的全本地 ai 编程方案 题主并非程序员,但日常中需要使用自制程序的场景越来越多,所以想要个稳定的生产力来源 题主自身技术水平不过关且在墙内,优质模型 token 没有稳定且成本可控的获得渠,道需求又较为独特,不知道这个想法能否实现,如果不能,该如何曲线救国来做成同样的事情?请大家予以指导,题主在这里跪谢大家 由于使用场景与场所较为固定,故而不太想要更“灵活”的云上方案,选择保密性好安全性高的本地方案 如果可行,最好能够保存多 agent 协作、skill 等功能,会需要这套系统处理不少复杂任务 在保证安全性的前提下留下升级接口,使该套设备能够进行实际工作内核的升级替换,比如 Claude3.0——>Claude4.1 这样的操作以及从原始 vibe coding 升级到使用 skills 等类似操作。 能导入知识库 能够进行代码审计的工作 上下文长度尽量长 能够自主完成操作员设定任务,不需要操作员长时间驻守在屏幕前 能使用 python 和 Linux 语言进行编程 能进行硬件的编程(退一步写个单片机的程序、进一步就是实现 RISC v 的开发) 能进行提示词的发散与补全,以弥补相关专业知识空缺,辅助操作员与系统进行开发 生成速度方面,拿生成你画我猜小游戏举例,该套系统能半小时生成完毕可即用的最终产品就是巨大成功

当中可能有我没意识到的冲突点或未说清除的信息,让大家见笑了
再次恳请大佬们给予我指导,小弟感激不尽!
2982 次点击
所在节点    Local LLM
30 条回复
SiWXie
1 月 23 日
万元内…,现在 64g 内存条都要 5k 多,5090 显卡 2w 左右,你这个需求,即使是 3 年后预测万元内也没戏…
msg7086
1 月 23 日
成本可控的性能可能不太过关。
youshangdemajia
1 月 23 日
万元内显卡能跑的本地模型现在性能都很差。还是花钱订阅吧,20 刀一个月的套餐性能都远超本地模型,一万元能用多久了
kulove
1 月 23 日
本地别想了 哪怕百万部署现在最强开源模型 和主流编程模型也是有不少小差距的
iceprosurface
1 月 23 日
万元以内基本不可能,要是十万块以内你可以买 mac 蜂窝煤,大概跑个 glm 这种国产的单人能到 40-50token/s
yangzzzzzz
1 月 23 日
一万块买服务能多久了,还不用考虑硬件老化 性能过时的问题
tomclancy
1 月 23 日
建议拿钱相亲找个富婆,让她送你一个
TabGre
1 月 23 日
总有人觉得本地化是必要性,然而经验告诉我 没有鸟用, 用 API 服务都上线了 本地化还在纠结选什么设备,当然你是大企业当我没说 可能本地化就是一年的 KPI
TabGre
1 月 23 日
如果想要方案也简单 不过 1w 不行。简单点 参考 exolab 整个 6 台 mac mini glm 4.7 可以跑 具体参看官网
leegradyllljjjj
1 月 23 日
洗洗睡吧 买显卡都不够
PerFectTime
1 月 23 日
1W 跑不了什么好用的模型,10w 也不够,评估一下你的数据是否真的有这么高的价值吧,不如直接拿来买订阅
rocmax
1 月 23 日
mbp m4max 表示本地能跑的还是离 Claude 4.5 差远了
cowcomic
1 月 23 日
也不用非得自制环境吧
我现在用 trae ,感觉还不错
nevin47
1 月 23 日
一万的预算不够,本地大模型就算你一个单用户使用,你部署一个上百 B 的模型需要的显存一张 A100 都打不住,就算用 Mac 的 unimem 方案,假设你配置 128G 的内存来加载参数,也差不多 10W+的成本了,而且受限算力可用性也很差

如果涉及本地安全保密的需求,那你唯一的路径就是加预算,然后用 qwencoder-32B 这种小模型去跑
cowcomic
1 月 23 日
好吧,没看见保密性问题

私有化部署,还得效果好的话
至少得是大参数通用模型( 671B 级别)+code 专用模型配合
硬件就得几十万了
Solix
1 月 23 日
几十万入门,几百万可使用,几千万顶尖,你选一个吧
SakuraYuki
1 月 23 日
加钱 3w 多买老黄那个 ai 计算终端
ingxhe
1 月 23 日
万元内的全本地 ai 编程方案

要不你自己再读一遍

另外你先区分一下硬件和软件吧
ingxhe
1 月 23 日
@SiWXie 除此之外,人家还要软件解决方案呢,全套的
jonty
1 月 23 日
万元内买 api 吧,连台像样能编译的电脑都攒不起来。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1187720

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX