私有化部署 LLM 及 LVM 选型方案意见收集

2025 年 11 月 7 日
 Sh1xin
兄弟们,我们公司买了 4 张 A100.现在准备部署一个 LLM 和一个 LVM 。
目前考虑
LLM:qwen3 30B ;
LVM:qwen3-vl-32B-Instruct

不知道大伙们有没有更好的建议

需求:主要还是做知识库,智能客服问答,以及 OCR 的功能
3618 次点击
所在节点    Local LLM
23 条回复
mx2dream
2025 年 11 月 12 日
@Sh1xin 试图用自动化解决绝大部分问题我认为也是一种幻觉,有些识别问题技术解决不了的就通过管理来解决。比如上传资料时按类别、清晰度、重要性和保密性等等打标签进行分级,如果资料级别达到比较高的程度,就在流程上专门引入人工校对或给相应权限的人复核就行了(否则全部自动化了还要人干什么),如果资料没那么重要,就不用太苛求太高的识别正确率了。
Sh1xin
2025 年 11 月 12 日
@mx2dream 资料是客户提供的所需生产信息。涉及到生产数量,价格等内容,很重要。但是小客户太多了,提供的内容格式五花八门,并且也没有资格去约束客户强制统一模板。当前就是人工获取 PDF 等信息,手动复制出来,确认开单。但是这样又会导致校验的人员在一些场景下给客户额外承诺,另外开单,导致库存累加,占用
mx2dream
2025 年 11 月 12 日
@Sh1xin 这么看,你说的这些场景有点复杂了,不是单纯的技术问题了。从输入源就有问题,还涉及多部门,估计这个你一时很难解决,如果公司内部某些部门没有动力推进解决这些,问题会一直存在。对外部的小客户给一点优惠利益,你们再搞个统一的业务填报的入口,让他们往你们提供的入口迁移啊。不过这些事想想就很麻烦,就看你们自己的决策了。
还有个想法,反正识别表单类的场景一般涉及的上下文和缓存也不大,就不用专门留太多冗余了,如果你多跑几个 VLM ,比对之后达到一定标准就往下个流程走呢,或者买点专门提供这块方案的供应商谈谈。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1171125

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX