各位 AI 大佬,有个些问题想请教一下:公司现在想做 AI 方面的一些使用,肯定不会训练,只是私有化部署一些现成的开源模型,现在主要的工作可能是,分析 PDF, WORD , 图片,Excel 等格式的文件,提取里面的信息,做一些分析,比如财务指标,标书中的一些关键信息查重等,自己感觉工作不多,但可能文件比较大,比如标书有时可能几千页,但一般情况下就 200 页左右。因为资料要求保密,所以只能做私有些部署。人数不多,也不会太频繁使用。
我现在使用过豆包之类的工具,其它的 AI 方面都不会。现在有以下的问题:
1. 要达到一般豆包之类的这些功能的 70%,不要太差劲,现在的那些开源模型能做到?一般要多少参数及位数?
2. 要达到 1 的要求买什么主机及显卡,对显存要求如何? AMD HX395 之类的主机能达到吗?如果不行,买 5090 显卡,还是一些 AI 工作站的 A1000-A4000 之类的显卡?显存多大合适?显存不够的话,以后可以通过多个显卡来扩展吗?
因为是新手,所以问题比较基础,在网上也没有搜索到比较合适的答案,希望能得到一些指导,谢谢各位 AI 大佬!
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://v2ex.ih06.com/t/1176637
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.