我把全网爆火的 Jev(TypeSafe AI 的"闭嘴模型")打包成了免注册一键包

9 月 19 日
 MaskerPRC

各位好,先说清楚我是谁:一个开源复刻爱好者,和 TypeSafe AI ( Jev 的官方公司)没有任何关系。这篇纯粹是"看到好东西 + 官方用起来有门槛 + 我顺手打包了一下"的分享帖。

背景

这两天的热点大家可能都看到了:Jev ,一个完全不生成文本的模型——你问它任何问题,它只输出选项和概率。创始人是前 OpenAI 研究员 Diogo Almeida ( RLHF / InstructGPT 那批人)。官方叫它 "System One Model",说白了就是把"快判断"从大模型里拆出来单独做:路由、过滤、打分、Yes/No ,这类活它比 LLM 快 20~200 倍、便宜 40~400 倍,一条判断约 380ms 。

开源之后两天三千星,热度很大,但官方使用要走申请审批或 Vercel 接入、按量付费、还得自己写代码接 API 。

我做了什么

把 HuggingFace 上开源复刻的 Jev 模型( mobarmg/jev-schema-scorer-deberta-v3-large )打包成了一个 Windows x64 的一键包:

下载: https://lazypack2.trial2.jieshi.space/store

几句实在话

就这些,祝玩得开心。

1555 次点击
所在节点    分享创造
2 条回复
MaskerPRC
9 月 20 日
补充一下昨晚到现在的实测反馈:三台不同配置的机器都跑通了,其中一台是纯核显老笔记本,CPU 推理速度大概每秒 2~3 个 token ,能接受但不爽快;有独显的基本秒回。另外有朋友问为什么打包成免注册——主要是官方注册门槛最近变高了,图床抽风那阵子好几个人找我拿包,索性整理出来放这了。有跑不起来的说下环境(系统/内存),我看能不能修。
MaskerPRC
9 月 22 日
看到楼上有人私信问包以后会不会更新,统一说一下:



会。商城那边的包是持续在上新的,装了客户端之后新包直接在客户端里看到、一键导入,不用重装也不用重新配环境。比如昨天 Jev 决策器刚上架,今天又上了个同系列的 Laya 决策引擎(中文场景用的,同样不用显卡),两边是互补的——Jev 偏判断打分,Laya 偏中文决策。后续我在这帖里实测过的东西有更新也会回来补楼。有问题直接楼下问就行。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1243222

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX