受 Jev 启发,花了三周、600 美元、20 多轮训了两个小模型专门做 Computer use

6 天前
 gxcsoccer

这三周业余时间做了个东西,开源出来给大家看看。

DeskMind 得心:一个在 Mac 上替你操作电脑的 agent ,决定每一步怎么做的是两个跑在本机的小模型( Qwen3.5 0.8B 和 4B 微调,MLX )。不走云端,也不按次付费。

思路来自 Jev:把每一步变成选择题,让模型给每个选项打分,而不是生成一段文字。区别是 Jev 是云端服务,我想要一个全在本机跑的版本,所以自己在 Qwen3.5 上训了 0.8B 和 4B 两个小模型。决策服务用的是和 Jev 相同的 POST /v1/systemone 请求格式,已有的 harness 换个地址就能接到本机。和 TypeSafe 没有任何关系。

0.8B 有把握就直接做(大约 0.5 秒),没把握就交给 4B 再判断(约 3.6 秒)。任务有两种理解的时候,它会先问你,比如表里有两笔 Lisa Wong 的订单,它会问你用哪一笔,而不是随便挑一个写进去。

自己出了 13 个真机任务,每个跑 3 次,目前发布版是 38/39 ,没出现过没做完就说「完成」的情况。题是我自己出的、样本也小,仅供参考,逐题结果都公开了。

踩过最有意思的坑:标签平滑设成 0.95 ,结果 0.8B 的把握全挤在 0.96 这个门槛附近,七成的步骤都被交给了 4B ,所以现在速度还不够快。下一轮准备改。

目前的不足:「帮我整理这个文件夹」这种模糊的指令做得不好;文件很多的文件夹每步要几十秒;只支持 Apple 芯片,首次要下载约 5.3 GB 模型。

训练花了大约 600 美元:先在 Tinker 上跑,后来换阿里云 PAI ,最后按小时租显卡最划算。

欢迎下载试试,最想看到的是它该问却猜了的例子。

1807 次点击
所在节点    分享创造
7 条回复
wdhwg001
6 天前
最想看的是人对于自己的产品最低的认真程度,也就是最起码自己写帖子。
gxcsoccer
6 天前
@wdhwg001 确实让 AI 帮忙完善了,但是大纲和内容是我自己提供,欢迎交流
dimlau
6 天前
我看用 Gemma 训练的也不少,不过,总感觉现在还不到自己跑模型的时候吧,cloudflare 的 clef 还有免费额度呢 😓
jtacm
6 天前
赞一个👍! 问下楼主训练数据怎么弄的。
gxcsoccer
6 天前
@dimlau 在公司生产感觉无法用 jev 的 api ,另外顺便也学习下怎么训模型
gxcsoccer
6 天前
@jtacm https://github.com/deskmind-ai/brain/blob/main/docs/training.zh-CN.md

这里有些记录。

- 公开数据集 + 自己的合成数据
- 桌面操作数据,oracle 自动标注
- 蒸馏大模型
hqy5345
6 天前
很好的工作!不知道上面那个喷帖子 AI 写的是何意味,AI 又不是许愿池的王八能无中生有,指挥 AI 一样是工作的一部分啊。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1246631

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX