不懂就问，刚才看到一个很好的 AI 应用场景，想问一下这个是怎么实现的。

2025 年 11 月 19 日
 is101

看起来像是 AI 操作手机，手机 UI 界面每个控件被彩色框出来，框上还有数字标记，想问下这个是怎么实现的呀？

应用场景视频： https://share.cleanshot.com/npxzbc0G

没搞过安卓开发相关项目 问了下 gpt 回答是 AutoJs ？ 不是吧...

4099 次点击
所在节点    Android
9 条回复
crysislinux
2025 年 11 月 19 日
可能是用的 Android 的测试功能 https://developer.android.com/guide/topics/ui/accessibility/testing
Fooooo0
2025 年 11 月 19 日
搜 mobile-use , UI-TARS
jon97
2025 年 11 月 19 日
框像是是开发者模式中的“显示布局边界”，或者是配合了 uiautomator 抓取布局自己绘制的？
leehaoze98
2025 年 11 月 19 日
像是微软的这个 https://github.com/microsoft/OmniParser
leehaoze98
2025 年 11 月 19 日
@leehaoze98

mqnu00
2025 年 11 月 19 日
android 开发者模式 不是有 ui 标注功能吗？
iflint
2025 年 11 月 19 日
但凡是能适用于任意三方进程的就来两种模式，一种是 Droidrun 、Maestro 那种去基于无障碍系统/uiAutomator 去 dump UI 布局信息然后画框的；另一种是走的纯截图然后视觉识别以后画框的。 当前主流的就还是通过拿无障碍信息
iyaozhen
2025 年 11 月 19 日
统称 computer-use ，其实很成熟了。可以是纯视觉方案，可以加一些元素辅助
is101
2025 年 11 月 20 日
@leehaoze98 #4 看了下感觉确实是这个 👍

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1173808

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX