让 AI 控制你的手机 -- ioscli

根目录下除了项目文件外，只有一个 test 目录，没看到源码，是不是忘了上传了

这个和让 codex 直接操作 ios 镜像有什么不同，codex 也可以直接通过截图，坐标点点击形式去操作 iphone 镜像 app 。

@yidinghe 忘了，已经重新上传

@darkway 针对本地应用优化，比如 iphone-harness 无法输入中文。

让它控制手机，那我们干嘛去😂😂😂

@davidlau 有一种场景，找不到解决方案，不知道您有办法吗

一些应用在截图的时候，会触发一个分享页面，

很奇怪，明明 codex 用镜像没有按下截图组合键，还是会触发 app 的这个事件。

于是操作会和分享页面形成死循环。

可以操作打卡软件打卡不

@darkway 以下总结自 gpt ，可以做一个临时绕行的方案，希望有参考价值和帮助：
我们也遇到过，处理方式是用 ScreenCaptureKit 建立一个持续的 SCStream 画面流，内存里只保留最新一帧，需要识图时再取出，不反复调用系统截图。点击、滑动仍由 CUA 完成。
另一个关键点是避免调用 getAXState()：之前实测中，分享页面已经关闭，但随后读取状态又让它重新弹出；改为从画面流观察后，那次连续操作没有再出现这个循环。

@iiduce 可以

@leena 享受生活 hhh

@darkway 估计是调用了 iOS 截图，APP 会监听这个截图事件，弹出分享。可以调用 macos 的截图来避免。

可以试下我的工具，暂时没遇到这个问题。