一句话控制 iPhone ：我用 3B 小模型操控 iPhone 帮我发信息、点外卖

5 月 27 日
 glayyy8717

用自然语言控制 iPhone 的 GUI Agent ，小模型就能跑

项目地址： https://github.com/hyechow/iphone-use

做了什么

利用 Mac 上的 iPhone Mirroring 把 iPhone 投屏到电脑，通过 MCP 协议获取截图、注入触控事件，让 LLM 驱动整个交互闭环。用户说一句话，Agent 自己截图 → 理解屏幕 → 决策操作 → 循环执行，直到完成。

能干什么

操作类：把拼多多订单分享给微信好友（跨 APP ）

查询类：打开微信支付汇总上周账单支出

探测模式：自动探索任意 APP 页面结构，生成可复用的知识库

演示视频都在 README 里，欢迎交流和学习～

3265 次点击
所在节点    分享创造
20 条回复
octocatami
5 月 27 日
太慢了
tony9413
5 月 27 日
完美闭环了，知识库这个蛮有创意的。
YAFEIML
5 月 27 日
不错，star 已送。
402124773
5 月 27 日
Qwen3.5-35B-A3B 这个模型本地化运行需要多大显存占用
spike0100
5 月 27 日
感觉挺牛的，我试试
glayyy8717
5 月 27 日
@402124773 不知道哦，没实测过，我是调阿里云的 API 的，用量化版的，单卡 4090 估计够用
glayyy8717
5 月 27 日
@YAFEIML 感谢老铁～
glayyy8717
5 月 27 日
@tony9413 谢谢老铁😊
gezimonkey
5 月 27 日
非常有意义的项目,star 已送!
fangqiu1992
5 月 27 日
这类的仓库很多
https://github.com/OminousIndustries/PhoneDriver
https://github.com/dongxinsuperman/ai-phone
ovtfkw
5 月 27 日
没有 mac 能跑吗
v2gba
5 月 27 日
看到里面核心是 https://github.com/jfarcand/mirroir-mcp


想问下有没有对应的安卓版，像拿来同屏跑两个生态的软件 diff
glayyy8717
5 月 27 日
@ovtfkw 不行哦，只有 mac 才有 iphone 镜像这个软件
@v2gba 安卓端没有调研过，不清楚哦，应该是有类似的吧
v2gba
5 月 27 日
@glayyy8717 scrcpy 的基础上可以实现吗？
xing7673
5 月 27 日
既然都用 iphone mirroring 了，不如直接用 codex 控制？
ButcherHu
5 月 27 日
🐮的，star 了，不知道再小的模型行不行，本地还是有点慢的
csdreamdong
5 月 27 日
能用第三方的模型么？
glayyy8717
5 月 27 日
@v2gba scrcpy + adb ，感觉在安卓应该可以
@xing7673 常规的任务 codex 没啥问题，就是比较贵而已，但是对 APP 的交互是有点奇怪，有些页面只有 drag 不能 scroll ，有页面就反过来，codex 对这些手势操作还点问题
@ButcherHu 没试过更小的，还在摸索中...
@csdreamdong Qwen3.5/6/7 全系列都行，其他不行，因为这里利用 qwen 系列的 grounding 能力，不同模型解析坐标的方法不同
xinshu
5 月 28 日
@402124773 4b 量化 22g 的显存完美跑下了
NewConn
5 月 28 日
@402124773 我试过 Qwen3.5-27B-Q4_K_M.gguf ，Q4 至少需要 17G ，GGUF 可以借用一部分内存跑

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1215844

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX