VoxSight - 用语音操控网页的 Chrome 扩展,基于 Gemini 多模态视觉

3 月 25 日
 JasonRobert

各位 V 友好,分享一个最近做的 Chrome 扩展。

VoxSight -- 用语音操控网页的 Chrome 扩展

说话就能操作网页。比如"点击搜索按钮""描述这个页面""向下滚动",VoxSight 截屏后交给 Gemini 的多模态视觉模型分析,然后在页面上精确执行操作。

工作流程:

  1. Alt+V 打开侧边栏
  2. 按住麦克风按钮说话(或按空格键)
  3. VoxSight 截屏发给 Gemini Live API 分析
  4. 页面上执行操作,操作位置高亮显示
  5. 自动截屏验证结果

特点:

技术栈: Chrome MV3 + Gemini Live API (bidirectional streaming) + Cloud Run WebSocket

Chrome Web Store: https://chromewebstore.google.com/detail/voxsight/dfepmfcgbaceajaapbbakoikpfebeiic GitHub: https://github.com/calderbuild/voxsight

欢迎试用和反馈!

1142 次点击
所在节点    分享发现
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1200992

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX