基于 AI 的 Chrome 爬虫辅助插件

5 月 9 日
 mikawang

基于 AI 的 Chrome 爬虫辅助插件，自动监听网络请求并解析 API 逻辑。

之前爬虫每次都去抓 API 然后丢给 AI 分析，很麻烦，写了个 Chrome 插件，直接去抓请求，然后丢给 AI 分析这个接口是做什么的，以及一些字段分析。

功能

计划

项目仓库

https://github.com/wangyi12358/auto-scrape-ai

3163 次点击
所在节点    程序员
14 条回复
soouu
5 月 9 日
已 star
nilaoda
5 月 9 日
> 之前爬虫每次都去抓 API 然后丢给 AI 分析，很麻烦

其实装个 Chrome DevTools MCP 就方便多了，直接让 AI 自己去操作网页、分析请求，写各种语言的代码实现
mikawang
5 月 9 日
@nilaoda 是挺不错的，有些过不了 Cloudflare 人机验证怎么办
senooo
5 月 9 日
不提供 release 啊
mikawang
5 月 9 日
@senooo 加了
senooo
5 月 9 日
issues/1 不好用
DonaldY
5 月 9 日
其实这种简单的爬取，直接把目标网页和接口扔给 agent 就行了，直接产出。
itsjoke
5 月 9 日
我记得 Akamai 的 CDN 比较难过，这个行吗？
mikawang
5 月 9 日
@itsjoke 这个本身就是在你访问页面的时候去爬 API ，所以不存在难过这个问题
mikawang
5 月 9 日
@DonaldY 就是嫌麻烦，不想 copy ，我直接访问页面就能看到有哪些接口，然后列表有个接口作用字段，一眼就能看出来我想要的接口
macaodoll
5 月 9 日
这种说实话，有用，但是没太大用。
macaodoll
5 月 9 日
其实更适合做成 skills 的形式，而不是插件
yufeng0681
5 月 9 日
今天刚遇到一个 走 websocket 的。 实在多次连不上才会转 xhr 轮训， ，一直没找到好办法，让网页启动 xhr 轮训
lel020
5 月 11 日
这方面我有用 bb-browser 爬过网站的接口， 比起工具调用 AI ，还是让 AI 调用工具更靠谱吧， 那 AI 直接接管浏览器 devtool ，让 AI 自己去抓数据，判断接口

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1211407

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX