微信文章抓取最简单方法, no 依赖, no skill

3 月 25 日
 yeekal

一行命令抓取微信公众号文章,无需任何依赖安装,无需任何 skill

为了绕过微信公众号文章页面的滑块验证码,最有效的方法是伪装成微信手机客户端内置浏览器, 所以只需要让 openclaw 通过 curl 伪装微信手机客户端 User-Agent 即可。

比如下面是 curl 伪装微信手机客户端 User-Agent 的例子,把下面的链接换成任意你想爬的文章链接,可以在自己电脑上直接试

curl -sL \
-H "User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 16_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/8.0.34(0x16082222) NetType/WIFI Language/zh_CN" \
-H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9" \
-H "Accept-Language: zh-CN,zh;q=0.9" \
"<weixin 公众号连接>"

无需任何依赖安装,无需任何 skill ,"通过 curl 伪装微信手机客户端 User-Agent",就这一句话即可

这个 useragent 是 gemini 编的,可以随便换的哈

不用谢

3383 次点击
所在节点    分享发现
9 条回复
markmx
3 月 25 日
先收藏 回来试试
znlbwo
3 月 25 日
亲测有效
v1
3 月 26 日
注意限流风控,5 分钟内超过一定次数会增加 js-bridge 来判断
korvin
3 月 27 日
试试这个,干净,就是不知道风险会怎样。

https://defuddle.md/mp.weixin.qq.com/s/wFHPSbpEwzj2lE5I8LBKgw
yeekal
3 月 27 日
@korvin 这个还不错,试了微信公众号和 x 都可以拿到干净的 markdown
wingbeat
3 月 28 日
@korvin

真的不错
putaozhenhaochi
3 月 28 日
有办法从公众号主页抓取文章列表吗
mzx866290
18 天前
但是好像做不到根据公众号 id 批量下载
yeekal
18 天前
@mzx866290 对,这个就是让 agent 阅读公众号用的,不是批量下载用的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1200950

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX