用 python 爬取 什么值得买网站 返回 403,爬其他网站的时候返回 200,这个是怎么回事?

2015 年 4 月 20 日
 yangguang31466

代码请求头里面加了user-agent,请求其他网站没有问题!

4998 次点击
所在节点    问与答
9 条回复
yangguang31466
2015 年 4 月 20 日
被服务器拒绝了,怎么才能解决这个问题?
NewYear
2015 年 4 月 20 日
这个站长好像也是V2的人……
Tink
2015 年 4 月 20 日
从rss试试
learnshare
2015 年 4 月 20 日
防爬虫做的不错
wibile
2015 年 4 月 20 日
可以啊,试了试没问题的,加上cookie就行了。另外好像都是奇数的帖子,如667459,667409,667387
jas0ndyq
2015 年 4 月 20 日
没伪装成浏览器?
binux
2015 年 4 月 20 日
现在张大妈的反爬虫做得不错,用了一个和 IP 相关的,需要执行 JS 生成的 cookie 来验证。
kchum
2015 年 4 月 20 日
Selenium.
yangguang31466
2015 年 4 月 27 日
加上cookie后就可以了!

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/185003

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX