又来个爬虫小偏方:修改 referer 绕开访问控制

有修改 UA 为搜索引擎蜘蛛的，但是这招越不越不管用，因为这积累一阵日志后就较容易判定出来真实蜘蛛 IP。
另外有个修改 referer 取巧的方法，https://www.yuanrenxue.com/crawler/crawler-tricks-2.html

zhangzilong

2018 年 12 月 10 日

@tumbzzc 看把你能的，我又不是做这个的。装什么 B 呢

TKKONE

2018 年 12 月 10 日

@zhangzilong 我也不是，但是就是比你厉害，咋滴？看不惯就 block

raawaa

2018 年 12 月 12 日

碰到验证码、甚至还会判断 selenium 行为的网站……只好流下没技术的泪水。

TKKONE

2018 年 12 月 18 日

@zhangzilong 是的，就是找优越感，反正就是比你厉害，可以滚了

zhangzilong

2018 年 12 月 19 日

@tumbzzc 狗玩意儿，你怎么不滚呢。爸爸开始和你说话了吗？你比比什么呢

zhangzilong

2018 年 12 月 19 日

@tumbzzc 你从哪里感觉比我厉害，儿子？

zhangzilong

2018 年 12 月 19 日

@tumbzzc 生活是不是不如意呢？会不会说话？

zhangzilong

2018 年 12 月 19 日

@tumbzzc 你爸爸没有教过你与人为善？喷子，和你有什么关系呢。素质呢

zhangzilong

2018 年 12 月 19 日

@tumbzzc 你赶紧有多远滚多远吧

zhangzilong

2018 年 12 月 19 日

@tumbzzc 你先告诉我，你爸爸有没有教你与人为善？

zhangzilong

2018 年 12 月 19 日

@tumbzzc 我碰到人，我就是人。碰到狗就是狗。

TKKONE

2018 年 12 月 21 日

@zhangzilong 啧啧，看看自己说过的话吧，疯狗，有脸说别人？

TKKONE

2018 年 12 月 21 日

@zhangzilong 再见了，疯狗，也许你这辈子都不会知道自己多无知

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.