YisouSpider 是否支持 CrawlRate?

2014 年 12 月 10 日
 Livid
这个爬虫是为阿里巴巴的 sm.cn 服务的吧?

这里有在做神马搜索的同学么,你们家爬虫是否支持 CrawlRate 呢?

我试着在 Google 里搜了一下 YisouSpider CrawlRate,只能找到我自己现在发的这个主题。
5046 次点击
所在节点    搜索引擎优化
10 条回复
Livid
2014 年 12 月 10 日
找到了这个:

open.sm.cn

但是收不到注册邮件啊?
Livid
2014 年 12 月 10 日
统计了一下日志,现在 YisouSpider 基本上在用每秒 5 次并发的频率在爬 V2EX 上的所有主题。
Livid
2014 年 12 月 10 日
为了给 V2EX 节约一些资源,下面这些 IP 只能先封 1 个月了:

42.156.138.78
42.156.137.78
42.120.160.108
42.156.139.78
42.120.161.108
42.156.137.108
42.156.138.108
42.120.160.78
42.156.139.108
42.156.136.108
42.156.136.83
42.156.137.83
42.156.138.83
42.156.139.83
42.120.160.83
42.120.161.83
Livid
2014 年 12 月 10 日
盛况如此:

zjgood
2014 年 12 月 10 日
L大不优化,蜘蛛都这么钟爱V站
xinple
2014 年 12 月 10 日
是的,昨天我也遇到了,小站扛不住啊
macken
2014 年 12 月 10 日
直接用nginx把这个spider给干掉
mikuazusa
2014 年 12 月 10 日
mikuazusa
2014 年 12 月 10 日
@Livid 顺手和同事反馈了,希望有用...
kofj
2014 年 12 月 10 日
sm.cn蜘蛛很疯狂的。open.sm.cn注册进去让人感觉很无语。。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/152862

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX