多线程爬虫抓小说

2015 年 9 月 6 日
 ljdawn

写了个多线程爬虫，感觉自己好无耻呀。。。 之前写了个单线程的，任务丢到 rq 里面去去，真的很慢，两千多个网页，跑了半天。 这个也跑了小班天。。。。。 https://github.com/ljdawn/python_share/blob/master/biquge_spider.py

6581 次点击
所在节点    Python
13 条回复
ljdawn
2015 年 9 月 6 日
rq 那个没放是因为。。。这个是抓得 CL 呀。哈哈哈哈哈哈
sivacohan
2015 年 9 月 7 日
用 gevent 保平安
je11yfish
2015 年 9 月 7 日
楼主，这事儿用 Gevent 是王道啊……
ljdawn
2015 年 9 月 7 日
@sivacohan 周末来一发 么么哒
ljdawn
2015 年 9 月 7 日
@je11yfish 周末来一发。 么么哒
LeoQ
2015 年 9 月 7 日
楼上这么赤裸裸的求 YP ，哈哈哈
cooiky
2015 年 9 月 7 日
"Referer":"http://cl.loius.biz/"

这是亮点？
800126
2015 年 9 月 7 日
@LeoQ 哥，我只是来追随你的头像的。
ljdawn
2015 年 9 月 7 日
@cooiky 哈哈哈哈 我那会儿用的是另外一个域名。。。
ljdawn
2015 年 9 月 7 日
@LeoQ 亚灭爹。。。。 来一发不是这个意思。。是说用 gevent 。。。 你太邪恶了哈哈哈
ThisDay
2015 年 9 月 7 日
"Referer":"http://cl.loius.biz/"
说！是不是去抓过图片！还是成人文学？
ljdawn
2015 年 9 月 7 日
@leeyuzhe 抓得小说哈哈哈哈
symons
2015 年 10 月 2 日
为啥不用多进程，要用多线程，请教一下

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/218726

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX