云爬虫 与 爬虫软件的认真探讨

2017 年 5 月 3 日
 GrahamCloud

今年是造数云爬虫快速测试的一年

如今爬虫方面的同行很多,例如 import.io 等等。V 站也看到了非常好的作品,比如 hicrawler 等等。

学到很多。

这个帖子希望和大家一起探讨,各种爬虫的应用场景以及利弊等等。

12239 次点击
所在节点    推广
65 条回复
GrahamCloud
2017 年 5 月 8 日
@liuxu 不置顶哪有人聊啊
GrahamCloud
2017 年 5 月 8 日
@liuxu 这么小众的工具
liuxu
2017 年 5 月 8 日
@GrahamCloud 那你干嘛把你们网站首页放帖子第一行。。
jinfeng333
2017 年 5 月 8 日
比之前体验好了很多 继续加油💪
GrahamCloud
2017 年 5 月 8 日
@liuxu 开宗明义嘛,实际点进来的又没几个……先来用用看吧,不要讨论细枝末节的了
GrahamCloud
2017 年 5 月 8 日
@liuxu v 站 给出的意见,价值还是远大于各种点击的。
liuxu
2017 年 5 月 8 日
@GrahamCloud
我倒是差一个爬虫管理平台,也没时间去写。
我有一些小脚本不好管理,例如登录之后签到,ss 帐号状态更新之类的,每一个功能虽小,但是数量多。。

你们的功能可不可以建立一个组,每个组管理一些实例,每个实例可以登录,抓数据,也可以帮忙签到。。
GrahamCloud
2017 年 5 月 8 日
@liuxu 求看一看,求加微信:Zaoshuio
GrahamCloud
2017 年 5 月 8 日
@wujunze 其实我们知道 问题还多着呢 @_@
Moker
2017 年 5 月 8 日
@shenfu1991 真的不能,如果是双色球这种的,走势图本来就是公开的,本来就是随机根本没用。另外竞彩的话,有一定可能,但是数据要全要全,当然概率也很低很低,未知因素太多,另外即使猜中,赔率早就被庄家做好,收益低风险大。
am0zing
2017 年 5 月 8 日
到了安利一波的时候了,你猜这是什么爬虫? https://github.com/keenwon/antcolony
GrahamCloud
2017 年 5 月 8 日
@liuxu 比较忙不好意思没有及时回复,以后有问题再加我。
GrahamCloud
2017 年 5 月 8 日
@am0zing 自己开发的站点么?
am0zing
2017 年 5 月 8 日
@GrahamCloud

是的,站点已经停了,因为数据太多放不下了。但是爬虫是可以用的
jinfeng333
2017 年 5 月 9 日
@am0zing 感谢分享 很赞的程序
GrahamCloud
2017 年 5 月 10 日
@wujunze 继续赞一下这个,挂一个 append。
XiaoFaye
2017 年 5 月 10 日
用造数爬造数是什么后果?
GrahamCloud
2017 年 5 月 10 日
@XiaoFaye 好问题,可惜爬不了。
GrahamCloud
2017 年 5 月 10 日
@XiaoFaye 可以大胆勇敢热情的尝试一下。
GrahamCloud
2017 年 5 月 10 日
@am0zing 给你 挂在 apend 上面了,很 nice

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/358781

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX