PHP 爬虫 VS JAVA 爬虫 in 效率

2015 年 7 月 19 日
 fghfjujiber

单页面抓取毋庸置疑差不多，但涉及大量URL需要访问的时候：JAVA的爬虫框架轻松实现多线程；PHP有框架能够这样吗？不行的话我就得自己写multi_curl....

4857 次点击
所在节点    问与答
10 条回复
laoyuan
2015 年 7 月 19 日
看过一篇百度团队的文档，PHP 的真 multi curl
chengzhoukun
2015 年 7 月 19 日
Python和go很好吧，用协程库
shierji
2015 年 7 月 19 日
表示最近要爬google。。。。还要刻意限制速度的说。
wkdhf233
2015 年 7 月 19 日
多开几个socket，先把所有请求发完再去处理返回
msg7086
2015 年 7 月 19 日
php轻松实现多进程。
haiyang416
2015 年 7 月 19 日
Rolling cURL。
zts1993
2015 年 7 月 19 日
python更好。
mahone3297
2015 年 7 月 19 日
php可以多进程
也可以多线程 http://php.net/manual/en/intro.pthreads.php
orvice
2015 年 7 月 19 日
多线程还是go写吧。。。
Comdex
2015 年 7 月 19 日
golang很妥当

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/206708

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX