为啥 Python 爬虫这么火,相比 Java 爬虫有啥优势?

2020 年 6 月 28 日
 gejun123456

java jsoup,多线程也方便,python 有哪些 java 爬虫没有的优势?

9624 次点击
所在节点    Python
48 条回复
ricardochrist
2020 年 6 月 29 日
全名 python 啊现在
cweijan
2020 年 6 月 29 日
@optional 你可以看下 webmagic 这个库, 支持 xpath 和 css 选择器
optional
2020 年 6 月 29 日
@cweijan java 肯定有,但是 js 会更多啊,甚至还能直接 eval 出来加密解密相关的 js
krixaar
2020 年 6 月 29 日
有些时候写爬虫不需要那么兴师动众,路边拿铲子刨个坑的事儿不值得旁边选块地界建挖机工厂……
WilliamYang
2020 年 6 月 29 日
@cweijan 其实 webmagic 都好像几年没更新了,不建议用,还不如用 scrapy
jeeyong
2020 年 6 月 29 日
早前 python 做爬虫, 是因为库多, 语法简单吧?
现在你应该问, node 做爬虫香吗?
香...正如 @optional 说的, 加解密的 js, 直接 eval 掉...甚至不知道哪段是负责加解密的?
我直接全执行掉.........
cwxcwx2018
2020 年 7 月 2 日
哪里可以学爬虫,苦于没有经验入手。(难道我的搜索关键词有问题)
chaoschick
2024 年 8 月 16 日
@airqj Google:虽然 Google 的爬虫(如 Googlebot )具体实现细节是机密的,但有报道称,Google 早期的基础设施中使用了大量 C++ 代码,这可能包括部分爬虫组件。
Bing:类似地,微软的搜索引擎 Bing 也可能在其爬虫和索引系统中使用了 C++,因为微软的许多核心系统都是用 C++ 开发的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/685438

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX