如何抓取瀑布流式布局的网页全文？

2014 年 11 月 25 日
 badbye
举个栗子，googleplay在加载时只加载一部分，剩下的要把滚动条脱到低端才会显示出来，现在要写程序来获取全部加载完的字符串，HtmlUnit和phantomjs都用了下，感觉不是很简单，可能对这两者还是研究的不够透彻，请问各位有什么基于这两种或者是其他更好的方法吗？
5984 次点击
所在节点    问与答
10 条回复
williamwu
2014 年 11 月 25 日
如何抓取很多链接的网页全文呢？

比如汽车之家百科此链接http://car.autohome.com.cn/shuyu/index.html#pvareaid=103435左侧，每个链接对应一篇文章，我如何抓取每一个链接对应文章的正文部分呢？
crab
2014 年 11 月 25 日
googleplay 可以直接post请求（指定开始页，多少页数。）
icedx
2014 年 11 月 25 日
你俩是干啥
badbye
2014 年 11 月 25 日
@williamwu 这个很简单，你是如何抓取到这个网页的就去抓取文章的url很容易得到正文啊，文章标题都会有相同的class吧，通过class可以获取url
badbye
2014 年 11 月 25 日
@crab 我找到了post，但是response没有带样式看不出来。。
abelyao
2014 年 11 月 25 日
直接用正则表达式匹配 response 中你要的内容。
我的站就是滚动无限加载的图片站，莫非楼主要抓我的…
learnshare
2014 年 11 月 25 日
直接抓 API 地址
halfcrazy
2014 年 11 月 25 日
分析js找接口
cdxem713
2014 年 11 月 25 日
直接对api发请求就好了，这类异步网站都可以
tingsoft
2014 年 11 月 26 日
@cdxem713 比如QQ空间呢？貌似没有API？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/149175

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX