关于爬虫建站的问题求各位大师解答下

2015 年 12 月 5 日
 twc731

python 爬虫爬到的数据存入 mysql 或者 mongodb ，然后用网页展示出来，那日积月累数据会不会存的太多。还有如果想爬直播的类的网站，然后做个直播聚合网站，那数据该怎么存储？因为正在直播播客每小时都不一样的，如何做到实时跟新？

3151 次点击
所在节点    问与答
5 条回复
LINAICAI
2015 年 12 月 5 日
数据多，不是可以分页？
数据怎么存储，要看你怎么组织网站内容。
newghost
2015 年 12 月 5 日
股市牛博汇

http://anynb.com/

使用 redis 的自动聚合网站，就是要看看跑个一两年后整个网站的性能如何。
Pepsigold
2015 年 12 月 6 日
@newghost 不错，做研究？
twc731
2015 年 12 月 7 日
@newghost 请问你怎么存储数据的？
newghost
2015 年 12 月 7 日
@twc731
@Pepsigold

纯研究，用 redis 基本的数据结构，使用 redblade 自动创建索引

https://github.com/newghost/redblade

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/241325

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX