基于 python 写的一个 google 的爬虫

解析器用的是beautifulsoup，框架是Django，数据库mysql。爬虫的数据会放到数据库，所以对磁盘IO有要求，不过就我一个人用，峰值很低很低，所以一直想看看云盘承受能力，内存使用情况其实也很感兴趣。中午在程序员节点发个贴（12点发的），考虑到V2的强大，做好了down机随时重启VPS的准备，一直等到12点半才来一个访问者，后来干脆去吃饭了（公司12点开饭），吃完回来一看有了7,8个人访问了，一看V2,帖子沉了，应该我发了网址，V2把帖子当成软广告了，我是希望有人能够回复，做的怎么样，哪里不行，什么水平，可以怎么改进，哪怕是一句“这也好意思放到V2”我都能接受，所以选在大家下班之后的这个点厚着脸皮再发一次，看能不能有大牛评价下，发现什么bug或者黑掉我的主机（可能是我想多了）之类的，网址是googlebridge.com，求重踩...