有没有批量检测网址有效性的软件？

2014 年 9 月 21 日
 bobopu
网上找了几个貌似都有点问题，说是多线程的，可执行一会就停止了，检测还不到100个网址就瘫痪了。。有没有好点的软件呢？
7089 次点击
所在节点    程序员
15 条回复
kisshere
2014 年 9 月 21 日
自己用phantomJs去写个小脚本吧
binux
2014 年 9 月 21 日
写几行shell就搞定了吧
bobopu
2014 年 9 月 21 日
@kisshere
@binux 不会。。
em70
2014 年 9 月 21 日
写个小脚本,向每个地址发送head命令,返回状态码200就说明有效,要不了几行代码,但这种方法不支持禁head或者有专门404页面的服务器.
bobopu
2014 年 9 月 21 日
@em70 如果这个网站首页没法访问，但二级页面可以访问，这该如何检测他是否有效啊？
em70
2014 年 9 月 21 日
@bobopu 能访问就能检测,超链接嘛,与其所在位置无关

找你找一个python的head命令检测函数 http://www.tuicool.com/articles/YruQZb
自己写个循环或者上个多线程就行了
bobopu
2014 年 9 月 21 日
@em70 如果Ping都ping不通的情况下，该网站应该返回哪个错误代码呢？
em70
2014 年 9 月 21 日
@bobopu 400,403,407,500,502都有可能,其实你不用关心这个,head命令发送返回200状态码就说明有效,其他都无效就行了.
bobopu
2014 年 9 月 21 日
@em70 刚才又找了个软件，可以返回状态码，但是跑了一会也是停止响应了。。这类软件怎么都这么不稳定。
em70
2014 年 9 月 21 日
@bobopu 多线程大量访问未知的网络会出现很多异常,又不是成熟的商业软件,不可能做得多完善,自己写脚本是正道,有什么问题自己可以解决.
jacker
2014 年 9 月 21 日
xenu;Screaming Frog SEO Spider前者免费，后者有破解版
renzhn
2014 年 9 月 21 日
火狐有个Bookmarks Checker，前几天清理书签时用过
qping
2014 年 9 月 21 日
这个 http://www.uhaomi.com/ ？
qping
2014 年 9 月 21 日
原来是网址不是域名 看错了 楼主别里我了
geo5078
2017 年 12 月 13 日
https://www.showapi.com/api/lookPoint/1509 这个？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/134809

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX