如何用多线程快速的下载一个软件仓库?

2021 年 1 月 18 日
 dyxLike

最近做服务部署需要把一个软件仓库的文件夹整个下载下来, 部署文档里给的下载命令是这样的:

wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.1.0/redhat7/ -P /var/www/html/cloudera-repos

然而 wget 是单线程的, 下载着实在是太慢了, 只有 30 多 kB/s, 我用迅雷试了下也不支持把文件夹整个下载下来, 只能一个一个文件的下载

所以想请教一下各位, 有什么好的下载办法或者工具吗?

1842 次点击
所在节点    问与答
7 条回复
xunco
2021 年 1 月 18 日
aria2 ?
dyxLike
2021 年 1 月 18 日
@xunco 没用过 aria2, 我研究研究
goodryb
2021 年 1 月 18 日
可以试试 Axel 和 wget 类似，支持多线程
Stoulla
2021 年 1 月 18 日
Aria 2,直接默认配置都可以挺快的了。当然你这个只有 30k 不如考虑 export http_proxy?
dyxLike
2021 年 1 月 18 日
@Stoulla 标题没说明白, 我是想要向 wget 那样递归下载文件夹的同时又支持多线程的效果, 但是 aria2 好像不支持递归下载
jiezhi
2021 年 2 月 5 日
这是国外服务器，下载慢也没办法。

所以我曲线救国了，把要下载的内容封装进 docker 服务，然后通过国内 docker 代理下载回来。

https://hub.docker.com/r/lencent/cdh/tags
dyxLike
2021 年 2 月 7 日
@jiezhi 是个好思路, 回头我试一下效果怎么样😂

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/745977

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX