从日本一个 ftp 拉 3T 的数据过来,速度很慢

2016 年 12 月 9 日
 zhuzhe1983
尝试走美国或者日本的主机建立代理,但是带宽还是不是很理想,不知道大家之前有处理过类似的问题,有可能走哪个国家主机借道快一点?

代理速度峰值 200k 。

迅雷本地直接下最快 1M ,但是之后要走定义同步(估计每 10 分钟 300M 这样),所以不大可能一直用迅雷搞。
20948 次点击
所在节点    DevOps
106 条回复
zhuzhe1983
2016 年 12 月 9 日
现在用日本阿里云 ECS 搭了个 ftp 反向代理,貌似快了很多,杭州本地通过反向代理的 ftp 下载可以到 3M/s ,之前是直接从阿里云国内 ECS 访问日本 ECS ,速度只有 200K/s

感谢 @Laynooor @d7101120120 @ctj 提醒我国内不同网络的差异性
zhuzhe1983
2016 年 12 月 9 日
@mliilm 这个试过,也不是很理想,而且文件个数很多,添加比较麻烦。
zhuzhe1983
2016 年 12 月 9 日
@BXIA 这个试过,也不是很理想,而且文件个数很多,添加比较麻烦。
zhuzhe1983
2016 年 12 月 9 日
@ovear 感谢分享经验,看来刚才断掉是被 reset 掉了。
springx
2016 年 12 月 9 日
@zhuzhe1983 科研数据不可以走 ipv6 吗,直接 1000M 起飞啊
ovear
2016 年 12 月 9 日
@zhuzhe1983 刚才看了下, UDP 流量被全掐了,中断了。。看来还是要找个自带重传的软件比较靠谱,我这文件数目也好多,不适合做成 http ,不然直接打包就好了。
lz 找到好方法了记得 @我下哈~,我继续研究怎么传了_(:з」∠)_
watara
2016 年 12 月 9 日
@zhuzhe1983 个人情况。。。我用日本代理下载日本网盘差不多 8M/s ,可能联通线路连日本比较好
springx
2016 年 12 月 9 日
如果楼主能接入 ipv6 的话,在日本部署个大带宽的双栈主机做转发,应该可以稳定跑满速。
zhuzhe1983
2016 年 12 月 9 日
@springx 但是我们不是教育网啊,普通 IT 公司如何接入呢~
AsisA
2016 年 12 月 9 日
在数据量过大、网络不好的时候,发硬盘确实是个可行的办法, AWS 现在都提供邮寄硬盘的服务了...
postlive
2016 年 12 月 9 日
随便找个阿里 B 的梯子 200mbps 跑满 就看 FTP 主机的带宽了 要不开个 VPS 从 VPS 上往下拖
nikubenki
2016 年 12 月 9 日
老司机开车吗
akwIX
2016 年 12 月 9 日
亚太地区的流量很贵的,单向计费的那 3TB 多点,双向计费的得 6TB+的流量呢

你还是寄硬盘吧
ppwangs
2016 年 12 月 9 日
200k 算你 10 个线程, 2mb/s ,一天 168.75 Gb , 3T 数据大概 18 天。
我觉得拷到硬盘寄回来可能还要快一点,而且不丢包
PeterD
2016 年 12 月 9 日
试试 aget

pip3 install aget

$ aget url -s 100

-s N
N 是并发下载个数
Gran1987
2016 年 12 月 9 日
速度快还便宜的方法我觉得只有邮寄了,在日本找个网速给力的地方把数据拖下来几个小时,寄回中国最多四五天。
Clarencep
2016 年 12 月 9 日
可以考虑参考菊花厂的这个服务:

http://www.hwclouds.com/product/des.html
lslqtz
2016 年 12 月 9 日
@debiann 阿里云只有 2t ,所以要两台断点续传
debiann
2016 年 12 月 9 日
@lslqtz 不用。开两台,只用一台下载。流量包是所有 ECS 实例共享的。
wdhwg001
2016 年 12 月 9 日
@ovear Resilio 。
文件分片√
正确性验证√
重传√

可惜它仍然是加密的,且 GFW 不可识别。

如果想要 GFW 可识别的话,只能自己写脚本分片到 50M 以下,然后目标服务器在国内,备案,然后走 80 端口和 HTTP 协议,特征不给到这份上的话,估计这么大的东西无论怎么传都会被 GFW 当成加密数据的。

所以我更信赖装着硬盘的卡车。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/326373

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX