从日本一个 ftp 拉 3T 的数据过来,速度很慢

2016 年 12 月 9 日
 zhuzhe1983
尝试走美国或者日本的主机建立代理,但是带宽还是不是很理想,不知道大家之前有处理过类似的问题,有可能走哪个国家主机借道快一点?

代理速度峰值 200k 。

迅雷本地直接下最快 1M ,但是之后要走定义同步(估计每 10 分钟 300M 这样),所以不大可能一直用迅雷搞。
20948 次点击
所在节点    DevOps
106 条回复
mcfog
2016 年 12 月 9 日
永远不要低估满载硬盘的卡车的带宽
zhuzhe1983
2016 年 12 月 9 日
@firefox12 首先多谢提醒。多文件一共 3T ,单文件本身有做压缩,而且文件格式比较特殊,破坏了估计是打不开的。
zhuzhe1983
2016 年 12 月 9 日
@mcfog 哈哈,这个新闻我也看到了
debiann
2016 年 12 月 9 日
300M/10minute 的话速度是 4Mbps ,用阿里云开固定带宽可以胜任,长期用也没问题。


问题是初始的 3T 。
用美国慢,忽略。
用日本,有快的,但短时间内 3T 流量,容易被停机。


所以还是赶阿里云国际版的末班车下载一波。
sfree2005
2016 年 12 月 9 日
虽然不知道你的应用场景 但是不是这 3T 一定要拉到本地?如果要做各种分析 能不能直接就在外面另外弄个服务器在上面处理?
zxy
2016 年 12 月 9 日
你开个 kcp ,我来帮你试试
d7101120120
2016 年 12 月 9 日
如果条件允许,办一个移动宽带,便宜方便快速专门用来做数据隧道。
DesignerSkyline
2016 年 12 月 9 日
基因数据吗?这么大。。
ctj
2016 年 12 月 9 日
移动宽带+1
wget 单线程下载 Linode 东京节点测速文件
2016-12-09 11:42:01 (3.83 MB/s) - ‘ 100MB-tokyo.bin ’ saved [104857600/104857600]
axel 4 线程的话是这个速度
Downloaded 100.0 megabytes in 19 seconds. (5170.48 KB/s)

基本上跑满 50M 带宽
zhuzhe1983
2016 年 12 月 9 日
@DesignerSkyline netcdf 格式的,多维度气象数据
goodbest
2016 年 12 月 9 日
科研数据走 cernet ipv6 嘛,速度会很快的。
jeocat
2016 年 12 月 9 日
找个日本朋友下载这个数据装进硬盘再寄过来~
goodbest
2016 年 12 月 9 日
各位可能还忽略了一个问题:
既然这么大的数据,难道那个 FTP 自身就不限速么?
cedared
2016 年 12 月 9 日
微林
techmoe
2016 年 12 月 9 日
在不考虑数据安全性的情况下,可以尝试使用 PCS API 上传到百度云试试
zzutmebwd
2016 年 12 月 9 日
遇到这类问题全部无脑推荐 btsync 极快
yulgang
2016 年 12 月 9 日
要是用 Amazon S3 中转呢
chousb
2016 年 12 月 9 日
这种数据量,请考虑使用顺丰协议。
jyf007
2016 年 12 月 9 日
@chousb
cat9life
2016 年 12 月 9 日
这么大数据想不到好办法...太快首先源服务器别拖垮了 :)

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/326373

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX