海量数据回国方案

2 月 1 日
 pc10201

海量数据存在 cloudflare r2 对象存储中,要回传到国内阿里云、腾讯云等对象存储 每个月的量挺大,差不多 5-10PB ,有量大管饱的便宜的拉取方案吗?

预算每个月几千美金

目前想到方案是买一批不限流量的 G 口服务或一堆小的 vps

10676 次点击
所在节点    云计算
83 条回复
MFWT
2 月 1 日
这样的数据量,建议还是物理寄送存储设备比较好
yjsdaniel
2 月 1 日
肉身搬运的带宽更大。
kidtx
2 月 1 日
物理吧 虽然写的不限量 但是 pb 级的很可能违反 tos 被干
wujinyiwjy
2 月 1 日
老哥咱这边要是考虑代理商的资源的话 可以看看我主页帖子还有联系方式的呀 可以给咱这边出个方案聊聊看的呢 折扣也给咱这边尽量争取
mytsing520
2 月 1 日
建议在阿里或腾讯开工单咨询

虽然物理寄送比较好,但是 CloudFlare 的话,还真没遇到过
zyq2280539
2 月 1 日
都 PB 级别买大容量硬盘发快递回国吧。
chen88ijn
2 月 1 日
这么多资源吗
KenGe
2 月 1 日
如果你要跑 5PB/月,你至少需要准备 20Gbps 的国际互联带宽。

如果你要跑 10PB/月,则需要 40Gbps 甚至更高的国际互联带宽储备。

可以留个联系方式讨论下方案?
dianso
2 月 1 日
邮寄硬盘,但是花费也不小,我之前有 188TP 的数据。
走的是 CF 的企业通道。
就是当时联系的中国客服,开的 3000 刀的 CDN 服务,可以用中国区。
然后慢慢下载。
pc10201
2 月 1 日
@KenGe 你可以留一个地球号
fortytwo
2 月 1 日
物理寄送最便宜了
Oni
2 月 1 日
这个量能把很多商家的大陆方向口子直接打满
bugcoder
2 月 1 日
几千美金可以头等舱来回
rb6221
2 月 1 日
不 er ,你这种量的跨国数据传输,不会被信息安全部门审查吗?就算是肉身搬运,不用经历各种漫长的审批渠道吗?
folnet
2 月 1 日
拉条专线到本地腾讯云
allplay
2 月 1 日
这也算是月经贴吧。每次这种月经贴写都会有人告诉你:物理搬运
fstab
2 月 1 日
@allplay #16 肉身带硬盘,数据离境的安全问题,硬盘托运的风险一点也不提,
而且这么多硬盘数据离境,美国国土安全是一点都不审查???我不信。

还不如 9 楼的建议,慢慢下载就行了。
ellye
2 月 1 日
直接开对应云的工单之类的,让他们给你取回,像阿里和 cf 是数据联盟。你这么大量他们有单独的方案
realpg
2 月 1 日
这个预算 2PB 没啥问题 再往上不是技术原因 是管理成本暴增

之前搞过的不是 CF R2 是 AWS 的对象存储 1~2PB/月

而且要看你这单文件大小 是什么格式文件

5PB 这预算兜不住的 你可以忽悠忽悠阿里云的直营销售 至少他们发现亏本以前 能低价解决几个月
realpg
2 月 1 日
@fortytwo #11
@zyq2280539 #6
@kidtx #3
@MFWT #1

各位是不是看快递硬盘的故事看多了...

这个数据量 跨国 邮寄硬盘一点也不便宜

假设 20TB 硬盘 5PB 数据量为 250 块 约 180KG 假如按美国算 毕竟他用美元单位 折扣运费大约人民币 1500 美元

20TB 硬盘 按正规企业采购价 就算他 6000 元一块 价格约 150 万人民币 约 18 万美元

跨境是没法保税的, 你进境要关税增值税申报, 而且你想循环起来重复利用也难


而且还有一个重大问题, 数据源在 R2 上 你从 R2 弄到硬盘里 周期可能都得按月计 而且基本要求每次提供新硬盘或者干脆是云厂商提供硬盘你付钱

然后到了国内 5PB 硬盘你把数据弄到云上 这个成本你核算过吗? 阿里云腾讯云一个月能给你导完吗?


然后, 运输过程中假如有一块两块硬盘坏了 这个怎么做预案?


当文件真的多了, 快递硬盘只是"理论带宽大" "实际带宽"一点也不大

我为什么知道? 因为我干过大卡车运硬盘... 最后结论是 不如网络传输一点点

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1189860

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX