海量数据回国方案

2 月 1 日
 pc10201

海量数据存在 cloudflare r2 对象存储中,要回传到国内阿里云、腾讯云等对象存储 每个月的量挺大,差不多 5-10PB ,有量大管饱的便宜的拉取方案吗?

预算每个月几千美金

目前想到方案是买一批不限流量的 G 口服务或一堆小的 vps

10778 次点击
所在节点    云计算
83 条回复
bullfrog
2 月 1 日
r2 本来就流量免费,阿里云入站免费,直接申请一堆阿里云的小 vsp 分包下载就完啦,让 ai 给你写个脚本
lekai63
2 月 1 日
@realpg 老哥 你说的在理
kingba
2 月 1 日
假如 10T 每月,那带宽至少要达到 50Gbps
中国大陆的总出口带宽是 40T (大模型说的)=40000Gbps
也就是说为了满足你的需求,你可能会占用全国总出口带宽的千分之一???
kakuneko
2 月 1 日
@realpg #20 看完了,请问一下老哥对于这种大量数据远距离传输有什么比较好的解决方法吗?
SilencerL
2 月 1 日
😅这数据量要是人肉运输,不止楼上的成本问题,而且 100% 会触发中美(假设从美国运回来)的数据出入境审查,并且是完全无法解释的巨大数据量,没有任何法务会同意这种方案,拿刀架脖子上都不敢签字
realpg
2 月 1 日
@Rnreck
有的, 要根据实际情况做方案 不能直接套公式 有些场景就是无解的 比如你有 1PB 的文件要传, 单文件<20KB

而且, 这是最核心的挣钱的地方... 不要指望动动嘴就能获得价值六位数的技术方案

有的时候 运硬盘也是最优解 要不我怎么知道运硬盘的事儿

各种方法都有各种方法的适用范围 全部要定制
realpg
2 月 1 日
@lekai63 #22

因为这些我都真的干过...

什么运硬盘 跨境传输大视频 oss 上下云 异地 100PB 级数据搬迁

我业余就吃这碗饭的 我这边老板专门投个公司做云规划 基本就是我一个人在干
levelworm
2 月 1 日
@realpg #27
看来大量数据的传输的确是个难题啊,不知道磁带怎么样。话说楼主是抖音的吗。。。
realpg
2 月 1 日
@SilencerL #25
其实触发不了, 没人管的, 你着急走 UPS 快递进境申报的也只是硬盘而不是数据. 你不着急走集装箱那申报就更邪门了, 货代各种歪门邪道的申报法, 他们对缝的很多都给你拼到跨国公司的附加申报, 因为你没有支付采购外汇, 这是半残交易, 所以大部分无货款的找货代申报的话, 他们给你拼到一些外企的设备流动里他们还能挣一大堆差价


如果你走个人, 那这个体量, 申报大概率也进不来, 会被退运.
realpg
2 月 1 日
@levelworm #28

难者不会, 会者不难, 外部风险较大(主要是方案有可能在真实世界并不 work)

外部风险如果甲方协同分担, 那可以便宜, 甲方不承担一点风险, 搞不定就退款, 风险全部乙方承担, 那服务费就很贵
levelworm
2 月 1 日
@realpg #30
求问一下,是不是技术上没啥难点,主要是法律上的问题?楼上有人算过了,开高带宽花时间就行了,反正已经有这种带宽的服务了。
saranz
2 月 1 日
你这个,还是和 Cloudflare 的客服联系一下看看能不能弄到物理硬盘吧。
如果在线回传,时间久不说,成本也高。
realpg
2 月 1 日
@levelworm #31

没任何法律上的问题

觉得这个简单的 可以自己试试就知道难不难了

除非他是单文件 TB 级 总共就没几个文件

而且他是每个月累计 5PB 流量 可没说是要等你冷传输

大概率人家是要很快同步过来的 CF 上的文件 几小时内就得到国内 是这个工作累计每个月 5PB 流水滚动

而不是 现在有 5PB 死文件 你一个月内给我搬回来
miniliuke
2 月 1 日
理论带宽 4w 打满的......这还是跨洋网络,够呛,估计还是得物理搬运
steven0018
2 月 1 日
专线肯定需要的,下行带宽费用肯定免不了,需要配合托管物理机+专线的方案,这样才有可能成本比较低,有需要的话可以具体沟通下
mengyx
2 月 1 日
比较稳定的方式是开 IEPL 专线+IX/PNI ,整体成本可以比走互联网低不少;
我们在国内与阿里、腾讯有> 100Gbps 的互联;在香港与 Cloudflare 的互联、IEPL 的容量也可以按需提升到 100Gbps ;

有需要了解的话可以联系
```bash
echo "V2VDaGF0OiBjbi1taXgK" | base64 -d
```
iseki
2 月 2 日
@realpg 搬硬盘/不搬硬盘应该是有一个平衡点的吧,一般什么情况下会比较便宜呢
iseki
2 月 2 日
我看现实世界中的快递硬盘服务,基本上都是云厂商上云附带服务。
realpg
2 月 2 日
@iseki #37
我给你举个例子, 阿里云 OSS 上 10PB 的小碎文件, 你告诉阿里云你要导出到硬盘, 一个月都不一定能存到硬盘里, 且不说运输, 从他们的存储集群到你的硬盘, 一个月都不一定能导完
shmilypeter
2 月 2 日
我能想到的是你公司开发一个客户端软件,类似于 QQ 或者 360 ,并且占领一定的市场,你把 cloudflare r2 上的分卷压缩让美国那边的客户端下载,按照 10PB 也就是 10240T 来算,每个用户 102.4M (每个用户直接给干 1T 流量太明显了),那么你需要十万个用户。假设你中国那边也有十万个用户。你可以让美国那边十万个用户点对点传给中国那边十万个用户,然后在中国那边十万个用户自动传到你的服务器,分片合并。

就是如何让中美两边都有十万用户量是一个问题。

或者你能搞一万台手机一万个账户,一个账户传 1T 也行。一万台手机估计一个大 house 放不下,管理起来难度也颇大,并且为了账户不被封,还不能用一个 IP 的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/1189860

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX