某些海外资源的正确下载姿势是?

2016 年 11 月 16 日
 tchekai704

事情是这个样子的: 我需要下载一个资源,这个资源并不直接提供 URL 下载,而是需要注册后获取一个一次性的下载连接,然而及时获取下载连接后,下载速度很慢。

https://network.pivotal.io/products/pivotal-gpdb#/releases/1683/file_groups/411

我现在想到的几个方法

  1. 直接下载
  2. 通过 SS 代理下载
  3. 直接在 vps 上使用 wget 下载,然后 ftp 拖回来

方法 1,2 失败概率太高,不支持断点续传的情况下几乎 100%失败。 我目前倾向 3 ,但是 URL 是一次性的,我没办法获取一个未使用过并且是授权可下载的 url 。

https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip

PS :诡异的是这个连接 wget 后会自动退出我的 xshell 的 session

kai@localhost:~$ wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip
[1] 4485
[2] 4486
[3] 4487
kai@localhost:~$ --2016-11-16 01:12:05--  https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729
Resolving dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)... 52.84.246.239, 52.84.246.28, 52.84.246.68, ...
Connecting to dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)|52.84.246.239|:443... connected.
HTTP request sent, awaiting response... 403 Forbidden
2016-11-16 01:12:05 ERROR 403: Forbidden.

logout
[1]   Exit 8                  wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729
[2]-  Done                    Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_

Connection closed.

Type `help' to learn how to use Xshell prompt.
9032 次点击
所在节点    宽带症候群
23 条回复
langmoe
2016 年 11 月 16 日
Anthropic
2016 年 11 月 16 日
我直接下载 400 KB/s
爬梯子跑满了带宽
所以你似乎需要换个梯子

(至于你说的断点续传的情况我没试~
cocochan
2016 年 11 月 16 日
转义
schezukNewTos
2016 年 11 月 16 日
为什么你的 wget 链接不加引号?
tchekai704
2016 年 11 月 16 日
@schezukNewTos 谢谢提醒,就是没找到为什么 ssh 会自动退出的与 ROOT CAUSE 。
kmahyyg
2016 年 11 月 16 日
考虑使用 curl -O-
LGA1150
2016 年 11 月 16 日
aria2c -c
xiaoz
2016 年 11 月 16 日
试试 axel 多线程下载呢? https://faq.xiaoz.me/archives/95.html
suantong
2016 年 11 月 16 日
我这都下好了。 1 , 2 分钟的事,你太纠结了。
newworld
2016 年 11 月 16 日
@suantong 楼主下载的什么沙盒??
suantong
2016 年 11 月 16 日
@newworld ,我都不知道这啥玩意,数据库?我只是下载玩玩。
newworld
2016 年 11 月 16 日
@suantong 可以看看是啥呀 楼主敢不打码 说明应该没啥隐私 Google 相关名字 域名瞅瞅呗 好奇😆😆
ryd994
2016 年 11 月 16 日
你这里 forbidden 的原因多半是 URL 不全 试试单引号括起来
楼上很多你这是个 AB 问题,其实正解楼上有很多
我单说一下如果问题不变,强行走偏门解:
Nginx HTTP 代理 proxy_store 配合 proxy_ignore_client_abort
保存所有请求的内容
事后 VPS 上慢慢翻
squid 的缓存应该也可以实现,不过需要把文件头部的 header 之类去掉
ff521
2016 年 11 月 16 日
建议换个好用的 ss
tchekai704
2016 年 11 月 16 日
@newworld 没什么隐私,数据仓库 GreenPlum
grayon
2016 年 11 月 16 日
SS 不好用的话你可以试试 SSR
clino
2016 年 11 月 16 日
wget 后面 url 加引号就行了
shizhouren
2016 年 11 月 16 日
gapps 下载就超级慢,你们的是这样吗?
komugi
2016 年 11 月 16 日
@shizhouren opengapps 很慢
Vicer
2016 年 11 月 16 日
楼主发一次性链接吧,我帮你。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/320828

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX