如何解决如何使用gsutil通过http链接从Google云存储下载到AWS实例或s3存储桶?
我有一个google cloud storage download http链接,我想直接将文件下载到AWS实例或s3存储桶。我尝试了gsutil cp或rsync,但它们不支持将凭据作为参数发送。
这是链接。
const cells = document.getElementsByClassName('bodyCells');
const scrapedElements = [];
for (var i = 0; i < cells.length; i++) {
const item = cells[i];
for (var j = 0; j < item.children.length; j++) {
const outerDiv = item.children[j];
const innerDivs = outerDiv.children;
for (var k = 0; k < innerDivs.length; k++) {
const targetDiv = innerDivs[k];
scrapedElements.push([targetDiv.innerHTML]);
}
}
}
console.log(scrapedElements);
解决方法
如 @jarmod 所述,一旦拥有可访问的URL,您就应该能够使用wget
或curl
之类的工具从GCS下载对象,并且然后将其上传到Amazon S3。
不过,GCP还提供了其他ways来实现这一目标。例如,您可以通过最初运行gsutil cp
或gsutil rsync
来使用gsutil工具与Amazon S3进行交互。为此,您需要将Amazon S3凭证添加到gsutil的.boto配置文件中。
如果您手边有一个看起来已签名的URL,则无需提供任何凭据(该签名的URL包括所需的所有内容),并且不需要使用gsutil或rsync。
您可以使用HTTP客户端,例如curl或wget。例如:
wget -O filename.zip "https://the-signed-url-here"
请务必引用签名的URL,如上所示,因为其中将包含与号(&
)字符,并且许多操作系统和外壳程序(通常为{{3})以特殊的方式对待这些字符。 }。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。