从GCP存储桶将文件复制到容器优化的操作系统

如何解决从GCP存储桶将文件复制到容器优化的操作系统

如何在实例启动时将文件从GCP存储桶下载到容器优化的操作系统（COS）？

我知道以下解决方案：

所有这些操作都必须在实例启动后手动进行，并且必须在外部进行。

也有cloud init，但我找不到有关如何从存储桶中复制文件的任何信息。 Examples seem to be suggesting最好将文件内容直接包含在云init文件中，这不是我想要做的，因为安全。是否可以使用cloud init从Storge存储桶下载文件？

我考虑使用startup script，但是COS缺少gcloud或gsutil之类的CLI工具，因此无法在启动脚本中运行任何此类命令。

我知道我可以手动复制文件，然后将图像另存为boot disk，但我希望有解决方案，不必这样做。

最重要的是，假设COS实例设置允许我指定可以挂载到起始容器上的Docker卷，那么我假设我不是在请求不可能的事情。这似乎表明，当COS在启动时尝试运行我的映像时，我应该能够在实例上拥有一些私有文件。但是如何？

尝试执行带有cloud-sdk映像的启动脚本并将文件复制到as suggested by Guillaume一段时间showing this log对我不起作用。最终，我意识到cloud-sdk映像在未压缩时为2.41GB，需要2分钟以上的时间才能完成拉取。我再次尝试使用空的COS实例，并且启动脚本成功完成，并从存储桶中下载了数据。

但是，一个2.41GB的映像和超过2分钟的启动时间听起来有点像下载2KB文件的功能。不是吗？

我很高兴看到我的问题的可行解决方案（感谢Guillaume！），尽管我仍然想知道：没有更好的方法吗？我觉得这种方法甚至比手动将文件放在COS实例上，然后创建将来要使用的机器映像还要整洁。

解决方法

根据纪尧姆的回答，我创建并发布了gsutil wrapper image，可以作为voyz/gsutil_wrap使用。这样，我可以使用以下命令运行startup-script：

docker run -v /host/path:/container/path \
  --entrypoint gsutil voyz/gsutil_wrap \
  cp gs://bucket/path /container/path

它本质上是Guillaume suggested的副本，只是它使用的图像仅包含运行gsutil所需的最低设置。结果，它的重量为0.22GB，平均拉动时间为10-20秒，而Guillaume建议的google/cloud-sdk图片则分别为2.41GB和2分钟以上。

还要记入this incredibly useful StackOverflow answer，这使gsutil可以使用默认服务帐户进行身份验证。

启动脚本是执行此操作的正确位置。是的，COS缺少一些有用的库。

但是，您可以运行容器！还有，例如Google Cloud SDK容器！

因此，将此启动脚本添加到VM元数据中：

键-> startup-script
值->

docker run -v /local/path/to/copy/files:/dummy/container/path \
  --entrypoint gsutil google/cloud-sdk \
  cp gs://your_bucket/path/to/file /dummy/container/path

注意：启动脚本以root模式运行。如果需要更改文件访问模式，请在启动脚本中执行chmod / chown。

让我知道您是否需要此命令行的更多说明

当然，对于新的COS映像，启动时间会很长（拉出容器映像并将其提取）。

要减少启动时间，可以“烘烤”图像。我的意思是，从COS开始，下载/安装所需的内容（或仅执行docker pull容器的googkle/cloud-sdk）和create a custom image from this。

像这样，所有必需的依赖项都将显示在映像上，并且启动启动会更快。

从GCP存储桶将文件复制到容器优化的操作系统

如何解决从GCP存储桶将文件复制到容器优化的操作系统

解决方法

相关推荐