微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

即使在提供正确的远程缓存配置后,“dvc add -external S3://mybucket/data.csv”也因访问错误而失败

如何解决即使在提供正确的远程缓存配置后,“dvc add -external S3://mybucket/data.csv”也因访问错误而失败

我正在使用 dvc 并连接到远程 S3 进行数据跟踪,并在同一个远程 S3 中设置远程 dvc 缓存。 以下是配置文件

[core]
    remote = s3remote
[cache]
    s3 = s3cache
[‘remote “s3remote”’]
    url = S3://dvc-example
    endpointurl = http://localhost:9000/
    access_key_id = user
    secret_access_key = password
    use_ssl = false
[‘remote “s3cache”’]
    url = s3://dvc-example/cache
    endpointurl = http://localhost:9000/
    access_key_id = user
    secret_access_key = password
    use_ssl = false

我能够使用 s3remote 从远程存储库推送和拉取到本地。

但是当我尝试通过配置缓存(s3cache)添加外部数据时,出现错误

s3cache,s3remote 的凭证都是一样的,那么为什么我在dvc 中添加外部数据时会失败?

解决方法

我们需要使用特殊的 remote:// URL 格式来add --external 使用现有远程配置的数据:

dvc add --external remote://s3remote/wine-quality.csv

wine-quality.csv 位于位置 s3://dvc-example/wine-quality.csv,这里 remote://s3remote 被配置文件中的 url 字符串替换.

我在 DVC 论坛上发布问题后得到了答案。 Link to answer

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。