如何解决即使在提供正确的远程缓存配置后,“dvc add -external S3://mybucket/data.csv”也因访问错误而失败
我正在使用 dvc 并连接到远程 S3 进行数据跟踪,并在同一个远程 S3 中设置远程 dvc 缓存。 以下是配置文件,
[core]
remote = s3remote
[cache]
s3 = s3cache
[‘remote “s3remote”’]
url = S3://dvc-example
endpointurl = http://localhost:9000/
access_key_id = user
secret_access_key = password
use_ssl = false
[‘remote “s3cache”’]
url = s3://dvc-example/cache
endpointurl = http://localhost:9000/
access_key_id = user
secret_access_key = password
use_ssl = false
我能够使用 s3remote 从远程存储库推送和拉取到本地。
但是当我尝试通过配置缓存(s3cache)添加外部数据时,出现错误。
s3cache,s3remote 的凭证都是一样的,那么为什么我在dvc 中添加外部数据时会失败?
解决方法
我们需要使用特殊的 remote://
URL 格式来add --external
使用现有远程配置的数据:
dvc add --external remote://s3remote/wine-quality.csv
wine-quality.csv 位于位置 s3://dvc-example/wine-quality.csv,这里 remote://s3remote 被配置文件中的 url
字符串替换.
我在 DVC 论坛上发布问题后得到了答案。 Link to answer
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。