如何解决将datalad与Google Cloud Storage结合使用
我是Datalad的新手。我正在尝试获取版本历史记录,并为对Datalad数据集进行任何更改的每个人提交详细信息。
到目前为止,我能够将本地数据集的同级创建到云存储桶中,并且能够将Datalad数据集导出到GCS存储桶/ Datalad同级中。
我想在这里实现以下几点:-
- 在某些文件更改为我的Datalad目录的任何位置,提交都应该能够捕获用户详细信息。
当前,它捕获了我在git安装过程中设置的我的git config详细信息。有没有 提交时使用Datalad动态传递这些值的方法?
- 我不希望我的本地磁盘保留文件的历史记录,而只保留要存储在GCS存储桶中的元数据和版本历史记录。
当前,我能够使用git-annex export命令将所有文件/文件夹(包含历史记录的.git文件夹除外)推入GCS兄弟姐妹。有没有办法将版本历史记录推送到GCS存储桶并从中获取见解,而不是将所有内容存储在本地?
- 此外,我使用的大多数命令是git-annex命令。是否存在用于相同操作的Datalad API?
任何见解都会有所帮助。
解决方法
据我了解,Datalad历史文件是文本文件,对于第三个问题,我可以说您可以使用Cloud Storage中的txt文件,而无需在本地下载它。您可以通过使用存储URL(即“ https://storage.cloud.google.com/{MyBucket}/{MytxtFile}.txt”
)访问文件来实现此目的从这里您将能够动态获取文本内容,即发出GET请求将返回文件内容。
现在,如果您与我们分享一个示例,您想确切地实现什么,即您正在使用什么命令,这将很有用。根据{{3}},它似乎需要一个本地文件,而且我不确定是否可以使它在没有本地文件的情况下(通过卷曲)工作
在使用Cloud Storage或本地文件之间可能的中间解决方案可能是使用Datalog get documentation,因此您可以将Cloud Storage存储桶作为文件系统挂载在Linux或macOS系统上,可以在本地操作和访问文件,并且此更改将反映在存储桶中。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。