如何解决Google Cloud Storage中的Concat Avro文件
我在Google云端存储中有一些大的h3{
position: absolute;
top: -10%;
}
文件,我想将它们全部合并在一个文件中。
我知道了
.avro
但是,由于我的文件位于google存储路径中:java -jar avro-tools.jar concat
我无法使用avro工具来合并它们。关于如何解决它有什么建议吗?
解决方法
您可以使用gsutil compose
命令。例如:
gsutil compose gs://bucket/obj1 [gs://bucket/obj2 ...] gs://bucket/composite
注意:对于非常大的文件和/或非常低的每台计算机带宽,您可能希望将文件拆分并从多台计算机上载,然后稍后手动组成文件的这些部分。
在我的情况下,我使用以下值对其进行了测试: foo.txt 包含单词 Hello ,而 bar.txt 包含单词世界。运行此命令:
gsutil compose gs://bucket/foo.txt gs://bucket/bar.txt gs://bucket/baz.txt
baz.txt 将返回:
Hello
World
注意:GCS不支持桶间合成。
以防万一,如果您遇到关于integrity checks的异常错误,请运行gsutil help crcmod
以获得如何修复它的说明。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。