如何解决如何使用Apache Beam创建tar.gz文件
我使用以下方法创建了tar.gz
文件,并且创建了.gz
文件,但是tar文件不可用。如何获得结果?
PCollection<String> lines = pipeline.apply("To read from file",TextIO.read().from(<file path>));
lines.apply(TextIO.write()
.to("C:\\Ddrive\\saveAllRequest1.txt")
.withCompression(Compression.GZIP);
以及如何压缩多个文件。
预先感谢
解决方法
创建tar
文件是固有的非并行操作。这里的一种选择是在写完DoFn并手动创建tarball后使用Wait变换。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。