如何解决为 Spark 准备 lzo 或 lz4 文件
我正在尝试选择正确的格式与我的 Spark 应用程序交换文件。我在 Kubernetes 上使用 Spark 2.4.7 + Haddop 2.10。
我的应用程序从 S3 下载 CSV 文件并进行处理。该文件由第三方公司提供。
我在考虑让他们使用 lz4、lzo 或其他可拆分的压缩。但是，我所看到的命令行工具文件格式与 Hadoop lz4 或 lzo 编解码器不兼容（我尝试了 lzop 和 lz4 cli）
您是否知道有哪些 CLI 工具允许以 Hadoop 编解码器能够理解的格式准备 lz4 或 lzo 压缩文件？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
