如何解决Spark Parquet 压缩和编码方案
我需要编码由我的 pyspark 脚本生成的镶木地板文件，以便编码使用 RLE_DICTIONARY (https://www.slideshare.net/databricks/the-parquet-format-and-performance-optimization-opportunities)。
其次，我需要应用压缩，但不是在完整文件级别，但我需要行组（拆分单元）级别压缩 - 理想情况下使用 snappy，因此我们可以支持来自 Redshift Spectrum ({{ 3}}).
但是，查看官方 parquet 文档，可以设置的 parquet 相关属性很少（https://docs.aws.amazon.com/redshift/latest/dg/c-spectrum-data-files.html）。 此属性：
spark.sql.parquet.compression.codec
默认为 snappy，但这是否应用文件级别或拆分级别压缩（即它是首先生成 parquet 文件然后进行 snappy 压缩，还是首先它 snappy 压缩行组 - 拆分，然后生成文件级别？）
>这里的默认行为是什么？默认行为是否满足我应用拆分块压缩而不是文件级压缩的要求？ RLE_DICTIONARY 是 Spark 使用的默认编码吗？我找不到定义编码本身的选项？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。