如何解决在 Julia 中使用 Arrow.jl 进行数据压缩
我尝试使用 Arrow.jl
压缩数据。但是,使用以下代码的测试运行没有显示任何大小减少(或压缩)。我可以就我的实施寻求建议吗,比如我做错了什么?
代码:
using CSV,DataFrames,Arrow
df = CSV.read("input_data.csv",DataFrame)
function compress_data(data::DataFrame)
io = Arrow.tobuffer(data)
d = Arrow.Table(io; convert=false)
Arrow.write("output_data.lz4",d; compress=:lz4)
end
compress_data(df)
期待建议。谢谢!
解决方法
代码看起来不错,使用全零值的输入 CSV 对其进行测试,压缩率很高。
我怀疑这里的情况是使用浮点数,这里有两个潜在的棘手问题需要记住
- 在浮点数在小范围内的情况下,例如
0. < x < 1.
,我们可能会期待压缩的潜力,但我们可能会感到失望,因为浮点数的字节模式不适用于常见的压缩技术。 -
Float64
的文本表示可能会截断小数,并且每个值存储的字节数远少于 8 个字节,因此在保存二进制表示时实际上可以增加保存。
浮点数的压缩技术确实存在,例如Blosc,但除非您的数据很幸运,否则结果可能会令人失望。有损压缩技术可以实现高压缩率,例如zfp。您可以在 SO 上找到有关该主题的更多信息: Compressing floating point data
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。