protobuf 和 arrow 的比较

如何解决protobuf 和 arrow 的比较

两者都是语言中立和平台中立的数据交换库。我想知道它们有什么区别，哪个库适合哪种情况。

解决方法

它们用于解决两个不同的问题。 Protobuf 旨在为数据创建通用的“在线”或“磁盘”格式。

Arrow 旨在为数据创建一种常见的“内存中”格式。

当然，下一个问题，这是什么意思？

在 Protobuf 中，如果应用程序想要处理数据，它们首先将数据反序列化为某种“内存中”表示。必须这样做，因为 Protobuf 格式不容易与 CPU 指令兼容。例如，protobuf 将无符号整数打包成 varint。它们具有可变的字节数，并且字段的线类型被塞进了 3 个最低有效位。你不能把两个无符号整数加起来而不先把它们转换成某种“内存中”表示。

现在，User 确实有每种语言的库，可以转换为这些语言的“内存中”表示。但是，这种“内存中”表示并不常见。您无法获取 Protobuf 消息，将其反序列化为 C#（使用 profile 生成的代码），然后在 Java 中处理这些内存中的字节，而无需对数据进行某种 C#->Java 编组。

另一方面，Arrow 解决了这个问题。如果您在 C# 中有一个 Arrow 表，您可以将该内存映射到不同的语言并开始对其进行处理，而无需对数据进行任何类型的“语言到语言”编组。这种零拷贝允许语言之间的高效切换。 Python 使用这样的技巧（例如数组协议）已经有一段时间了，它非常适合数据分析。

然而，Arrow 并不总是在线传输的最佳格式，因为它可能效率低下。我之前提到的那些 varints 帮助 Protobuf 减少了消息大小。此外，Protobuf 标记每个字段，以便在有许多可选字段时可以节省空间。事实上，Arrow 使用 Protobuf 和 gRPC 在 Arrow Flight（一个 RPC 框架）中进行元数据的在线传输。