来自融合表的索引顺序中断 Foundry 数据集

如何解决来自融合表的索引顺序中断 Foundry 数据集

我已经从 Fusion 表创建了 Palantir Foundry 数据集。但是行的顺序与 Fusion 表的顺序不正确。正确的做法是什么？

融合表数据

从融合表创建的数据集

解决方法

Spark 不会保留任何顺序，并且 Fusion 在导出到数据集时不会尝试保留行顺序。通常，不应依赖 Foundry 数据集中的行顺序。您可以通过添加索引列来解决此问题。

之前的编辑：

我已经对此进行了测试，并且同步在没有任何特定配置的情况下正确地保持了输出数据集上的顺序。挖了一点之后，我似乎很幸运。