加速 spark df.write 到 PostgreSQL 的最佳参数

如何解决加速 spark df.write 到 PostgreSQL 的最佳参数

我正在尝试将一个约 3 百万行 x 158 列 (约 3GB) 的 Pyspark 数据帧写入 TimeScale DB。

写入操作从 Jupyter 内核执行，资源如下：

• 1 个驱动程序、2 个 vcpu、2GB 内存
• 2 个执行器、2 个 vcpu、4GB 内存

正如人们所料，它相当慢。

我知道 repartition 和 batchsize，所以我尝试使用这些参数来加速写入操作，但我想知道尽可能提高性能的最佳参数是什么.

df.rdd.getNumPartitions() 是 7，我应该尝试增加还是减少分区数？ 我试过玩了一下，但没有得到任何结论性的结果。增加分区数似乎确实会减慢写入速度，但这可能只是因为 Spark 先执行 repartition。

我更具体地想知道 batchsize。我想最佳批量大小取决于 TimeScale/Postgre 配置，但我无法找到有关此的更多信息。

为了记录，以下是我尝试过的示例：

df.write \
  .mode("overwrite") \
  .format('jdbc') \
  .option('url','my_url') \
  .option('user','my_user') \
  .option('password','my_pwd') \
  .option('dbtable','my_table') \
  .option('numPartitions','5') \
  .option('batchsize','10000') \
  .save()

这在一个小得多的数据帧样本（约 500K 行，500MB）上花费了 26 分钟。

我们知道我们的 Jupyter 内核资源不足，并且也在努力解决这个问题，但是有没有办法使用 Spark 和 TimeScale 参数来优化写入速度？

[编辑] 我还阅读了关于使用 copY 的 this very helpful answer，但我们目前正在专门寻找使用 Spark 提高性能的方法。

解决方法

如果它使用 JDBC，那么前段时间引入的 reWriteBatchedInserts=true 参数可能会显着加快速度https://jdbc.postgresql.org/documentation/changelog.html#version_9.4.1209。它应该能够被引入到连接字符串中，或​​者可能有一种方法可以指定在 Spark 连接器中使用它。