编写数据帧时，Spark与数据库有多少个连接？

如何解决编写数据帧时，Spark与数据库有多少个连接？

在以下情况下，我很困惑Spark会与数据库建立多少连接：

比方说，我有一个Spark程序，该程序仅在具有一个执行程序的一个工作节点上运行，并且数据帧中的分区数为10。我想将此数据帧写入teradata。由于并行度是10，而执行程序只有1，那么在保存数据时会建立10个连接，还是只有1个连接？

解决方法

从Spark 2.2开始，为JDBC数据源指定的numPartitions参数还用于控制其写入行为（除了先前在读取过程中设置并行度的目的之外）。 来自Spark docs：

numPartitions
可用于的最大分区数 表读写中的并行性。这也决定了 并发JDBC连接的最大数量。如果数量 要写入的分区超出了此限制，我们将其降低到此限制 通过在写入之前调用Coalesce（numPartitions）。

,

这取决于您的spark-> teradata解决方案。

通常，每个核心有1个连接。每个内核都按自己的分区1到1进行迭代。

例如，如果您将.foreach与自定义解决方案一起使用，则您在1行时将只有1个连接。

如果您将foreachPartition与自定义解决方案配合使用，则多行将具有1个连接。