从另一个数据框中的另一列替换空数据框中的一列

如何解决从另一个数据框中的另一列替换空数据框中的一列

我有一个空的数据框：

df_empty=spark.createDataFrame(sc.emptyRDD(),schema) 

模式有嵌套字段

和一个具有相同字段名称但在名称开头带有父名和 _ 的数据框展平（在爆炸后）。

例如：

架构 df_empty

|-- delivery: array (nullable = true)
|    |-- element: struct (containsNull = true)
|    |    |-- load_delivery_intervals: array (nullable = true)
|    |    |    |-- element: struct (containsNull = true)
|    |    |    |    |-- from_time: string (nullable = true)
|    |    |    |    |-- to_time: string (nullable = true)
|    |    |-- delivery_start_date_time: string (nullable = true)
|    |    |-- delivery_end_date_time: string (nullable = true)

df_flatten 架构

delivery: array (nullable = true)
delivery_load_delivery_intervals: array (nullable = true)
delivery_from_time: string (nullable = true)
delivery_to_time: string (nullable = true)
delivery_delivery_start_date_time: string (nullable = true)
delivery_delivery_end_date_time: string (nullable = true)

现在我想返回嵌套结构（不爆炸），所以我想要例如

• df_flatten.delivery_delivery_start_date_time 中的 delivery.delivery_start_date_time 和所有其他字段

那么谁将空数据框中的 e 列替换为另一个数据框中另一列的值？

谢谢 拉格兹