当联接列名称相同时，Spark联接在Spark> 2.4中不起作用

如何解决当联接列名称相同时，Spark联接在Spark> 2.4中不起作用

我们最近将Spark从 v.2.1 升级到 v.2.4

以前运行的代码如下：

final_df = spark.sql("select a.*,b.* from df_1 a join df_2 b on a.cust_id = b.cust_id")

升级后，同一查询输出具有0条记录。我尝试了很多调试，但是不明白为什么以前这样的简单连接失败了。

最后，当我更改其中一个表的cust_id列的别名时，它起作用了（ df_2的cust_id-> cust_id_2 ）：

final_df = spark.sql("select a.*,b.* from df_1 a join df_2 b on a.cust_id = b.cust_id_2")

我觉得这是非常奇怪的行为，在升级开源项目时，应始终检查向后兼容性。

需要有关此主题的评论/建议。