如何在pyspark的堆栈函数中使用带空格的列名

如何解决如何在pyspark的堆栈函数中使用带空格的列名

我试图对数据框进行反透视，并且数据框具有以下结构

fstcol	col 1	col 2
一个	1	4
一个	2	5
一个	3	6

我想要这样的数据框：

fstcol	col_name	value
一个	col 1	1
一个	col 1	2
一个	col 1	3
一个	col 2	4
一个	col 2	5
一个	col 2	6

我编写了以下代码进行转换：

df.selectExpr("fstcol","stack(2,'col 1',col 1,'col 2',col 2)")

但是，我收到一个错误，因为列名包含空格。无法获取“col 1”和“col 2”的列值。

谁能帮我解决这个问题？

解决方法

您可以像下面那样使用 backticks

df.selectExpr("fstcol","stack(2,'col 1',`col 1`,'col 2',`col 2`)")

,

您必须使用反引号：

df.selectExpr("fstcol",`col 2`) as (col_name,value)")