Pyspark创建列并以不同的步骤填充

如何解决Pyspark创建列并以不同的步骤填充

我有一个这样的数据框：

df1
         Day     Hour     Values1
        Monday    7        65      
        Monday    8        66
        Monday    9        66
        Tuesday   7        68
        Tuesday   9        68
        Tuesday   10       58 
    

我想创建一列“标签”，其中每一行将根据不同的条件具有不同的字符串。例如，如果day == Monday和Hour == 7且values1 == 65，则创建列Tag并放置值'Blue'，依此类推。

预期输出：

      Day     Hour     Values1     Tag
    Monday    7        65         'Blue' 
    Monday    8        66         'Red'
    Monday    9        66         'Yellow'
    Tuesday   7        68         'Blue'
    Tuesday   9        68         'Black'
    Tuesday   10       58         'Black'
    

我试图通过创建列标签，然后手动遍历每个单元格并使用if条件来做到这一点。这有效，但显然确实很幼稚且缓慢。有没有利用groupby或类似方法的解决方案？

解决方法

您可以使用when()和otherwise()

 from pyspark.sql.functions import *
  df.withColumn("tag",when((col("day")=='monday') & (col('hour')==7) & (col('Values1')==65),"Blue))

您可以将when()与otherwise()一起使用

  df.withColumn("tag",when(condition1,value)
                  .when(condition2,value)
                 .otherwise(value))