添加新列时，date_trunc函数不适用于spark数据框

如何解决添加新列时，date_trunc函数不适用于spark数据框

我想在具有日期列的数据框上使用date_trunc函数，以便我可以创建新列，该列将为我提供有关记录与哪个季度关联的信息。

我尝试过的东西如下：

import org.apache.spark.sql.functions._
val test = Seq(("2010-03-05"),("2018-01-16"),("2018-04-20")).toDF("TestDates")
display(test)  //this displays the date in the notebook

val datetrunctest = test.withColumn("Quarter",date_trunc("QUARTER",$"TestDates"))
display(datetrunctest)  //this gives me an error saying **error: not found: value date_trunc**

此外，当我尝试使用带有函数名称的import语句时，也会出现以下错误：

import org.apache.spark.sql.functions.date_trunc
Error : value date_trunc is not a member of object org.apache.spark.sql.functions

通过将上述数据框测试另存为表格“ DailyDates”，我可以在以下Spark sql中使用相同的功能：

val ddd = spark.sql("Select TestDates,date_trunc('QUARTER',TestDates) as QuarterDate from test.DailyDates")
display(ddd)

我需要对数据框执行很多转换/聚合操作，因此我正在寻找一种方法，可以通过添加其他列来对数据框进行此工作。根据文档，如果您使用的Spark版本大于2.3.0，这应该可以工作，而我使用的是Spark版本2.4.3。

spark版本的快照图像：

文档链接：https://spark.apache.org/docs/2.3.0/api/java/org/apache/spark/sql/functions.html#date_trunc-java.lang.String-org.apache.spark.sql.Column-

有人对可能的问题以及如何使它正常工作有任何想法吗？

解决方法

检查您使用的Spark版本，

打开Spark shell终端并输入命令

sc.version Or spark-submit --version

确保您导入了功能

import org.apache.spark.sql.functions._

然后

该函数要求参数为Column

public static Column quarter(Column e)

import org.apache.spark.sql.functions._
val test = Seq(("2010-03-05"),("2018-01-16"),("2018-04-20")).toDF("TestDates")
val datetrunctest = test.withColumn("Quarter",quarter($"TestDates"))

,

相同的date_trunc代码开始工作，没有任何代码更改。我不知道后端中的集群是否有问题，但是它半天都没有工作，并在晚上开始工作。奇怪的。如果再次发生这种情况，我将向Databricks提出支持请求，并提供详细信息。

我还可以解决解决方案，而无需使用date_trunc函数，如下所示，它可以帮助某人解决用例。

import org.apache.spark.sql.functions._
val test = Seq(("2010-03-05"),("2018-04-20"),("2018-08-15"),("2018-11-30")).toDF("TestDates")

val datetrunctest = test.withColumn("Year",year($"TestDates"))
.withColumn("Quarter",quarter($"TestDates"))
.withColumn("QuarterDate",when($"Quarter" === 1,concat($"Year",(lit("-01-01"))))                                                                                                                   
.when($"Quarter" === 2,(lit("-04-01"))))                                                                                                                
.when($"Quarter" === 3,(lit("-07-01"))))                                                                                                                    
.when($"Quarter" === 4,(lit("-10-01")))))
.drop("Year","Quarter")

display(datetrunctest)