如何解决如何在pyspark数据框中将每周列更改为“to_date”
我有一个庞大的数据集，为了说明起见，我简化了下面给出的数据集：
date product price amount
201901 A 10 20
201902 A 10 20
201903 A 20 30
201904 C 40 50
在此数据集中，日期列显示 year-weekNumber，我正在尝试将字符串类型转换为 pyspark 数据框中的日期类型。有没有什么有效的方法可以将日期列设置为“日期”类型？
解决方法
您可以将 to_date 与合适的日期时间模式字符串一起使用：
import pyspark.sql.functions as F
spark.sql("set spark.sql.legacy.timeParserPolicy=LEGACY")
df2 = df.withColumn('date',F.to_date('date','yyyyww'))
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
