如何解决是否可以使用火花数据框pyspark中的 d-type 找到哪一列是日期?
我有一个数据框:-
df =
Name Date_1 Date_2 Roll.no
kiram 22-01-2020 23-01-2020 20
krish 24-02-2020 05-01-2020 25
verm 09-01-2020 25-02-2020 24
kirn 14-12-2019 25-01-2021 56
现在我想使用 d-types.
查找日期列我们知道在 pyspark 中日期被视为 strings
,我们如何将日期列 d-type 描述为 date
类型但不是string
?
这是因为我只想在日期列上应用一些函数。有什么办法可以找出哪一列属于 d-type 'Date
'?
解决方法
试试
df.printSchema()
应该说是时间戳还是日期
或者您可以使用 to_date() 转换为日期格式
to_date("date").alias("date")
,
您根据用例使用了以下类似的内容。在下面的示例中,将所有日期和时间戳列转换为字符串 ..
for d_type in df.dtypes:
if d_type[1] in ('timestamp','date'):
df = df.withColumn(d_type[0],df[d_type[0]].cast('STRING'))
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。