如何解决如何在 spark startsWith() 函数中提供多个条件？
我有一个包含 500 万条记录的数据集，我需要使用提供多个 or 和条件的 startsWith() 替换列中的所有值。
此代码适用于单个条件：
df2.withColumn("Deposits",when(col("Deposits").startsWith("0"),"1.1").otherwise(col("Deposits"))).show()
我需要这样做：
df2.withColumn("Deposits",when(col("Deposits").startsWith("0"||"1"),"1.1").otherwise(col("Deposits")))
解决方法
将 rlike 与正则表达式 ^(1|0) 一起使用（以 1 或 0 开头）：
df2.withColumn(
"Deposits",when(col("Deposits").rlike("^(1|0)"),"1.1").otherwise(col("Deposits"))
).show
如果你想根据 startwith 条件更新 Deposits 列，你可以像这样链接多个 when 表达式：
val depositsCol = Seq(
("1","1.1"),("2","1.2")
).foldLeft(col("Deposits")) { case (acc,(start,value)) =>
when(col("Deposits").startsWith(start),value).otherwise(acc)
}
df2.withColumn("Deposits",depositsCol).show
您可以将这两个条件分开并用||（或）组合起来：
df2.withColumn(
"Deposits",when(
col("Deposits").startsWith("0") || col("Deposits").startsWith("1"),"1.1"
).otherwise(
col("Deposits")
)
)
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。