如何使用 .str 和 .split 将 Pandas 代码转换为 Pyspark

如何解决如何使用 .str 和 .split 将 Pandas 代码转换为 Pyspark

我使用 Pandas 编写了以下代码：

df['last_two'] = df['text'].str[-2:]
df['before_hyphen'] = df['text'].str.split('-').str[0]
df['new_text'] = df['before_hyphen'].astype(str) + "-" + df['last_two'].astype(str)

但是当我在 spark 数据帧上运行它时，我收到以下错误：

TypeError: startPos and length must be the same type

我知道我可以将 df 转换为 Pandas，运行代码，然后将其转换回 spark df，但我想知道是否有更好的方法？谢谢

解决方法

你可以试试下面的字符串函数：

import pyspark.sql.functions as F

df2 = df.withColumn(
    'last_two',F.expr('substring(text,-2)')
).withColumn(
    'before_hyphen',F.substring_index('text','-',1))
).withColumn(
    'new_text',F.concat_ws('-','before_hyphen','last_two')
)