微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

是否有用于 RDD 的 trim() 函数?

如何解决是否有用于 RDD 的 trim() 函数?

删除前导和尾随空格,我知道您可以对数据帧使用修剪。使用RDD时是否有类似的功能?如果没有,你会怎么做?


编辑:添加了一些代码

nonNullRDD = marchRDD.filter(lambda row: row.title).filter(lambda row: row.authors)
titleRDD = nonNullRDD.map(lambda field: (field.title,field.authors))
splitRDD = titleRDD.flatMap(lambda field: [(field[0],z) for z in field[1].split(";")])
authorRDD = splitRDD.map(lambda field: [field[1],1])
test = authorRDD.flatMap(lambda word: word.strip())

解决方法

RDD 没有字符串函数

我相信您正在寻找 Python str.strip()

trimmed_words = words.map(lambda word: word.strip())

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。