微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Spark返回RDD [Nothing]而不是RDD [Long,String,....]

如何解决Spark返回RDD [Nothing]而不是RDD [Long,String,....]

我正在尝试将数据框映射到元组的RDD,在某种程度上它可以正常工作,但是只要我添加更多row.getAs,它就会突然返回RDD[nothing]

例如

df.rdd.map(row => {
      (row.getAs[Long]("created_at"),row.getAs[String]("elem1"),row.getAs[String]("elem2"),row.getAs[String]("elem3"),row.getAs[String]("elem4"),row.getAs[String]("elem5"),row.getAs[String]("elem6"),row.getAs[String]("elem7"),row.getAs[String]("elem8"),row.getAs[String]("elem9"),row.getAs[String]("elem10"),row.getAs[String]("elem11"),row.getAs[String]("elem12"),row.getAs[String]("elem13"),row.getAs[String]("elem14"),row.getAs[String]("elem15"),row.getAs[String]("elem16"),row.getAs[String]("elem17"),row.getAs[String]("elem18"),row.getAs[String]("elem19"),row.getAs[String]("elem20"),row.getAs[String]("elem21"))
    })

返回RDD[(Long,String,String)]

然后我可以像.groupBy(x => x._1)

但是在这种情况下,我立即添加了另一个row.getAs[String]

row.getAs[String]("elem22")

它将返回df.rdd.map(row => { (row.getAs[Long]("created_at"),row.getAs[String]("elem21"),row.getAs[String]("elem22")) }) ,并且不让我致电RDD[nothing]并遵守相关规定

无法解析symbol_1

我在文档中找不到任何有关映射时的限制的信息。我在这里做错什么了吗?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。