如何解决火花;喷杰森;地图操作
我正在尝试使用spray json将我的数据集（案例类）转换为数据集（字符串）。下面的代码使我在spark-shell中出错。
错误： org.apache.spark.SparkException：任务无法序列化 引起原因：java.io.NotSerializableException：spray.json.ProductFormatsInstances $$ anon $ 6
case class person(id: Int,name : String)
object persondef extends DefaultJsonProtocol{
implicit val personformat = jsonFormat2(person)
}
import persondef._
val seperson : Seq[person]= Seq(person(1,"ravi"),person(2,"Sukanya"))
val df1 = sc.parallelize(seperson).toDF.as[person]
val df3 = df1.map(x => x.toJson.toString)
它在intellij Id中似乎运行良好。尤其是在spark-shell命令行中引发了异常。 我在这里想念什么吗？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
