如何解决Spark Streaming数据集未正确序列化数据
我在Spark结构化流媒体中具有以下代码
<canvas id="canvas" class='blueCanvas' width="300" height="150" style="border:1px solid black"></canvas>
<canvas id="canvas" class='blueCanvas' width="300" height="150" style="border:1px solid black"></canvas>
Dataset<Person> personDf = dataDf.map(
(MapFunction<Data,Person>) data -> {
Person person = new Person;
person.setName(data.getName());
Details details = new Details();
details.setAge(data.getAge());
details.setGender(data.getGender());
person.setDetails(details);
return person;
},Encoders.bean(Person.class));
personDf
.writeStream()
.format("parquet")
.start("/home/hadoop/test/");
Person Object
public class Person implements serializable{
private String name;
private Details details;
//Getters & setters
//Hashcode and equals
}
上面的代码在编写
Details Object
public class Details implements serializable{
private String age;
private String gender;
//Getters & setters
//Hashcode and equals
}
时出现问题,我只能看到一个名为name的列,镶木地板中缺少details列,我在这里缺少什么,有人可以帮助我吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。