如何解决如何在Java中使用Spark typedLit函数
我正在将Java 8与Spark v2.4.1。一起使用
我正在尝试使用名为typedLit的Spark函数添加Map
。但是出现编译错误。如何在Java API中做到这一点?
下面是场景:
Map<Integer,Integer> lookup_map= new HashMap<>();
lookup_map.put(1,11);
lookup_map.put(2,21);
lookup_map.put(3,31);
lookup_map.put(4,41);
lookup_map.put(5,51);
JavaSparkContext javaSparkContext = JavaSparkContext.fromSparkContext(sparkSession.sparkContext());
Column typedMapCol = functions.typedLit(lookUpScoreHm,Map<Encoders.INT(),Encoders.INT()> );
// this is not correct and giving error in at typedLit.
Dataset<Row> resultDs= dataDs
.withColumn("map_col",typedMapCol)
如何在Java 8中定义functions.typedLit?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。