如何解决在 Spark 中对普通 RDD 进行分区
我知道对于 PairRDD（键、值），我们可以给出我们自己的分区方案或使用默认分区器（哈希和范围）对其进行分区。但是，有没有办法使用我们自己的分区类来对普通 RDD 进行分区？
谢谢！
解决方法
需要继承抽象类org.apache.spark.Partitioner并提供两个方法的实现：
class WeekDayPartitioner extends Partitioner {
override def numPartitions: Int = 7
override def getPartition(key: Any): Int = key.asInstanceOf[LocalDate].getDayOfWeek
}
val partitioner = new WeekDayPartitioner()
myRdd.partitionBy(partitioner) //RDD[(LocalDate,String)]
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
