如何从 RDD 集合中制作单个 RDD

如何解决如何从 RDD 集合中制作单个 RDD

我有一个 IndexedSeq[RDD[Int]] 我想用它制作一个单一的 RDD。

以下是使用的文件

1 2 3 4 5
6 7 a 8 9
10 11 12 b c
21 22 23 a b
24 25 26 27 28
29 30 c d e

这是我获取 IndexedSeq 的代码：

val rdd = sc.textFile("src/main/resources/bbbbb.txt")
val rdd2 = rdd.map{row =>
  val str = row.replaceAll("[a-zA-Z]+","0")
  str.split(" ").map(_.toInt)
}    
val indexes = rdd2.first().length
val rdd3 = for {
  n <- 0 until indexes-1
  r = rdd2.map(arr => arr(n)+arr(n+1))
} yield r

我正在尝试按如下方式制作相邻列总和的 RDD：

3,13,21,43,49,59
5,7,23,45,51,30
7,8,12,53,0
9,17,55,0

感谢任何帮助。

提前致谢。

PS：使用 Dataframe 完成。尝试使用 RDD 解决它。