项目目录如下：
代码：
import org.apache.spark.{SparkConf, SparkContext}
object WordCount{
def main(args:Array[String]) : Unit ={
val conf=new SparkConf().setAppName("word count").setMaster("local");
val sc=new SparkContext(conf);
val rdd=sc.textFile("C:\\Users\\Administrator\\Desktop\\words.txt");
val count=rdd.flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey((x,y)=>x+y).sortBy(x=>x._2,false,1);
count.foreach(x=>println(x._1+"\t"+x._2));
}
}
输出：
生成jar包的代码：
package demo
import org.apache.spark.{SparkConf, SparkContext}
object WordCount{
def main(args:Array[String]) : Unit ={
val conf=new SparkConf().setAppName("word count");
val sc=new SparkContext(conf);
val input=args(0);
val output=args(1);
val rdd=sc.textFile(input);
val count=rdd.flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey((x,y)=>x+y).sortBy(x=>x._2,false,1);
count.saveAsTextFile(output);
}
}
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
