微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

2022.1.1 大数据学习02 Spark入门项目 快速上手

学习目标:

理解Spark框架的使用

创建Maven项目:

在这里插入图片描述

在这里插入图片描述

为了方便,将创建的新项目当成父项目,删除src

创建子项目

在这里插入图片描述

提示:这里可以添加要学的内容
例如:
1、 增加Scala插件
当jdk版本为1.8时,选用scala2.11.8
下载地址
https://www.scala-lang.org/download/2.11.8.html
在这里插入图片描述在这里插入图片描述
2.WordCount 快速上手

在这里插入图片描述

2、 Scala的使用
添加依赖

<dependencies>
	 <dependency>
		 <groupId>org.apache.spark</groupId>
		 <artifactId>spark-core_2.12</artifactId>
		 <version>3.0.0</version>
	 </dependency>
</dependencies>
<build>
	 <plugins>
	 <!-- 该插件用于将 Scala 代码编译成 class 文件 -->
		 <plugin>
		 <groupId>net.alchim31.maven</groupId>
		 <artifactId>scala-maven-plugin</artifactId>
		 <version>3.2.2</version>
		 <executions>
			 <execution>
				 <!-- 声明绑定到 maven 的 compile 阶段 -->
				 <goals>
				 	<goal>testCompile</goal>
				 </goals>
			 </execution>
		 </executions>
		 </plugin>
		 <plugin>
			 <groupId>org.apache.maven.plugins</groupId>
			 <artifactId>maven-assembly-plugin</artifactId>
			 <version>3.1.0</version>
			 <configuration>
				 <descriptorRefs>
				 	<descriptorRef>jar-with-dependencies</descriptorRef>
				 </descriptorRefs>
			 </configuration>
			 <executions>
				 <execution>
					 <id>make-assembly</id>
					 <phase>package</phase>
					 <goals>
					 	<goal>single</goal>
					 </goals>
				 </execution>
			 </executions>
		 </plugin>
	 </plugins>
</build>

3、 掌握条件语句
4、 掌握循环语句


学习时间:

提示:这里可以添加计划学习的时间
例如:
1、 周一至周五晚上 7 点—晚上9点
2、 周六上午 9 点-上午 11 点
3、 周日下午 3 点-下午 6 点


学习产出:

提示:这里统计学习计划的总量
例如:
1、 技术笔记 2 遍
2、CSDN 技术博客 3 篇
3、 学习的 vlog 视频 1 个

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐