在Windows 10 环境下安装 Hadoop-3.1.2

这里分五个步骤来记录Hadoop安装步骤，以及启动和运行Hadoop。

一是安装Java运行环境，二是安装Hadoop，三是修改Hadoop安装目录下的配置文件，四是启动Hadoop，五是运行一个Hadoop自带的mapreduce的实例。

Windows 10

JDK 1.8.0_73

Hadoop 3.1.2

 

【第一步】

Hadoop是一个分布式处理大数据的软件框架，是基于java编写的；在下载使用前，需要有Java的编译环境(JRE)或Java的开发工具(JDK)。

因为JDK已经包含了JRE，所以这里我装的是jdk1.8.0_73；安装之后配置环境变量。 ？？？？？？？？？？？？？？？

如果查看本机是否已经有Java运行环境了呢？在windows自带的Command Prompt （CMD）里输入：java -version

显示如下，则证明已经装好。
　　java version "1.8.0_73"
　　Java(TM) SE Runtime Environment (build 1.8.0_73-b02)
　　Java HotSpot(TM) 64-Bit Server VM (build 25.73-b02, mixed mode)

 

【第二步】

从Apache官网下载Hadoop，地址是 https://hadoop.apache.org/releases.html ，选择binary 版本，下载下来的文件名是 hadoop-3.1.2.tar.gz 。

（备注：binary表示已编译好的二进制包文件包，即解压缩后可直接使用；source表示源代码版本，需要通过计算机编译才能执行安装）

在本地解压安装包到自定义的地址，比如我的安装路径是 D:\MyFolder\Hadoop\hadoop-3.1.2 。

 ？？？？？？？？？？？？？？？

然后为Hadoop配置windows环境变量。点击 我的电脑 → 属性 → 高级系统设置 → 环境变量：

新添加一个变量名 HADOOP_HOME， 变量值 D:\MyFolder\Hadoop\hadoop-3.1.2 （这里使用你自己的安装路径）；

在已有变量名Path（如果没有就新添加一个变量名Path）下，加上两个变量值 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin。

在windows自带的Command Prompt （CMD）里输入： hadoop version

显示如下，则证明Hadoop环境变量已经配好。

　　Hadoop 3.1.2
　　Source code repository https://github.com/apache/hadoop.git -r 1019dde65bcf12e05ef48ac71e84550d589e5d9a
　　Compiled by sunilg on 2019-01-29T01:39Z
　　Compiled with protoc 2.5.0
　　From source with checksum 64b8bdd4ca6e77cce75a93eb09ab2a9
　　This command was run using /D:/MyFolder/Hadoop/hadoop-3.1.2/share/hadoop/common/hadoop-common-3.1.2.jar

 

【第三步】

这一步需要对Hadoop安装目录下的配置文件进行一些修改，这些修改决定了我们能否启动Hadoop。

 ？？？？？？？？？？？？？？？

 

【第四步】

？？？？？？？？？？？？？？？

检查Hadoop是否已经启动成功，只需cmd窗口输入：jps

如显示以下五个进程名称，则证明成功。

　　109824 Jps
　　29780 ResourceManager
　　107300 Datanode
　　107112 NameNode
　　40316 NodeManager

 

访问管理GUI？？？？

 

 

【第五步】

Hadoop是一个分布式文件系统，是用来处理文件/数据的。它自带了用mapreduce处理数据的jar包，如hadoop-mapreduce-examples-3.1.2.jar，所以我们就在此运行一个例子，观察Hadoop如何处理？？？？