在Hadoop的环境下调用MapReduce对单词WordCount计数

在VMware Workstation下安装ubuntu且安装Hadoop的环境下调用MapReduce对单词WordCount计数

一、VMware安装ubuntu
二、在VMware 中安装基本配置
三、安装Java环境
四、安装Hadoop
五、调用MapReduce执行WordCount对单词进行计数
六、总结
七、参考材料
一、VMware安装ubuntu
1.打开vmware，选择创建新的虚拟机。

在这里插入图片描述

2.在新建虚拟机向导选择自定义，点击下一步。

在这里插入图片描述

3.在虚拟机硬件兼容性界面可选兼容性（移动和复制虚拟机到另外主机时使用），不考虑移动选下一步。

在这里插入图片描述

4.在安装客户机操作系统选稍后安装操作系统，下一步。

在这里插入图片描述

5.在选择客户机操作系统界面选择Linux，选择自己版本，选下一步。

在这里插入图片描述

6.在命名虚拟机界面随意命名，可选择自己要保存的位置，点下一步。

在这里插入图片描述

7.虚拟机配置默认即可，选下一步

在这里插入图片描述

8.在虚拟机内存界面按自己配置选择内存大小（看自己主机配置，3gb一般流畅），点下一步。

在这里插入图片描述

9.在网络类型界面，默认即可，可选不使用网络连接（安装ubuntu时不使用网络快点，可在后面虚拟机配置中添加网络适配器来添加网络连接），选下一步。

在这里插入图片描述

10.在选择I/O控制器类型界面，默认即可选下一步。

在这里插入图片描述

11.在选择磁盘类型界面，默认即可，点下一步。

在这里插入图片描述

12.在选择磁盘界面，默认即可，点下一步。

在这里插入图片描述

13.在指定磁盘容量界面，默认即可，点下一步。

在这里插入图片描述

14.在指定磁盘文件界面，默认即可，点下一步。

在这里插入图片描述

15.完成创建，点下一步。

在这里插入图片描述

16.点开刚创建的虚拟机页面，选cd。

在这里插入图片描述

17.在虚拟机设置页面，选择使用iso映像文件，选择自己ubuntu的安装镜像，点确认。（之前选择无网络连接的，安装完后在这里可添加网络适配器）

在这里插入图片描述

18.开启虚拟机

在这里插入图片描述

19.在安装虚拟机界面，选择安装。（之前未选择无网络连接的可在此处右下角断开网络连接）

在这里插入图片描述

20.点继续

在这里插入图片描述

21.点现在安装，接下来的界面继续即可

在这里插入图片描述

22.填选自己的信息，下一步即可开始安装

在这里插入图片描述

23.重启后会有这个界面，先关机

在这里插入图片描述

24.在cd/dvd设置界面，选择使用物理驱动器，开机即可进入系统.

在这里插入图片描述

25.安装完成

在这里插入图片描述

二、在VMware 中安装基本配置
推荐先安装好VMware tools，安装好后可以拖拽文件进虚拟机，同时可以复制粘贴网页代码进虚拟机。
链接为：https://blog.csdn.net/qq_40584960/article/details/82946371
1、首先在终端中创建一个hadoop账户（若不想创建可跳过hadoop账户创建）

sudo useradd -m hadoop -s /bin/bash

2、设置hadoop账户的密码

sudo passwd hadoop

3、为 hadoop 用户增加管理员权限，为防止后续操作出现权限不够的情况

sudo adduser hadoop sudo

最后注销当前账户登入hadoop账户
4、登录hadoop账户后，我们对apt进行更新，在终端下输入以下命令

sudo apt-get update

若出现更新不了的情况，请前往系统设置——软件和更新——下载自源选择https://mirrors.aliyun.com/ubuntu，将更新源更改完成后重新尝试输入上述命令选择软件和更新
选择阿里云的镜像源
5、装一个vim的编辑器，后期编辑文档比vi好用，辨别文字识别度更高，vi编辑器界面只有黑白，vim对于不同类型的文字有不同的颜色

sudo apt-get install vim

在安装过程中，遇到确认在提示出填写y即可。
在这里插入图片描述
6、集群、单节点模式都需要用到 SSH 登陆，Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server

sudo apt-get install openssh-server

安装完后，尝试进行登录

ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。
在这里插入图片描述
但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示
在这里插入图片描述

三、安装Java环境
1、安装JAVA环境采用手动安装，选择的JAVA安装包版本是JDK1.8的安装包jdk-8u162-linux-x64.tar.gz。
接下来我们对JAVA安装包进行安装，打开终端，输入如下命令（安装包已从Windows移动到Ubuntu中）。

cd /usr/lib
sudo mkdir jvm  #创建/usr/lib/jvm目录用来存放JDK文件
cd ~            #进入hadoop用户的主目录
cd 下载         #通过vb的共享文件夹方式把JDK安装包jdk-8u162-linux-x64.tar.gz从Windows上传到到Ubuntu的该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

2、想确认安装包是否已到指定路径，可使用下列命令进行查看

cd /usr/lib/jvm  #切换到/usr/local/jvm这个路径
ls  #查看当前文件夹有什么文件

3、设置JAVA环境变量

cd ~
vim ~/.bashrc

通过上面的vim编辑器，打开环境变量配置文件.bashrc，在文件开头添加如下几行内容（进入vim编辑器中，按键盘“ i ”进入编辑模式）

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLAsspATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

在这里插入图片描述

编辑完后，按Esc退出编辑模式，按Shift+冒号，进入文本命令行模式，输入wq，保存并退出回到终端
4、执行如下命令让.bashrc文件的配置立即生效，并用命令查看是否安装成功

source ~/.bashrc   #让.bashrc文件的配置立即生效
java -version   #查看是否安装成功

四、安装Hadoop
1、安装Hadoop，我选择的是Hadoop 2.10.0版本的安装包hadoop-2.10.0.tar.gz。

sudo tar -zxf ~/下载/hadoop-2.10.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.10.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

2、查看Hadoop解压完后是否可用，可使用如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息

cd /usr/local/hadoop
./bin/hadoop version

3、下面对Hadoop进行伪分布式的配置（Hadoop默认安装好单机配置）
（1）Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，我们需要对core-site.xml 和 hdfs-site.xml这两个配置文件进行修改，使用vim编辑器对配置文件进行修改，每个配置以声明 property 的 name 和 value 的方式来实现。

cd /usr/local/hadoop/etc/hadoop  #进入到hadoop文件夹中，core-site.xml 和 hdfs-site.xml这两个配置文件都在这个文件夹里面

（2）对core-site.xml进行修改

vim core-site.xml

在配置文件中找到下面这个标签对

<configuration>
</configuration>

在这个标签对中插入下列内容

<property>
       <name>hadoop.tmp.dir</name>
       <value>file:/usr/local/hadoop/tmp</value> 
       <description>Abase for other temporary directories.</description>
   </property>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>

（4）对hdfs-site.xml进行修改

vim hdfs-site.xml

在配置文件中找到下面这个标签对

<configuration>
</configuration>

在这个标签对中插入下列内容

 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>

4、配置完成后，执行 NameNode 的格式化:

cd /usr/local/hadoop
./bin/hdfs namenode -format

5、开启 NameNode 和 Datanode 守护进程

cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh是个完整的可执行文件，中间没有空格

若出现如下SSH提示，输入yes即可
6、当程序执行完后，可输入jps查看Hadoop是否启动成功，若出现下图则成功开启

在这里插入图片描述

7、成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

在这里插入图片描述

五、调用MapReduce执行WordCount对单词进行计数
1、准备一个待分析的文件，里面全都是英文单词。

2、将这个文件上传到HDFS中，我们通过命令的方式进行上传（Hadoop已开启成功）

cd /usr/local/hadoop
./bin/hdfs dfs -put /home/hadoop/桌面/word input

3、单词文件上传至HDFS成功后，我们需要安装 Hadoop-Eclipse-Plugin，因为我们要在Eclipse上编译和运行MapReduce程序（Eclipse已安装成功），
接下来我们对Hadoop-Eclipse-Plugin安装包进行安装，打开终端，输入如下命令（安装包已从Windows移动到Ubuntu中）

unzip -qo ~/下载/hadoop2x-eclipse-plugin-master.zip -d ~/下载 # 解压到~/下载
sudo cp ~/下载/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/  # 复制到eclipse安装目录的plugins目录下
/usr/lib/eclipse/eclipse -clean  # 添加插件后需要用这种方式使插件生效

当执行完最后一条命令时，系统会自动打开Eclipse软件
5、软件打开后，我们能够看到左边的Project Explorer里出现DFS Locations

在这里插入图片描述

6、插件需要进一步的配置，我们在上方找到Window——Preference
在这里插入图片描述
找到Hadoop Map/Reduce，在那里填入hadoop的安装地址/usr/local/hadoop

在这里插入图片描述

7、切换 Map/Reduce 开发视图，选择 Window 菜单下选择 Open Perspective——Other，在里面找到Map/Reduce

在这里插入图片描述

8、建立与 Hadoop 集群的连接，点击 Eclipse软件右下角的 Map/Reduce Locations 面板，在面板中单击右键，选择 New Hadoop Location
在这里插入图片描述
9、弹出来的 General 选项面板中，General 的设置要与 Hadoop 的配置一致，Host填localhost，DFS Master 的 Port 要改为 9000，Location name填MapReduceLocation

在这里插入图片描述

10、配置好后，点击左侧 Project Explorer 中的 MapReduce Location （点击三角形展开）就能直接查看 HDFS 中的文件列表了

在这里插入图片描述

11、在 Eclipse 中创建 MapReduce 项目
（1）点击 File 菜单，选择 New——Project
（2）选择 Map/Reduce Project，点击 Next

在这里插入图片描述

（3）填写 Project name 为 WordCount ，next

在这里插入图片描述

（4）选择library，点击jre，选edit

在这里插入图片描述

（5）选第一个，调为J2SE-1.5,finish，finish。

在这里插入图片描述

（5）右键点击刚创建的 WordCount 项目，选择 New——Class
（6）弹出的class窗口需要填写两个地方：在 Package 处填写 org.apache.hadoop.examples；在 Name 处填写 WordCount

在这里插入图片描述

（7）创建 Class 完成后，在 Project 的 src 中就能看到 WordCount.java 这个文件。将如下 WordCount 的代码复制到该文件中。

package org.apache.hadoop.examples;
 
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericoptionsParser;
 
public class WordCount {
    public WordCount() {
    }
 
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        //String[] otherArgs = (new GenericoptionsParser(conf, args)).getRemainingArgs();
        String[] otherArgs=new String[]{"input","output"};
        if(otherArgs.length < 2) {
            System.err.println("Usage: wordcount <in> [<in>...] <out>");
            System.exit(2);
        }
 
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(WordCount.TokenizerMapper.class);
        job.setCombinerClass(WordCount.IntSumReducer.class);
        job.setReducerClass(WordCount.IntSumReducer.class);
        job.setoutputKeyClass(Text.class);
        job.setoutputValueClass(IntWritable.class);
 
        for(int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
 
        FileOutputFormat.setoutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true)?0:1);
    }
 
    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();
 
        public IntSumReducer() {
        }
 
        public void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            int sum = 0;
 
            IntWritable val;
            for(Iterator<IntWritable> i$ = values.iterator(); i$.hasNext(); sum += val.get()) {
                val = i$.next();
            }
 
            this.result.set(sum);
            context.write(key, this.result);
        }
    }
 
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private static final IntWritable one = new IntWritable(1);
        private Text word = new Text();
 
        public TokenizerMapper() {
        }
 
        public void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
 
            while(itr.hasMoretokens()) {
                this.word.set(itr.nextToken());
                context.write(this.word, one);
            }
 
        }
    }
}

（8）在运行 MapReduce 程序前，需要将 /usr/local/hadoop/etc/hadoop 中将有修改过的配置文件（如伪分布式需要 core-site.xml 和 hdfs-site.xml），以及 log4j.properties 复制到 WordCount 项目下的 src 文件夹（~/workspace/WordCount/src）中，在终端中输入下列几行内容

cp /usr/local/hadoop/etc/hadoop/core-site.xml ~/workspace/WordCount/src
cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml ~/workspace/WordCount/src
cp /usr/local/hadoop/etc/hadoop/log4j.properties ~/workspace/WordCount/src

复制完成后，务必右键点击 WordCount 选择 refresh 进行刷新，可看到src中多出了几个文件

在这里插入图片描述

（9）在代码文件中，右键选择Run As——Run on Hadoop就可以运行 MapReduce 程序了（运行文件前，务必把Hadoop启动）

在这里插入图片描述

（10）当程序执行完后，出现如图所示的样式时，代码运行成功，没有出现报错信息，那么单词计数已经成功在这里

在这里插入图片描述

注意：
若出现下面这条错误，则请在DFS Locations——Map ReduceLocation——user——hadoop中把output这个文件夹删掉，将output文件夹删掉后再次执行代码。

在这里插入图片描述

（11）查看结果有两种方式
①在DFS Locations——Map ReduceLocation——user——hadoop——output中打开part-r-00000这个文件就能查看到结果

在这里插入图片描述

②在终端中输入下列命令可查看结果

cd /usr/local/haddop
./bin/hdfs dfs -cat output/part-r-00000

(12)将WordCount的输出结果part-r-00000下载到本地

./bin/hdfs dfs -get output/part-r-00000  /home/hadoop/下载  #把HDFS中的output/part-r-00000文件下载到本地文件系统中的“/home/hadoop/下载/”这个目录下

(13)可以使用如下命令，到本地文件系统查看下载下来的文件part-r-00000

cd ~
cd 下载
ls
cat part-r-00000

六、总结
通过本次实验的实际操作，将WordCount这么一个案例，进行一个刨析以及实际应用，能够清楚了解到MapReduce的处理过程，首先通过输入一个案例，进行Map输入，Map进行Key、Value操作，输出<Key,Value>的形式，然后进行洗牌，将Map的结果传给Reduce任务，Reduce整合后，输出Reduce结果。

七、参考材料
[1] http://dblab.xmu.edu.cn/blog/285/
[2] http://dblab.xmu.edu.cn/blog/290-2/
[3] http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

在Hadoop的环境下调用MapReduce对单词WordCount计数

相关推荐