D001.7 Docker搭建Hadoop集群实践篇

教程目录

• 0x00 教程内容
• 0x01 环境及资源准备
• • • • • 1. 安装Docker
        • 2. 准备资源
• 0x02 生成容器
• • • • • 1. 生成样本镜像
        • 2. 创建bigdata网络
        • 3. 启动容器
• 0x03 检验Hadoop
• • • • • 1. 启动Hadoop
        • 2. Web UI界面查看
        • 2. 停止并删除容器指令
• 0xFF 总结

0x00 教程内容

1. 环境及资源准备
2. 生成容器
3. 检验Hadoop

0x01 环境及资源准备

1. 安装Docker

请参考：D001.5 Docker入门（超级详细基础篇）的“0x01 Docker的安装”小节

2. 准备资源

根据文末总结的文件目录结构，拷贝文章的资源，资源请参考：D001.6 Docker搭建Hadoop集群

0x02 生成容器

1. 生成样本镜像

a. 切换成root用户（密码：shaonaiyi）
su root

b. 拷贝资源文件hadoop进到docker_bigdata目录（此处使用Xftp软件）
mkdir docker_bigdata

c. 生成样本镜像：shaonaiyi/hadoop
cd docker_bigdata/hadoop
docker build -t shaonaiyi/hadoop .
此过程时间根据自己网络情况与自己装docker时的配置有关（10分钟左右）

出现下图表示成功：

2. 创建bigdata网络

a. 修改脚本权限
chmod 700 build_network.sh
b. 创建网络
./build_network.sh
修改及创建后如图：

3. 启动容器

a. 修改脚本权限
cd config
chmod 700 start_containers.sh
b. 启动容器（映射的端口多的为master）
./start_containers.sh

0x03 检验Hadoop

1. 启动Hadoop

a. 查看启动的容器
docker ps
b. 进入容器hadoop-maste（注意修改成自己的容器ID）
docker attach c49b5823737a
c. 修改脚本执行权限
ll
chmod 700 start-hadoop.sh
d. 启动Hadoop集群
./start-hadoop.sh
执行成功截图为：

2. Web UI界面查看

a. 切换终端，查看端口映射（可看到51070端口映射到docker的50070端口）
docker port hadoop-maste

b. 在我们的windows系统执行（ip:51070）

2. 停止并删除容器指令

a. 修改脚本权限
cd /home/shaonaiyi/docker_bigdata/hadoop/config/
chmod 700 stop_containers.sh
b. 删除容器
./stop_containers.sh
c. 查看执行的容器（没有则表示删除成功）
docker ps

0xFF 总结

1. 如需要获取资源，除了参考上一篇博文，还可以加微信：shaonaiyi888获取
2. 本文为搭建Hadoop集群的实践篇，注意分清Windows、Centos、Docker的层次关系
3. 下一篇文章将会进行Spark集群的搭建，D001.8 Docker搭建Spark集群（实践篇）

作者简介：邵奈一

大学大数据讲师、大学市场洞察者、专栏编辑

公众号、微博、CSDN：邵奈一

本系列课均为本人：邵奈一 原创，如转载请标明出处