教程目录
0x00 教程内容- 环境及资源准备
- 生成容器
- 检验Hadoop
1. 安装Docker
请参考:D001.5 Docker入门(超级详细基础篇)的“0x01 Docker的安装”小节
2. 准备资源
根据文末总结的文件目录结构,拷贝文章的资源,资源请参考:D001.6 Docker搭建Hadoop集群
0x02 生成容器1. 生成样本镜像
a. 切换成root用户(密码:shaonaiyi)su root
mkdir docker_bigdata
cd docker_bigdata/hadoop
docker build -t shaonaiyi/hadoop .
此过程时间根据自己网络情况与自己装docker时的配置有关(10分钟左右)
2. 创建bigdata网络
a. 修改脚本权限chmod 700 build_network.sh
b. 创建网络./build_network.sh
修改及创建后如图:
3. 启动容器
a. 修改脚本权限cd config
chmod 700 start_containers.sh
b. 启动容器(映射的端口多的为master)./start_containers.sh
1. 启动Hadoop
a. 查看启动的容器docker ps
b. 进入容器hadoop-maste(注意修改成自己的容器ID)docker attach c49b5823737a
c. 修改脚本执行权限ll
chmod 700 start-hadoop.sh
d. 启动Hadoop集群./start-hadoop.sh
执行成功截图为:
2. Web UI界面查看
a. 切换终端,查看端口映射(可看到51070端口映射到docker的50070端口)docker port hadoop-maste
b. 在我们的windows系统执行(ip:51070)
2. 停止并删除容器指令
a. 修改脚本权限cd /home/shaonaiyi/docker_bigdata/hadoop/config/
chmod 700 stop_containers.sh
b. 删除容器./stop_containers.sh
c. 查看执行的容器(没有则表示删除成功)docker ps
- 如需要获取资源,除了参考上一篇博文,还可以加微信:shaonaiyi888获取
- 本文为搭建Hadoop集群的实践篇,注意分清Windows、Centos、Docker的层次关系
- 下一篇文章将会进行Spark集群的搭建,D001.8 Docker搭建Spark集群(实践篇)
作者简介:邵奈一
大学大数据讲师、大学市场洞察者、专栏编辑
公众号、微博、CSDN:邵奈一
本系列课均为本人:邵奈一 原创,如转载请标明出处
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。