背景:大三上学期,云计算与大数据课程,实验作业
环境:VMware + centos7 (*3)
任务:本地模式—伪分布式—完全分布式
特色:有案例~
机器配置:
欢迎评论~
教程目录
一、基础环境
- 虚拟机:centos7
- 配置IP
- 关闭防火墙、创建用户、修改主机名、修改用户权限
Ⅰ. 关闭防火墙
Ⅱ. 创建用户(本教程使用hadoop用户操作)
Ⅲ. 修改主机名
Ⅳ. 修改hadoop用户权限 - 安装JDK1.8
- 部分删除命令及注意事项
Ⅰ. 删除命令
Ⅱ. 注意事项 - 任务介绍:搭建Hadoop2.7.3
二、本地(独立)模式
- 安装hadoop
- 配置环境变量
- 测试及两个案例
Ⅰ. 测试:查看版本
Ⅱ. 案例1: grep
Ⅲ. 案例2: 统计单词个数
三、伪分布式
- 伪分布式hdfs
Ⅰ.修改core-site.xml
Ⅱ.修改hdfs-site.xml - 启动伪分布式hdfs
Ⅰ. 格式化namenode
Ⅱ. 启动namenode和Datanode - 伪分布式-yarn
- 启动伪分布式yarn
- 伪分布式案例:wordcount
Ⅰ. 对比本地模式与伪分布式
Ⅱ. Wordcount案例
四、完全分布式
- 准备三台机器
- 三台机器配置表
- 配置SSH免密码登录
Ⅰ.生成公钥私钥对(三台机器)
Ⅱ.将公钥加入到授权列表 - 完全分布式搭建
Ⅰ. Hdfs
Ⅱ. yarn
Ⅲ. 同步修改文件
Ⅴ. 格式化
Ⅶ. 分别启动
Ⅵ.同时启动 - Wordcount案例
原文地址:https://www.jb51.cc/wenti/3280357.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。