微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Hadoop 伪分布式搭建

Hadoop 伪分布式搭建

一.工具准备
搭建伪分布式的hadoop的工具资料
提取码:A2wq
tip:本资料仅供学习使用,不支持商业用途,还请支持正版
 
 

二.工具安装
2.1安装VMware(版本差不多得了,能用基本可以,建议不要安装在c盘)
2.2安装MobaXterm(这是一个远程终端工具,方便控制虚拟机)

 
 
三.搭建
安装CentOS-7-x86_64-Minimal-1908
点击新建虚拟机,自定义,安装映像文件

在这里插入图片描述

命名hadoop(可以换成其他的,但指导书上的指令要改,建议新手先不改)
处理机数量,内核数量自己看电脑情况

在这里插入图片描述

选择网络地址转换(这里我忘了为啥要选择这个。。。上课不好好听),后面一直点击下一步,直到完成。

在这里插入图片描述

在这里插入图片描述

等待安装

在这里插入图片描述


选择中文(不放图了)。点击网络和主机名,打开以太网,这一步可以看到虚拟机的ip地址,如果没有选择打开的话,后面也可以运用命令打开,但比较麻烦呀。如果真忘了打开,查不到自己的ip地址,可以网上搜一下打开ip地址,我看了一下有很多方法所以不演示(主要是我都点了打开以太网)。

在这里插入图片描述


安装,设置密码(要记住这是root账户的密码,如果太简单会提示你,点击两下就能保存了),然后就是等待,有段时间,不要着急。好了点击重启

在这里插入图片描述


出现这个页面表示你的linux安装好了

在这里插入图片描述


打开之前安装好的MobaXterm连接安装的虚拟机
点击ssh,输入ip的地址,可以把session name改成想要的名字(只是在MobaXterm中显示连接的名字)

在这里插入图片描述


出现这个图表示连接成功,接下来你就可以在这里使用命令,不用跑到虚拟机里

在这里插入图片描述


下面步骤看pdf
下面步骤看pdf
下面步骤看pdf
重要的事说三遍
(一些配置环节,只要按步骤都能成功,这里的pdf演示的hadoop名字就叫hadoop,所以为什么我前面建议新手使用hadoop作为名字,如果改成其他名字相应的配置中的hadoop也要改
 
我选择几个我操作时觉得可能出现问题的地方
1.因为要配置文件,本人有幸一个晚上怎么也配置不成功,后来一看,原来是昨天有两个文件配置错了。不要小看简单的复制粘贴。。我的配置文件中多了个a估计是linux切换到文本模式多按了一下。我建议如果多次篇日志不成功可以重来了。当然不是全来,而是利用虚拟机的快照,恢复一下,会快很多。
 
2.hadoop的格式化,不要多次!!!!否则会出现datanode启动不了,大概是多次格式化将地址变化(我不知道呀,瞎说的)。我上网查了一下有大概两三种解决方法。因为是其他人的成果,我就不解释了,给出地址自己看一下,还有谢谢这位大哥,点赞了!
Hadoop启动的时候,发现Datanode启动不了,解决办法
 
3.我给的pdf中的启动命令我没试过不知道可不可以,启动时我用的是 /opt/hadoop-2.9.2/sbin/start-all.sh命令。如果使用完了之后记得关闭hadoop,命令: /opt/hadoop-2.9.2/sbin/stop-all.sh,养成良好习惯。
 
 
可能还有其他的一时想不出来,欢迎大家告诉我你在搭建时遇到的问题,多交流学习

 
放两张hadoop启动成功的图

在这里插入图片描述

在这里插入图片描述

结尾:

这些资料都是企业老师给我的,一看也知道是软通教育的老师。在这里谢谢老师,希望看到的小伙伴们能有所收获,搭建起来hadoop,是大数据的基本。
 
这些内容大概是我们学习两个星期的内容(学校垃圾,轻点喷),大佬们可以自动省略谢谢。
 
还有一件事就是为啥这么久没写csdn,主要是没东西写,我感觉我能写的太简单了,太难的又不会,再加上懒狗一条。但是到了假期了有点时间我会加快的速度。也是对自己的一个小期待吧。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐