、
Hadoop 伪分布式搭建
一.工具准备
搭建伪分布式的hadoop的工具资料
提取码:A2wq
tip:本资料仅供学习使用,不支持商业用途,还请支持正版
二.工具安装
2.1安装VMware(版本差不多得了,能用基本可以,建议不要安装在c盘)
2.2安装MobaXterm(这是一个远程终端工具,方便控制虚拟机)
三.搭建
安装CentOS-7-x86_64-Minimal-1908
点击新建虚拟机,自定义,安装映像文件,
处理机数量,内核数量自己看电脑情况
选择中文(不放图了)。点击网络和主机名,打开以太网,这一步可以看到虚拟机的ip地址,如果没有选择打开的话,后面也可以运用命令打开,但比较麻烦呀。如果真忘了打开,查不到自己的ip地址,可以网上搜一下打开ip地址,我看了一下有很多方法所以不演示(主要是我都点了打开以太网)。
安装,设置密码(要记住这是root账户的密码,如果太简单会提示你,点击两下就能保存了),然后就是等待,有段时间,不要着急。好了点击重启
出现这个页面表示你的linux安装好了
打开之前安装好的MobaXterm连接安装的虚拟机
点击ssh,输入ip的地址,可以把session name改成想要的名字(只是在MobaXterm中显示连接的名字)
出现这个图表示连接成功,接下来你就可以在这里使用命令,不用跑到虚拟机里
,
下面步骤看pdf
下面步骤看pdf
下面步骤看pdf
重要的事说三遍
(一些配置环节,只要按步骤都能成功,这里的pdf演示的hadoop名字就叫hadoop,所以为什么我前面建议新手使用hadoop作为名字,如果改成其他名字相应的配置中的hadoop也要改)
我选择几个我操作时觉得可能出现问题的地方
1.因为要配置文件,本人有幸一个晚上怎么也配置不成功,后来一看,原来是昨天有两个文件配置错了。不要小看简单的复制粘贴。。我的配置文件中多了个a估计是linux切换到文本模式多按了一下。我建议如果多次篇日志不成功可以重来了。当然不是全来,而是利用虚拟机的快照,恢复一下,会快很多。
2.hadoop的格式化,不要多次!!!!否则会出现datanode启动不了,大概是多次格式化将地址变化(我不知道呀,瞎说的)。我上网查了一下有大概两三种解决方法。因为是其他人的成果,我就不解释了,给出地址自己看一下,还有谢谢这位大哥,点赞了!
Hadoop启动的时候,发现Datanode启动不了,解决办法
3.我给的pdf中的启动命令我没试过不知道可不可以,启动时我用的是 /opt/hadoop-2.9.2/sbin/start-all.sh命令。如果使用完了之后记得关闭hadoop,命令: /opt/hadoop-2.9.2/sbin/stop-all.sh,养成良好习惯。
可能还有其他的一时想不出来,欢迎大家告诉我你在搭建时遇到的问题,多交流学习
放两张hadoop启动成功的图
结尾:
这些资料都是企业老师给我的,一看也知道是软通教育的老师。在这里谢谢老师,希望看到的小伙伴们能有所收获,搭建起来hadoop,是大数据的基本。
这些内容大概是我们学习两个星期的内容(学校垃圾,轻点喷),大佬们可以自动省略谢谢。
还有一件事就是为啥这么久没写csdn,主要是没东西写,我感觉我能写的太简单了,太难的又不会,再加上懒狗一条。但是到了假期了有点时间我会加快的速度。也是对自己的一个小期待吧。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。