CentOS7.3下安装Cloudera Manager5.11.1

分类：CentOS作者：佚名
  • 概述
  • 准备条件
  • 系统环境配置
  • 安装Java
  • 安装MySQL
  • 安装CM
  • CM配置
  • Q&A
  • 参考

概述

最近公司需要研究大数据方向的内容，经初步讨论，决定使用CDH版本
的Hadoop，使用Cloudera生态下的Cloudera Manager平台。CDH(Cloudera’s Distribution,
including Apache Hadoop),是Hadoop分支中的一种，由Cloudera
维护，基于稳定版本的Apache hadoop构建，并继承了许多补丁，可以直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关
的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大
简化。

准备条件

本文环境是在虚拟机上搭建的分布式环境。
- 硬件：
- 主节点 Intel Core i5-4200H,12G,80G 从节点Intel Core i5-5200u,40G*2
- 软件:
- 操作系统 ： CentOS7.3 GNOME DESTOP + development tools组包
- java : 这里使用的是jdk-8u131-linux-x64.rpm
- mysql : 这里使用的是mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar以及mysql-connector-java-5.1.42-bin.jar
- Cloudera Manager
- 下载地址 : https://archive.cloudera.com/cm5/cm/5/
- 这里下载的是 ： https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz
- CDH安装包
- 下载地址 ： http://archive.cloudera.com/cdh5/parcels
- 这里用的是 ：CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel和CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha1

注意对应的版本号，CentOS7对应的是el7

系统环境配置

  • 首先修改各台机器上的主机名,如本人设置为linuxvnode0,linuxvnode1,linuxvnode2。
# hostnamectl set-hostname linuxvnode0
  • 修改主机名与IP的对应关系，向所有服务器配置/etc/hosts文件，向其中添加行
# vim /etc/hosts
192.168.8.96 linuxvnode0
192.168.8.97 linuxvnode1
192.168.8.98 linuxvnode2
  • 配置SSH无秘钥登录服务,注意每台机器上都要配置
# ssh-keygen -t rsa
# ssh-copy-id linuxvnode0
# ssh-copy-id linuxvnode1
# ssh-copy-id linuxvnode2
  • 所有服务器均创建安装用户：cloudera
# groupadd cloudera
# useradd -g cloudera cloudera
# echo "*********" | passwd --stdin cloudera
  • 所有服务器为cloudera用户配置sudo权限
# chmod u+w /etc/sudoers
# echo "cloudera ALL=(root)NOPASSWD:ALL" >> /etc/sudoers
# chmod u-w /etc/sudoers
  • 所有服务器关闭防火墙和Selinux服务
关闭防火墙
# systemctl mask firewalld.service
关闭Selinux
# sed -i '/SELINUX=enforcing/d' /etc/selinux/config
# sed -i '/SELINUX=disabled/d' /etc/selinux/config
# echo "SELINUX=disabled" >> /etc/selinux/config
重启后生效。
  • 所有服务器设置文件打开数量及最大进程数
cp /etc/security/limits.conf /etc/security/limits.conf.bak
# echo "* soft nproc 32000" >>/etc/security/limits.conf
# echo "* hard nproc 32000" >>/etc/security/limits.conf
# echo "* soft nofile 65535" >>/etc/security/limits.conf
# echo "* hard nofile 65535" >>/etc/security/limits.conf
  • 配置集群时间同步服务：通过ntp服务配置
ntp主节点配置：
# cp /etc/ntp.conf /etc/ntp.conf.bak
# cp /etc/sysconfig/ntpd /etc/sysconfig/ntpd.bak
# echo "restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap" >> /etc/ntp.conf
# echo "SYNC_HWCLOCK=yes" >> /etc/sysconfig/ntpd
# service ntpd restart

ntp从节点配置
创建shell脚本内容如下：
# vim /opt/scripts/sync_time.sh
# /sbin/service ntpd stop
# /usr/sbin/ntpdate linuxvnode0
# /sbin/service ntpd start
赋权
# chmod 777 sync_time.sh
建立定时任务
# crontab -e
输入如下一行内容，保存退出：
0-59/10 * * * * /opt/scripts/sync_time.sh

安装Java

每台服务器需要安装相同版本的Java。这里采用的是rpm方式安装Java.

  • CentOS7自带了OpenJDK,但并不适用Cloudera Manager,所以首先检查安装的Java,卸载自带的OpenJDK。
[root@localhost ~]# rpm -qa | grep java
[root@localhost ~]# rpm -qa | grep java
tzdata-java-2014i-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.71 -2.5.3.1 .el7_0.x86_64
java-1.7.0-openjdk-1.7.0.71 -2.5.3.1 .el7_0.x86_64
java-1.8.0-openjdk-headless-1.7.0.71 -2.5.3.1 .el7_0.x86_64
java-1.8.0-openjdk-1.7.0.71 -2.5.3.1 .el7_0.x86_64
删除上面的java包
# rpm -e --nodeps $PACKGENAME
  • 安装Oracle JDK
# rpm -ivh jdk-8u131-linux-x64.rpm Java默认安装在/usr/java/目录下
  • 配置Java环境变量，在/etc/profile后添加：
# vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
  • 使环境变量生效
# source /etc/profile


建议手动指定一下java的使用版本，避免在安装Spark组件时报错
alternatives –config java

安装MySQL

这里使用的是mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar安装，解压缩后会有Mysql相应的rpm文件，
我们只需要依次安装一下几个rpm即可。
mysql-community-common-5.7.18-1.el7.x86_64.rpm
mysql-community-libs-5.7.18-1.el7.x86_64.rpm
mysql-community-client-5.7.18-1.el7.x86_64.rpm
mysql-community-server-5.7.18-1.el7.x86_64.rpm
1. 和安装Java一样，首先需要检查是否已经安装了MySQL。

# rpm -qa|grep mysql 如果有的话请先卸载

然后再依次安装上述的rpm文件，因为它们存在相互依赖。
2. 安装完毕后启用mysql服务。

# systemctl start mysqld
# systemctl status mysqld


3. 这种方式完成安装MySQL后，会自动随机生成一个原始密码。登录并修改密码，否则报密码过期错误。

# cat /var/log/mysqld.log | grep password
2017-05-13T05:39:44.497086Z 1 [Note] A temporary password is generated for root@linuxvnode0: sjsO:Pin<5c_
使用上述密码登录MySQL
# mysql -uroot -p
Enter password:
登录成功后：
mysql> SET PASSWORD = PASSWORD('**********');
Query OK,0 rows affected,1 warning (0.00 sec)


注意此处密码设置必须用强密码，否则安装CM时报密码过期错误。


4. 设置root授权访问以上所有的数据库,因为CM安装时会创建数据库，这里设置后安装CM时可以设置数据库的host为linuxvnode0

mysql>grant all privileges on *.* to 'root'@'linuxvnode0' identified by '****' with grant option;
mysql>flush privileges;


5. 由于本人需要安装hive做为数据仓库，同时使用了Mysql作为Hive的存储方式，所以这里单独为hive建立一个库。

#为hive建库hive
mysql>create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;


个人感觉此处必须得新建一个库与CM安装时建立的库分开，否则启动Hive时会报角色无法启动的错误。

安装Cloudera Manager


1. 来到了重头戏了，首先主节点上解压相应的文件cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz
到/opt/目录下。

# tar -zxvf cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz -C /opt/


2. 将mysql-connector-java-5.1.42-bin.jar放到/opt/cm-5.11.1/share/cmf/lib下并初始化数据库

# cp mysql-connector-java-5.1.42-bin.jar /opt/cm-5.11.1/share/cmf/lib
/opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh [-数据库类型] [-创建的数据库名] [-h主机名] [-u用户名] [-p密码]
# /opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql cm5111 -hlinuxvnode0 -uroot -p****** --scm-host linuxvnode0 scm scm scm


3. 配置agent：修改/opt/cm-5.11.1/etc/cloudera-scm-agent/config.ini文件修改server_host为主节点主机名。

4. 每台服务器上执行命令创建scm用户

# useradd --system --home=/opt/cm-5.11.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm


5. 将Agent同步到其他节点

# scp -r /opt/cm-5.11.1 linuxvnode1:/opt
# scp -r /opt/cm-5.11.1 linuxvnode2:/opt


6. 将parcels安装包放置到/opt/cloudera/parcel-repo目录下。
7. 执行相应的脚本，启动服务。

主节点启动 ：
# /opt/cm-5.11.1/etc/init.d/cloudera-scm-server start
所有节点启动 ：
# /opt/cm-5.11.1/etc/init.d/cloudera-scm-agent start


8. 启动成功后输入 linuxvnode0:7180即可进入Cloudera Manager运维平台界面,初始密码为 admin/admin.
(可能CM启动较久，需要一点时间才能进入) 进入后按照提示即可安装集群以及相应组件。

如若安装hive组件且使用Mysql类型的数据仓库，那么需要为hive增加MySQL connector
cp mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH/lib/hive/lib/mysql-connector-java-5.1.42-bin.jar

CM配置

由于机器集群已经安装好，下面借用了参考地址中的图片说明CM的配置。
1. 一开始是进入登录界面，输入admin/admin即可登录。

2. 选择部署的版本。

可以看到，现在的免费版本没有节点个数的限制了。
3. 继续下一步，选择安装的CM的版本。


4. 当各个Agent节点正常启动后，会展示每个节点的安装情况。耐心等待安装完即可。

5. 安装检查中可能提示以下问题

解决方法如下：

# sysctl -w vm.swappiness=10
# echo "vm.swappiness=10" >>/etc/sysctl.conf
# echo never > /sys/kernel/mm/transparent_hugepage/defrag
# echo never > /sys/kernel/mm/transparent_hugepage/enabled
然后在每个节点中加入启动脚本：
# vim /etc/rc.local

6. 选择你需要安装的服务即可。

建议第一步安装zookeeper服务，第二步按照hdfs服务，第三步安装yarn服务，以后可以安装需要定制的服务(hive,hbase,spark,flume等)

Q&A


  • Hive
    1. version information not found.
界面内hive->配置中
hive.metastore.schema.verification 设置为false 去掉勾选。

参考

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html
http://www.cnblogs.com/codedevelop/p/6762555.html
http://www.cnblogs.com/wcwen1990/p/6841118.html?utm_source=itdadao&utm_medium=referral

ps:第一次用Markdown写的，略酸爽。

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

使用军哥的lnmp配置虚拟主机,需要注意的是要配置hosts文件
#使用军哥的lnmp配置虚拟主机,需要注意的是要配置hosts文件(这一点官方没有讲到）具体方法：1、修改hosts文件sudo vim /etc/hosts2、在hosts文件中新增一行(这里类似于windows上配置hosts文件)127.0.0.1 www.baidu.com3、保存并重启网络
centos6.5编译安装php7，及配置与nginx通信。
一、配置编译环境 yum update &amp;&amp; yum upgrade yum groupinstall &quot;Development Tools&quot; yum install gcc gcc-c++ pcre* openssl* gd-devel* zlib-devel
Centos7更新阿里yum源
一、下载repo文件 二、备份并替换系统的repo文件 三、执行yum源更新操作
CentOS快速搭建LAMP环境
LAMP -- Linux Apache MySQL PHP 在CentOS安装的顺序，我一般是Apache&#160;-&gt;&#160;MySQL&#160;-&gt;&#160;PHP 第一步、安装并配置Apache 1、使用yum安装 [plain]&#160;view plaincopy
centos6.5编译安装nginx
一、下载nginx安装包，官网下载中心http://nginx.org/download [root@localhost software]# wget http://nginx.org/download/nginx-1.10.1.tar.gz 二、解压nginx安装包 [root@localhos
centos 6.5 安装composer
1.下载composer curl -sS https://getcomposer.org/installer | php ps:如果出现php无法运行的情况,请先把PHP加入环境变量,具体操作参考《centOS安装PHP》 2.移动或复制composer到环境下可执行 cp composer.ph
Centos7 安装vim8
一、卸载旧版本的vim 二、安装终端字符处理库ncurses 三、下载Vim8 四、编译安装 五、添加到系统环境变量 六、安装成功
如何更加优雅的使用 SSH 进行登录
引言 我们在日常的开发过程中，很多时候需要连接服务器查看日志或者在服务器上调试代码。但是，使用 ssh 命令登录服务器每次都需要输出密码，就比较繁琐。因此我们可以使用 sshpass 通过参数指定密码进行登录。解决了这个问题之后，我发现登录服务器之后，还需要手动 cd 切换到项目目录或者日志目录。为
iptables 介绍
iptables basics Introduction iptables 是一个配置 Linux 防火墙的工具，是 netfilter 项目的一部分。 在 Linux Kernel 3.13 及以上版本中， nftables 将作为后继者取代 iptables 以成为更强大易用的防火墙工具 Bas
Centos7.2 安装配置 Tengine(nginx)
一、下载tengine 二、安装tenginx(nginx)的模块依赖库 三、解压并指定安装路径 四、编译安装 五、启动(tengine)nginx 六、访问(tengine)nginx
快速部署Kubernetes集群管理
这篇文章介绍了如何快速部署一套Kubernetes集群,下面就快速开始吧！ 准备工作 机器部署规划 主机 | IP | 部署组件 | | master主节点 | 192.168.199.206 | etcd、kube apiserver、kube controller manager、kube sc
Centos7.2 下安装配置pip
一、pip下载 二、解压安装 三、安装完成
centos 安装webbench 用于web压力测试
1、WebBench安装： yum install ctags（先安装依赖库） mkdir /usr/local/man （创建一个目录不然会报错） wget http://home.tiscali.cz/~cz210552/distfiles/webbench-1.5.tar.gz tar zxv
CentOS6.5搭建LNMP
1：查看环境： [root@10-4-14-168 html]# cat /etc/redhat-release CentOS release 6.5 (Final) 2：关掉防火墙 [root@10-4-14-168 html]# chkconfig iptables off 3：配置CentOS
Centos安装php高版本
安装 1.检查当前是否有安装php rpm&#160;-qa|grep&#160;php 如果有安装PHP，那么请先删除这些安装包： yum&#160;remove&#160;php* 2.安装php源 Centos 5 安装php源： rpm&#160;-ivh&#160;http://mirro
Centos7 使用 supervisor 管理进程
一、安装 二、配置 三、修改配置文件 四、program 配置 五、启动
Sed 日常使用介绍
Sed 日常使用介绍 简介 是 环境下常用的流处理工具, 可以处理字符流, 文件或者二进制文件流。 各个 发行版都会配备 及其衍生的命令工具, 因此, 掌握该工具的基本用法, 足以满足我们日常的许多文本处理的任务。 以下采用示例的方式对 进行基本用法介绍. 如果有兴趣了解更高级的使用技巧， 本文采用
elasticsearch 开机自启
linux下开机自启： 在/etc/init.d目录下新建文件elasticsearch 并敲入shell脚本： 注意， 前两行必须填写，且要注释掉。 第一行为shell前行代码，目的告诉系统使用shell。 第二行分别代表运行级别、启动优先权、关闭优先权，且后面添加开机服务会用到。 shell脚本
centos7 开机自动执行脚本
1、因为在centos7中/etc/rc.d/rc.local的权限被降低了，所以需要赋予其可执行权 chmod +x /etc/rc.d/rc.local 2、赋予脚本可执行权限假设/usr/local/script/autostart.sh是你的脚本路径，给予执行权限 chmod +x /usr
centos 目录磁盘使用情况
最简单的查看方法可以使用ls -ll、ls-lh命令进行查看，当使用ls -ll，会显示成字节大小，而ls- lh会以KB、MB等为单位进行显示，这样比较直观一些。 通过命令du -h –max-depth=1 *，可以查看当前目录下各文件、文件夹的大小，这个比较实用。 查询当前目录总大小可以使用d
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot