微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

CDH5.10 ubuntu14.04部署文档--离线安装

分类：Ubuntu作者：编程之家

1. 说明


本次部署使用台机器，4台用于搭建CDH集群，1台为内部源。内部源机器是可以连接公网的，可以提前部署好内部源（内部源服务器是已经存在的ubuntu14.04服务器），4台CDH集群服务器是无法连接内外。本次部署涉及到的服务器的hosts配置如下：
192.168.0.230 cdh01
192.168.0.231 cdh02
192.168.0.232 cdh03
192.168.0.233 cdh04
192.168.0.237 inner-source

2. 搭建内部源


下载cloudera-manager相关包（5.10）：
地址：https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/pool/contrib/e/enterprise/
下载包列表：
cloudera-manager-server_5.10.0-1.cm5100.p0.85~trusty-cm5_all.deb
cloudera-manager-daemons_5.10.0-1.cm5100.p0.85~trusty-cm5_all.deb
cloudera-manager-agent_5.10.0-1.cm5100.p0.85~trusty-cm5_amd64.deb

CDH 安装包parcel下载：
地址：http://archive.cloudera.com/cdh5/parcels/5.10.0/
下载包列表：
DH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel
CDH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel.sha1
manifest.json

下载oracle-j2sdk1.7包地址：
https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/pool/contrib/o/oracle-j2sdk1.7/

下载MysqL数据库包地址：
地址：https://dev.MysqL.com/downloads/MysqL/
下载包列表（下载后解压获取所有deb）：
MysqL-server_5.7.17-1ubuntu12.04_amd64.deb-bundle.tar

其他依赖包（使用内部源机器部署好内部源后， apt-get install安装cloudera-manager-daemons、cloudera-manager-server、cloudera-manager-agent完后获取/var/cache/apt/archives目录下的所有包，内部源实现的时候开始可以不用下载依赖包，安装cloudera相关包后更新下内部源，使其他不可以访问外网的机器可以在内部源上获取到依赖包）：
lsb-base psmisc bash libsasl2-modules zlib1g libsqlite3-0 libfuse2 fuse rpcbind libxslt1.1 libsasl2-modules-gssapi-mit libMysqL-java python-urllib3 等等

创建内部源（在内部源机器192.168.0.237上执行）：
安装dpkg-dev：
$sudo apt-get install dpkg-dev -y

生成Packages.gz：
$sudo -i
$sudo mkdir /data/soft/pool
拷贝所有下载完deb包到 /data/soft/pool下面，然后执行如下命令
#cd /data
#dpkg-scanpackages soft/pool | gzip > soft/Packages.gz
更新了依赖包后需重新执行，生产新的Packages.gz

安装配置apache2：
$sudo apt-get install apache2
$sudo mkdir /data/soft/cloudera
拷贝所有的CDH parcel包和manifest.json到/data/soft/cloudera目录下
$cd /var/www/html
$ln -s /data
这时候使用浏览器访问http://inner-source/data/应该可以看到我们下载的包了，inner-source为内部源服务器的hostname，或者在hosts文件中配置的映射。

3. 安装CDH所有服务器环境


所有服务器安装ubuntu14.04.10版本系统，使ultraiso制作ubuntu14.04.10 U盘启动，不要使用ubuntu14.04.5这个镜像，安装过程会无法加载CD。所有服务器使用相同的root密码和相同的安装时配置的用户名密码。这里的所有操作均针对CDH所有服务器。

统一所有CDH服务器时区和时间：
$date -R #查看时间和时区，所有时区为东八区，+0800
$sudo date -s 10:17:20　　　　＃修改为准确时间

配置所有服务器hosts如下：
192.168.0.230 cdh01
192.168.0.231 cdh02
192.168.0.232 cdh03
192.168.0.233 cdh04
192.168.0.237 inner-source、

配置所有CDH服务器apt源：
由于所有服务器均服务连接公网，部署CDH的过程中先注释掉官方源，添加内部源，安装完成后可以取消官方源的注释，否则更新源时导致长时间请求超时。执行如下命令
$sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
$sudo vim /etc/apt/sources.list.d/innersources.lis
在文件中添加如下行
deb http://inner-source/data soft/
$sudo apt-get update
$sudo vim /etc/apt/apt.conf
在新建文件中添加如下行，注意最后有分号：
APT::Get::AllowUnauthenticated 1 ;

配置root用户ssh远程登录，所有CDH服务器root密码一样：
$sudo passwd root
$sudo vi /etc/ssh/sshd_config
在文件中修改如下:
#PermitRootLogin without-password
PermitRootLogin yes
$sudo service ssh restart #重启ssh服务

所有服务器上安装jdk：
$sudo apt-get install oracle-j2sdk1.7
配置JAVA_HOME:
$sudo vim /etc/profile #在文件末尾添加如下内容
export JAVA_HOME=/usr/lib/jvm/java-7-oracle-cloudera
export JRE_HOME=${JAVA_HOME}/jre
export CLAsspATH=${JAVA_HOME}/lib:${JRE_HOME}/jre:${CLAsspATH}
export PATH=${JAVA_HOME}/bin:${PATH}
$source /etc/profile

所有服务器上安装dbc driver（使用MysqL数据库）:
$sudo apt-get install libMysqL-java

4. 主节点安装cloudera manager


安装MysqL数据库（主节点）：
$sudo apt-get install MysqL-server
$sudo service MysqL stop
$sudo mv /var/lib/MysqL/ib_logfile* /tmp/ #迁移出ib_logfile文件
$sudo vim /etc/MysqL/my.cnf #修改配置文件，内容如下

[client]
port = 3306
socket = /var/run/MysqLd/MysqLd.sock

[MysqLd_safe]
socket = /var/run/MysqLd/MysqLd.sock
nice = 0

[MysqLd]
server-id=1
user = MysqL
pid-file = /var/run/MysqLd/MysqLd.pid
socket = /var/run/MysqLd/MysqLd.sock
port = 3306
basedir = /usr
datadir = /var/lib/MysqL
tmpdir = /tmp
lc-messages-dir = /usr/share/MysqL
skip-external-locking
log_error = /var/log/MysqL/error.log

transaction-isolation = READ-COMMITTED
# disabling symbolic-links is recommended to prevent assorted security risks;
# to do so,uncomment this line:
# symbolic-links = 0

key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1

max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M

#log_bin should be on a disk with enough free space. Replace '/var/lib/MysqL/MysqL_binary_log' with an appropriate path for your system
#and chown the specified folder to the MysqL user.
log_bin=/var/lib/MysqL/MysqL_binary_log

# For MysqL version 5.1.8 or later. For older versions,reference MysqL documentation for configuration help.
binlog_format = mixed

read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
sql_mode=STRICT_ALL_TABLES

$sudo service MysqL start
使用root用户进入MysqL，root密码在安装的过程中会设置，执行如下sql（密码可以根据需求修改）：
create database cmf DEFAULT CHaraCTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'passwrod';

create database metastore DEFAULT CHaraCTER SET utf8;
grant all on metastore.* TO 'hive'@'%' IDENTIFIED BY 'passwrod';

create database hue DEFAULT CHaraCTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'passwrod';

create database rman DEFAULT CHaraCTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'passwrod';

create database oozie DEFAULT CHaraCTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'passwrod';

flush privileges;

安装cloudera manager:
$sudo apt-get install cloudera-manager-daemons cloudera-manager-server
$sudo vim /etc/cloudera-scm-server/db.properties #（修改数据库用户配置为上面设置的cmf数据库用户信息，下面信息开始为INIT，首次不改动，启动cloudera-scm-server后改为如下然后再重启cloudera-scm-server）
#com.cloudera.cmf.db.setupType=INIT
com.cloudera.cmf.db.setupType=EXTERNAL
启动cloudera-scm-server:
$sudo service cloudera-scm-server start

5. 使用cloudera manager安装CDH

访问cloudera manager管理地址，默认用户名密码为admin/admin,端口:7180,如：http://192.168.0.230:7180/，除如下步骤其他均和选择默认选项： 发现集群的时候可以直接输入各节点IP使用英文逗号隔开，发现后使用所有相同的root密码连接集群 在集群安装，选择存储界面"使用Parcel (建议) "后选择更多选项，远程Parcel 存储库URL添加如下地址（内部安装包地址，具体而定）： http://inner-source/data/soft/cloudera/ 选择您要安装在主机上的 Cloudera Manager Agent 特定发行版。选择中，选择"自定义存储库",输入内部源地址：data前面没有/是空格 deb http://inner-source data soft/ 在集群搭建页面输入上面创建的数据库用户，并测试。

原文地址：https://www.jb51.cc/ubuntu/354022.html

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

Ubuntu下单机安装Hadoop详细教程附所需安装包下载
目录前言一、创建Hadoop用户二、更新apt和安装Vim编辑器三、安装SSH和配置SSH无密码登录四、安装Java环境1. 安装JDK2. 配置JDK环境3. 检验安装五、安装单机Hadoop1. 下载安装Hadoop2. 运行示例总结前言本文安装的 Hadoop 及 Java 环境基于林子雨老师的《大数据技术原理与应用（第3版）》中所要求，其中Java 版本为1.8.0_301，Hadoop 版本为3.3.1，其他版本的安装请参考其他博客。..
ubuntu 上运行的django 出现No space left on device错误
原文连接：https://www.cnblogs.com/yasmi/p/5192694.html  运行django出现错误信息:[2016-02-16 14:33:24,476 pyinotify ERROR] add_watch: cannot watch /usr/local/lib/python2.7/dist-packages/django/contrib/sessio...
VirtualBox 虚拟机不见了
电脑重启后，打开VirtualBox，发现一直用的虚拟机莫名的消失了，如下：别着急，以下教你如何找回之前的虚拟机：1、点击控制，然后选择注册，找到虚拟机的安装目录，比如：C:UserstxVirtualBox VMs，然后选择需要找回的虚拟机vbox，点击打开按钮即可：2、如果打开后报错，则执行第三步：3、删除ubuntu.vbox，然后将ubuntu.vbox-prev重命名为ubuntu.vbox，然后再执行第二步即可...
ubuntu18.04 安装中文输入法、输入法不可用
参见：https://blog.csdn.net/weixin_38883338/article/details/82153933 https://blog.csdn.net/github_39533414/article/details/85211012
如何在 Ubuntu 上使用 Netplan 配置网络
Ubuntu 18.04 LTS 已切换到 Netplan 来配置网络接口。Netplan 基于 YAML 的配置系统，使得配置过程非常简单。Netplan 替换了我们之前在 Ubuntu 中用于配置网络接口的旧配置文件/etc/network/interfaces。在本文中，我们将学习如何使用 Netplan 在 Ubuntu 中配置网络。我们将看到静态和动态 IP 配置。我将使用 Ubuntu 18.04 LTS 来描述本文中提到的过程。使用 Netplan 配置网络您可以在/etc
如何在 Ubuntu 18.04 上使用 UFW 管理和转发端口
介绍每个 Web 服务都可以通过特定的 URL 在 Internet 上访问，该 URL 代表一种“替代名称”，用于标识提供该服务的服务器的 IP 地址和端口。同一台机器可以同时在不同的端口上提供不同的服务。出于安全原因，可能需要屏蔽 Web 服务的端口号，从而在外部显示与服务实际侦听的端口号不对应的端口号。感谢本教程，您将能够管理您的服务器端口，配置集成在 Ubuntu 中的 UFW 防火墙。特别是，按照指南的说明，您将学习将来自某个端口的请求转发到另一个端口（端口转发），同时使用后者提供的.
在 Ubuntu 20.04 LTS 上安装 Observium
Observium 是一个免费和开源的 sa 网络管理和监控系统工具。我们可以使用 SNMP 收集数据，它允许监控所有网络设备。它提供了一个简单易用的 Web 界面。它基于 PHP 并使用 MySQL 数据库来存储数据。在 ubuntu 上设置 Observium 有几个步骤：第 1 步：更新系统。apt-get update第 2 步：安装 PHP 和模块。apt install wget apache2 php php-{pear,cgi,common,curl,mbstring,g
使用 Packer 为Proxmox 自动化构建映像Ubuntu Server 20.04 虚拟机映像
从 20.04 开始，Ubuntu 决定更新实时服务器安装程序以实现自动安装规范，以便能够仅使用 Subiquity 完全自动化安装过程。Subiquity 是新的服务器安装程序（又名“服务器无处不在”），旨在取代之前基于 debian-installer 的经典系统。本文说明了如何使用 Packer 和 Proxmox 上的 Subiquity 生成 Ubuntu Server 20.04 图像模板。介绍Subiquity 仅在live图像文件版本中可用（例如ubuntu-20.0...
使用 packer vsphere-iso 构建自动化 Ubuntu-20.04 实时服务器模板生成
Ubuntu 将停止支持 Debian 安装程序（预置）。Ubuntu Server 20.04 附带了一种新的自动化操作系统安装方法，称为带有 subiquity 服务器安装程序的自动安装。这篇文章展示了使用新安装程序构建的打包程序。此设置仅适用于 Ubuntu-20.04 live-server 而不是旧版。SubiquitySubiquity 是 Ubuntu 服务器的新自动安装程序，它是在 18.04 中引入的。自动安装的设置由 cloud-init 配置提供。如果设置，将从配置文件.
Ubuntu 20.04 自动安装快速入门
此页面的目的是提供在您机器上的 VM 中执行自动安装的简单说明。此页面假设您使用的是 amd64 架构。s390x也有一个版本。通过网络提供自动安装数据这种方法是最容易推广到完全基于网络的安装的方法，在这种安装中，机器会进行网络引导，然后自动安装。下载 ISO转到20.04 ISO 下载页面并下载最新的 Ubuntu 20.04 实时服务器 ISO。挂载 ISOsudo mount -r ~/Downloads/ubuntu-20.04-live-server-amd64...
苹果市值2025年有望达4万亿美元
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot