Alluxio集群部署整合CDHHive/Spark

Linux环境：centos7.4
CDH：5.16.1
Java：1.8.0_131
Alluxio：2.3.0

编译

此处不再赘述，详见我另一篇文章 https://www.cnblogs.com/daemonyue/p/12975286.html

修改配置文件

cp conf/alluxio-site.properties.template conf/alluxio-site.properties

vim alluxio-site.properties

vim masters

vim workers

集群

复制文件夹到每台机器
各个机器alluxio用户相互之间免密登陆

软连接配置

为每个机器设置java软连接，需要在这些目录其中之一配置软连接

/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/spark/bin:/opt/spark/sbin:/root/bin

如果配置好了可以忽略，否则：

ln -s /usr/java/jdk1.8.0_131/bin/java /usr/bin/java

如果这里没有配置好的话，后面步骤就会出现如下错误

Error: Cannot find 'java' on path or under $JAVA_HOME/bin.

启动 Alluxio

创建ramdisk文件夹

之前配置的文件夹路径，需要先手动创建出来

format

./bin/alluxio format

启动

./bin/alluxio-start.sh all Mount

如果是root用户起的，使用Mount，如果是非root用户起的，用SudoMount。第一次需要这样，之后启动直接./bin/alluxio-start.sh all就可以

经过比较长时间的等待，启动完成

查看web端

http://ip:19999

使用Alluxio

这里可以把它理解为简单的文件系统，操作这个文件系统和hdfs非常相似

./bin/alluxio fs 操作命令

比如：

./bin/alluxio fs mkdir /test