大数据和人工智能时代，数据分析是个热门话题，数据分析师貌似也是个热门职业。很多门外汉想学，但面对浩瀚繁杂的技术，也搞不清该从哪里开始。于是，经常有人问这个问题，当然还有问得更具体的，怎么能学会SQL啊，要不要学Python啊，其实背后经常都是一回事。...

1> 删除Agent节点的UUID # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/*2> 清空主节点CM数据库 进入主节点的Mysql数据库，

1. 将mysql中的数据导入到hive中sqoop import --connect jdbc:mysql://localhost:3306/sqoop --direct --username ro

Hbase安装模式介绍 单机模式 1> Hbase不使用HDFS,仅使用本地文件系统 2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进

1. 安装Ant Ant下载地址：http://ant.apache.org/bindownload.cgi 解压即可。 2. 下载Zookeeper源码包 https://github.com/ap

###windows下链接hadoop集群 1、假如在linux机器上已经搭建好hadoop集群 2、在windows上把hadoop的压缩包解压到一个没有空格的目录下，比如是D盘根目录 3、配置环境

1、zookeeper的安装##配置/etc/hosts192.168.88.130 lgh192.168.88.131 lgh1192.168.88.132 lgh2 ##安装java8 解压配置环

##flink 1.7.2 安装需要java环境 下载地址 https://flink.apache.org/downloads.html#1、单机版 #创建用户flinkuseradd flink

一、迁移背景 服务器出了问题，导致整个cm server界面呈现出不可用的状态，也就是获取不到各个大数据组件以及主机相关的状态的信息，整个cm server的前端界面处于瘫痪的状态，不可用，刚开始怀疑

在前面一篇文章中（hadoop2.7之作业提交详解（上））中涉及到文件的分片。 JobSubmitter.submitJobInternal方法中调用了int maps = writeSplits(j

接着作业提交详解（上）继续写：在上一篇（hadoop2.7之作业提交详解（上））中已经讲到了YARNRunner.submitJob() [WordCount.main() -> Job.wai

根据wordcount进行分析： 这上面是个简单wordcount的代码，这里就不一一说明了，我们首先看main方法：获取一个job对象，然后经过一系列的设置，最后调用waitForCompletio

Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Hadoop 2引入的，用以改善MapReduce的表现。但是它

大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Manager工具，而且还封装了Apache Hadoop,flume,spark，hiv

数据流 读取文件数据的剖析 为了知道客户端与HDFS，NameNode,DataNode交互过程中数据的流向，请看图3 2，这张图显示了读取文件过程中主要的事件顺序。 客户端通过调用FileSyste

Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。 如果自己使用Java开发，需要处理System.in,System,out以及key/val