初始Spark

参考网址：https://www.cnblogs.com/qingyunzong/p/8886338.html

Spark是基于内存的计算框架

1.为什么要学习Spark?

可以解决迭代计算，融入hadoop生态圈，弥补mr计算框架的不足

2.特点

(1)speed 速度快

基于内存计算，使用有向无环图(DAG)程序调度，查询优化器，物理执行器。速度比mr快100倍

(2)ease of use 容易使用

支持scala,java,Python编程

(3)generality 通用

Spark提供了统一的解决方案：批处理，交互式查询（Spark sql）,实时流处理（Spark Streaming）,机器学习（Spark MLIb）和图计算（GraphX）

(4)runs everywhere 兼容性好

自带standalone资源管理和任务调度器，同时可以兼容hadoop的yarn和apache的mesos

可以兼容hadoop生态圈，如hdfs,hive,hbase

3.Spark的组成

Spark Core：Spark核心，类似于MR，对数据进行离线处理，批处理

Spark sql：交互式查询

Spark Streaming ：流式处理框架

Spark MLib：机器学习

GraphX：图计算