spark学习笔记3使用spark Sql进行离线数据分析项目数据的可视化、yarn运行、优化

八、数据可视化

1. Echarts （百度）的使用

2. 前面统计的结果存放在 MysqL 中，需要使用 Echarts展示出来

3. 使用 Echarts （详见百度官网）

（1) 从官网下载 echarts.min.js

  (2) 在 html 的头部引入echarts.min.js

（3) 在官网复制需要的图形的脚本文件并进行相应的修改

4.使用 idea 创建 web 项目来进行之前的统计结果的展示

(1) 直接复制需求饼图的 option

(2) 修改 option 中的数据为 MysqL 中的数据

(3) 开发 DAO层

需要注意：定义实体类的时候必须按照 option中的 data 属性来定义 name 和 value.

(4) 开发serverlet层

(a) 通过request对象获取前台传来的参数(day)

(b) 通过了 DAO对象查询topN的数据

(c)使用 response 的writer对象将数据库查询的结果以json的格式写回前台页面

5. 使用echars开发html页面

(1)使用ajax发出http请求，并拼接返回的结果

八、spark on yarn

 

 

九、优化介绍

1. 列式存储

2. 分区裁剪

3. 时间裁剪

4. 数据库的批量插入

5. spark参数调优（线程、内存、分区等）

6. 代码优化