这篇文章主要为大家展示了“Sparksql指的是什么”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Sparksql指的是什么”这篇文章吧。
一、 Spark sql介绍
Spark sql是Apache Spark's的一个模块,用来处理结构化数据，1.0后产生；sql语句主要体现在关系型数据库上，大数据中基于Hadoop的sql有Hive（sql on Hadoop）但是MapReduce计算过程中大量的磁盘落地过程消耗了大量I/O，降低运行效率，简单说就是稳定性高，计算慢，离线批处理的框架，因此其他的sql on Hadoop工具产生。
sql on Hadoop
Hive on sql是社区发展另外一个路线，属于Hive发展计划,把Spark作为Hive的执行引擎;之前我们说的HIve作业跑在Hadoop的MapReduce上的；现在Hive不受限于一个引擎，可以采用MapReduce、Tez、Spark等引擎。
二、 Spark sql特性
三、 Spark sql优势
A：内存列存储（In-Memory Columnar Storage）
Spark sql的表数据在内存中的存储采用是内存列式存储，而不是原生态JVM对象存储方式。
Spark sql列式存储将数据类型相同列采用原生数组来存储，将Hive支持的复杂数据类型（如array、map等）先序化后并接成一个字节数组来存储。这样，每个列创建一个JVM对象，从而导致可以快速的GC和紧凑的数据存储；额外的，还可以使用低廉cpu开销的高效压缩方法（如字典编码、行长度编码等压缩方法）降低内存开销；更有趣的是，对于分析查询中频繁使用的聚合特定列，性能会得到很大的提高，原因就是这些列的数据放在一起，更容易读入内存进行计算
B：字节码生成技术（bytecode generation，即CG）
数据库查询中有一个昂贵的操作是查询语句中的表达式，主要是由于JVM的内存模型引起的。比如如下一个查询：
中有一个昂在这个查询里，如果采用通用的sql语法途径去处理，会先生成一个表达式树。
select a+b from table
在物理处理这个表达式树的时候，将会如图所示的7个步骤
1. 调用虚函数Add.eval()，需要确认Add两边的数据类型
3. 确定a的数据类型是Int，装箱
5. 确定b的数据类型是Int，装箱
6. 调用Int类型的Add
7. 返回装箱后的计算结果
C：Scala代码优化
...............
四、 Spark sql运行架构
Catalyst就Sparksql核心部分，性能的优劣影响整体的性能，由于发展时间短，虚线部分是以后版本要实现功能，实现部分是已经实现功能。
Unresolved Logical Plan：未解析的逻辑执行计划
Schema Catalog：元数据管理套用Unresolved Logical Plan生成Logical Plan
Logical Plan：生成逻辑执行计划
Optimized Logical Plan：对生生成的Logical Plan进行优化,生成物理逻计划
Physical Plans：物理逻辑计划,可能是多个,根据Cost Model生成最佳的物理逻辑化
以上是“Sparksql指的是什么”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注编程之家行业资讯频道！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
