1.遇到了啥问题是酱紫的，简单来说：并发执行sparkjob的时候，并发的提速很不明显。嗯，且听我慢慢道来，啰嗦点说，类似于我们内部有一个系统给分析师用，他们写一些sql，在我们的sparkcluster上跑。随着分析师越来越多，sqljob也越来越多，等待运行的时间也越来越长，我们就在想怎么把sql

skywalking简介（链路跟踪与分析）随着业务越来越复杂，企业应用也进入了分布式服务化的阶段，随着模块的不断增多，一次请求可能会涉及到十几个甚至几十个服务的协同处理，那么如何准确快速的定位到线上故障和性能瓶颈，便成为我们不得不面对的棘手问题，传统的日志监控等方式无法很好达到跟

前言在上篇文章中，我们分析了SparkOperator内部的机制，今天我们会讨论一个在大数据领域中最重要的话题-存储。大数据已经无声无息的融入了每个人的生活中。大到旅游买房，小到外卖打车，都可以看到通过大数据提供数据分析、数据推荐、数据决策的使用场景。大数据要想能够更准确地

packagespark88 importorg.apache.spark.sql.{DataFrame,Row,SQLContext,SaveMode}importorg.apache.spark.sql.hive.HiveContextimportorg.apache.spark.sql.types.{StringType,StructField,StructType}importorg.apache.spark.{SparkConf,SparkContext}/***

很多时候在流数据处理时，我们会将avro格式的数据写入到kafka的topic，但是avro写入到kafka的时候，数据有可能会与版本升级，也就是schema发生变化，此时如果消费端，不知道哪些数据的schema是使用升级前的，哪些数据schema使用升级后，此次消费端一旦就经常会跑出异常，为了避免schema解析时出现异

 1、RDD是整个Spark的计算基石。是分布式数据的抽象，为用户屏蔽了底层复杂的计算和映射环境  RDD是不可变的，如果需要在一个RDD上进行转换操作，则会生成一个新的RDD  RDD是分区的，RDD里面的具体数据是分布在多台机器上的Executor里面的。堆内内存和堆外内存+磁盘。  R

本文转载自：https://blog.csdn.net/LW_GHY/article/details/51419760调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提

第1章SparkSQL概述1.1什么是SparkSQL1.2RDDvsDataFramesvsDataSet1.2.1RDD1.2.2DataFrame1.2.3DataSet1.2.4三者的共性1.2.5三者的区别第2章执行SparkSQL查询2.1命令行查询流程2.2IDEA创建SparkSQL程序第3章SparkSQL解析3.1新的起始点SparkSession

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。在这里还是要推荐下我

                     本文原文出处:http://blog.csdn.net/bluishglc/article/details/50945032严禁任何形式的转载，否则将委托CSDN官方维护权益！Spark的官方文档再三强调那些将要作用到RDD上的操作，不管它们是一个函数还是一段代码片段，它们都是“闭包”，S

 //**********************装换操作*********************1、defmap[U:ClassTag](f:T=>U):RDD[U]  将函数应用于RDD的每一元素，并返回一个新的RDD2、deffilter(f:T=>Boolean):RDD[T]       通过提供的产生boolean条件的表达式来返回符合结果为True新的R

blockManagerDriver和executor上分别都会启动blockManager，其中driver上拥有所有executor上的blockManager的引用；所有executor上的blockManager都持有driver上的blockManager的引用；blockManagerSlave会不断向blockManagerMaster发送心跳，更新block信息等；BlockManager对象被创建

第1章SparkGraphX概述1.1什么是SparkGraphX1.2弹性分布式属性图1.3运行图计算程序第2章SparkGraphX解析2.1存储模式2.1.1图存储模式2.1.2GraphX存储模式2.2vertices、edges以及triplets2.2.1vertices2.2.2edges2.2.3triplets2.3图的构建2.3.1构建图的方法2

在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种：UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等UDAF（User-DefinedAggregationFuncation），用户自定义聚合函数，类似在groupby之后使用的sum,avg等UDTF(User-DefinedTable-GeneratingF

一、Spark中的Shuffle过程Shuffle分为两种：Shufflewrite、ShufflereadSpark中Shuffle分为两种：HahShuffle、SortShuffle；1、HashShuffle磁盘小文件的个数为：M*R=4*3=12个每一个buffer的大小为32k，由于产生的磁盘小文件过多，会产生一系列的问题如：因为在写文件的时候会产生大量

前文对Spark和Flink的引擎做了对比。对用户来说引擎并不是考虑数据产品的唯一方面。开发和运维相关的工具和环境，技术支持，社区等等，对能不能在引擎上面做出东西来都很重要。这些构成了一个产品的生态。可以说引擎决定了功能和性能的极限，而生态能让这些能力真正发挥出作用。概