-
编辑 删除
Spark Client启动原理探索
在整体的流程图上是这样的：大体的思路就是应用程序通过SparkSubmit提交程序后，自动在当前的JVM中启动Driver，然后与Master通信创建Excutor执行相应的任务。自己整理了下流程图以及的组件图：可以看到大概是下面的步骤：新建SparkContext创建对应的scheduler和sc
-
编辑 删除
Spark源码分析 之 Driver和Excutor是怎么跑起来的?(2.2.0版本)
Spark作为目前最流行的大数据计算框架，已经发展了几个年头了。版本也从我刚接触的1.6升级到了2.2.1。由于目前工作使用的是2.2.0，所以这次的分析也就从2.2.0版本入手了。涉及的内容主要有：Standalone模式中的Master与Workerclient、driver、excutor的关
-
编辑 删除
Spark Stage切分 源码剖析——DAGScheduler
Spark中的任务管理是很重要的内容，可以说想要理解Spark的计算流程，就必须对它的任务的切分有一定的了解。不然你就看不懂SparkUI,看不懂SparkUI就无法去做优化...因此本篇就从源码的角度说说其中的一部分，Stage的切分——DAG图的创建先说说概念在Spark中有几个维度的概念：应用
-
编辑 删除
基于Spark UI性能优化与调试——初级篇
Spark有几种部署的模式，单机版、集群版等等，平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便，只能通过Log的形式进行数据分析，利用sparkui做性能调整和优化。那么本篇就介绍下如何利用Ui做性能分析，因为本人的经验也不是
-
编辑 删除
Spark源码分析之Spark-submit和Spark-class
Spark-submitif[-z"${SPARK_HOME}"];thenexportSPARK_HOME="$(cd"`dirname"$0"`"/..;pwd)"fi#disablerandomizedhashforstringinPython3.3+exportPYTHONHASHSEED=
-
编辑 删除
Structured Streaming教程(1) —— 基本概念与使用
近年来，大数据的计算引擎越来越受到关注，spark作为最受欢迎的大数据计算框架，也在不断的学习和完善中。在Spark2.x中，新开放了一个基于DataFrame的无下限的流式处理组件——StructuredStreaming，它也是本系列的主角，废话不多说，进入正题吧！简单介绍在有过1.6的stre
-
编辑 删除
Spark Client启动原理探索
经过几天闲暇时间的学习，终于又理解的深入了一些，关于SparkClient如何提交作业也更清晰了点。在整体的流程图上是这样的：大体的思路就是应用程序通过SparkSubmit提交程序后，自动在当前的JVM中启动Driver，然后与Master通信创建Excutor执行相应的任务。自己整理了下流程图以
-
编辑 删除
Spark SQL 用户自定义函数UDF、用户自定义聚合函数UDAF 教程（Java踩坑教学版）
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种：UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等UDAF（User-DefinedAggregationFuncation），用户自定义聚合函数，类似在group
-
编辑 删除
Spark源码分析之分区器的作用
先说说数据倾斜数据倾斜是指Spark中的RDD在计算的时候，每个RDD内部的分区包含的数据不平均。比如一共有5个分区，其中一个占有了90%的数据，这就导致本来5个分区可以5个人一起并行干活，结果四个人不怎么干活，工作全都压到一个人身上了。遇到这种问题，网上有很多的解决办法：比如这篇写的就不错：htt
-
编辑 删除
Spark Streaming+Kafka
前言在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总
-
编辑 删除
【PPT下载】数据中台之主数据管理 - 喻继鹏
-
编辑 删除
自己动手为Spark 2.x添加ALTER TABLE ADD COLUMNS语法支持
SparkSQL从2.0开始已经不再支持ALTERTABLEtable_nameADDCOLUMNS(col_namedata_type[COMMENTcol_comment],...)这种语法了（下文简称addcolumns语法）。如果你的Spark项目中用到了SparkSQL+Hive这种模式，
-
编辑 删除
使用阿里云的Maven仓库加速Spark编译过程
前言在国内编译Spark项目需要从Maven源下载很多依赖包，官方源在国内大环境下的下载速度大家都懂得，那个煎熬啊，简直是浪费生命。如果你的下载速度很快，你现在就可以无视这篇文章了。阿里云给国内开发者提供了一个非常的良心的服务：提供了一个国内Maven镜像，可以让我们摆脱这种煎熬。地址信息阿里云的M
-
编辑 删除
深度剖析Spark分布式执行原理
原创文章，未经授权，不得转载让代码分布式运行是所有分布式计算框架需要解决的最基本的问题。Spark是大数据领域中相当火热的计算框架，在大数据分析领域有一统江湖的趋势，网上对于Spark源码分析的文章有很多，但是介绍Spark如何处理代码分布式执行问题的资料少之又少，这也是我撰写文本的目的。Spark
-
编辑 删除
sbt结合IDEA对Spark进行断点调试开发
原创文章，谢绝转载笔者出于工作及学习的目的，经常与Spark源码打交道，也难免对Spark源码做修改及测试。本人一向讲究借助工具提升效率，开发Spark过程中也在摸索如何更加顺畅的对源码进行调试。Spark基于Scala，采用IntelliJIDEA和sbt应对日常开发，自然是最佳选择了。如何导入及
-
编辑 删除
Apache Spark 2.2.0 正式发布
ApacheSpark2.2.0是2.x中的第三个发行版，原计划3月底发布，距离上个发行版本（2.1.0）的发布已有6个多月的时间，就Spark的常规发版节奏而言，2.2.0的发版可谓是长了不少。这个版本中StructuredStreaming移除了实验性标记，可用于生产环境。该版本共处理了1100
-
编辑 删除
Spark 1.6升级2.x防踩坑指南
原创文章，谢绝转载Spark2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了，2.x宣称有诸多的性能改进，相信不少使用Spark的同学还停留在1.6.x或者更低的版本上，没有升级到2.x或许是由于1.6相对而言很稳定，或许是升级后处处踩坑被迫放弃。SparkSQL是Spark中最重要的模
-
编辑 删除
合并Spark社区代码的正确姿势
原创文章，转载请保留出处最近刚刚忙完Spark2.2.0的性能测试及Bug修复，社区又要发布2.1.2了，国庆期间刚好有空，过了一遍2.1.2的相关JIRA，发现有不少重要修复2.2.0也能用上，接下来需要将有用的PR合到我们内部维护的2.2.0分支上了。经常有朋友问我是怎么把社区的PR合到自己分支
-
编辑 删除
为Spark Application指定不同的JDK版本
随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现：java.lang.UnsupportedClassVersionError的异常。Spark2.2开始移除了对Java7的支持，大
-
编辑 删除
记一次HDFS报EOFException异常的问题
现象大晚上的收到线上DataNode挂掉异常的报警，值班同学随即做了重启处理，重启完成后，进程虽然在运行，但是NameNode的WebUI上显示大量的block丢失。Thereare12622047missingblocks.NumberofUnder-ReplicatedBlocks1443690
