Structured Streaming教程(1) —— 基本概念与使用
近年来,大数据的计算引擎越来越受到关注,spark作为最受欢迎的大数据计算框架,也在不断的学习和完善中。在Spark2.x中,新开放了一个基于DataFrame的无下限的流式处理组件——StructuredStreaming,它也是本系列的主角,废话不多说,进入正题吧!简单介绍在有过1.6的stre
Spark Client启动原理探索
经过几天闲暇时间的学习,终于又理解的深入了一些,关于SparkClient如何提交作业也更清晰了点。在整体的流程图上是这样的:大体的思路就是应用程序通过SparkSubmit提交程序后,自动在当前的JVM中启动Driver,然后与Master通信创建Excutor执行相应的任务。自己整理了下流程图以
Spark SQL 用户自定义函数UDF、用户自定义聚合函数UDAF 教程(Java踩坑教学版)
在Spark中,也支持Hive中的自定义函数。自定义函数大致可以分为三种:UDF(User-Defined-Function),即最基本的自定义函数,类似to_char,to_date等UDAF(User-DefinedAggregationFuncation),用户自定义聚合函数,类似在group
Spark源码分析之分区器的作用
先说说数据倾斜数据倾斜是指Spark中的RDD在计算的时候,每个RDD内部的分区包含的数据不平均。比如一共有5个分区,其中一个占有了90%的数据,这就导致本来5个分区可以5个人一起并行干活,结果四个人不怎么干活,工作全都压到一个人身上了。遇到这种问题,网上有很多的解决办法:比如这篇写的就不错:htt
Spark Streaming+Kafka
前言在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总
【PPT下载】数据中台之主数据管理 - 喻继鹏
自己动手为Spark 2.x添加ALTER TABLE ADD COLUMNS语法支持
SparkSQL从2.0开始已经不再支持ALTERTABLEtable_nameADDCOLUMNS(col_namedata_type[COMMENTcol_comment],...)这种语法了(下文简称addcolumns语法)。如果你的Spark项目中用到了SparkSQL+Hive这种模式,
使用阿里云的Maven仓库加速Spark编译过程
前言在国内编译Spark项目需要从Maven源下载很多依赖包,官方源在国内大环境下的下载速度大家都懂得,那个煎熬啊,简直是浪费生命。如果你的下载速度很快,你现在就可以无视这篇文章了。阿里云给国内开发者提供了一个非常的良心的服务:提供了一个国内Maven镜像,可以让我们摆脱这种煎熬。地址信息阿里云的M
深度剖析Spark分布式执行原理
原创文章,未经授权,不得转载让代码分布式运行是所有分布式计算框架需要解决的最基本的问题。Spark是大数据领域中相当火热的计算框架,在大数据分析领域有一统江湖的趋势,网上对于Spark源码分析的文章有很多,但是介绍Spark如何处理代码分布式执行问题的资料少之又少,这也是我撰写文本的目的。Spark
sbt结合IDEA对Spark进行断点调试开发
原创文章,谢绝转载笔者出于工作及学习的目的,经常与Spark源码打交道,也难免对Spark源码做修改及测试。本人一向讲究借助工具提升效率,开发Spark过程中也在摸索如何更加顺畅的对源码进行调试。Spark基于Scala,采用IntelliJIDEA和sbt应对日常开发,自然是最佳选择了。如何导入及
Apache Spark 2.2.0 正式发布
ApacheSpark2.2.0是2.x中的第三个发行版,原计划3月底发布,距离上个发行版本(2.1.0)的发布已有6个多月的时间,就Spark的常规发版节奏而言,2.2.0的发版可谓是长了不少。这个版本中StructuredStreaming移除了实验性标记,可用于生产环境。该版本共处理了1100
Spark 1.6升级2.x防踩坑指南
原创文章,谢绝转载Spark2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了,2.x宣称有诸多的性能改进,相信不少使用Spark的同学还停留在1.6.x或者更低的版本上,没有升级到2.x或许是由于1.6相对而言很稳定,或许是升级后处处踩坑被迫放弃。SparkSQL是Spark中最重要的模
合并Spark社区代码的正确姿势
原创文章,转载请保留出处最近刚刚忙完Spark2.2.0的性能测试及Bug修复,社区又要发布2.1.2了,国庆期间刚好有空,过了一遍2.1.2的相关JIRA,发现有不少重要修复2.2.0也能用上,接下来需要将有用的PR合到我们内部维护的2.2.0分支上了。经常有朋友问我是怎么把社区的PR合到自己分支
为Spark Application指定不同的JDK版本
随着企业内部业务系统越来越多,基于JVM的服务,通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现:java.lang.UnsupportedClassVersionError的异常。Spark2.2开始移除了对Java7的支持,大
记一次HDFS报EOFException异常的问题
现象大晚上的收到线上DataNode挂掉异常的报警,值班同学随即做了重启处理,重启完成后,进程虽然在运行,但是NameNode的WebUI上显示大量的block丢失。Thereare12622047missingblocks.NumberofUnder-ReplicatedBlocks1443690
优雅解决Spark Application jar包冲突问题
前言当我们开发的SparkApplication变得越来越复杂,依赖的jar包越来越多时,难免会碰到jar包冲突的问题。举个例子:我们的业务代码用到了一个第三方库,好比:guava(虽然好用,但是版本间的兼容性差的一坨翔)Spark本身也依赖了guava,但是和业务代码中依赖的guava版本不同这种
记一次HDFS性能问题排查
问题表现HDFS刚上线没有任何问题。就最近现网读写HDFS时,阶段性比较慢,也不是一直都比较慢,慢的时候读取一次需要20秒左右,一般毫秒级就可以返回。问题分析慢一次后,紧接着就快。这种表现第一印象就是JVMGC导致的吧。那我就使用jstat进行分析。运行jstat-gcutil[pid][<i
Spark之BloomFilter有趣的bitwise运算
最近好奇的研究了下Spark的BloomFilter的实现,发现其org/apache/spark/util/sketch/BitArray.java对bit处理的实现很巧妙(源码可能是从其他开源项目借鉴的也不好说),从中学到不少东西,记录下。BitArray巧妙的核心设计BitArray内部采用l
SparkSQL自定义Hint优化器解决JOIN热点数据问题
场景有时我们通过sparkSQL来分析数据,当使用Join操作时,最让人头疼的莫过于数据倾斜了,如果你是大表关联小表的情况,那情况还不是很糟糕,可以使用MAPJOIN来破解一下,spark使用spark.sql.autoBroadcastJoinThreshold参数来自动开启MAPJOIN;BUT
使用Spark GraphX 探索你不知道的金庸武侠世界
GitHub地址:https://github.com/weijie-he/jinyong一、缘起2018年10月30日,金庸在香港逝世,享年94岁。知道这个消息之后,我的情绪很低落,讲台上老师在讲什么仿佛也听不见了,脑海中一直在回想着先生写过的关于离别的句子。程英道:“三妹,你瞧这些白云聚了又散,