ITPub博客

Hive中的GroupBy,Distinct和JoinGroupBy几种Mode原理相关参数DistinctSingleDistinctMultiDistinctJoinCommonJoinMapJoin——HiveMapJoin优化历程、FaceBookJoin优化SkewJoin——Skewed

之前debugspark源码，是通过写applicationdebug，这个不是基于spark源码本身的调试。现在做基于spark单元测试的调试，更方便对Spark源码做修改及测试，方便更深入了解spark的运行原理。最后，写了一个简单的单元测试，来获取sql对应的asttree以及unresolv

承接上一篇文档《Spark案例练习-PV的统计》参数说明：继续上面的PV代码编写即可思路：UV的计算1.数据进行过滤清洗，获取两个字段（时间、guid）2.guid非空，时间非空，时间字符串的长度必须大于103.将同一天的数据放在一起，根据guid去重，统计去重的结果代码：valrdd2=rdd.m

Spark是大数据分析的利器，在工作中用到spark的地方也比较多，这篇总结是希望能将自己使用spark的一些调优经验分享出来。一、常用参数说明--driver-memory4g:driver内存大小，一般没有广播变量(broadcast)时，设置4g足够，如果有广播变量，视情况而定，可设置6G，8

hive自定义函数1自定义函数1.1为什么需要自定义函数hive的内置函数满足不了所有的业务需求。hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。1.2常见自定义函数有哪些UDF：用户自定义函数，userdefinedfunction。一对一的输入输出。（最常用的

一、键值对RDD数据分区器键值对RDD数据分区器Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数注意：(1)只有Key-Value

有一些转换(如join、coGroup、keyBy、groupBy)要求在元素集合上定义一个key。还有一些转换(如reduce、groupReduce、aggregate、windows)可以应用在按key分组的数据上。Flink的数据模型不是基于key-value对的。因此，不需要将数据集类型物

前言其实SparkStreaming主要就是把算子用用，多敲代码的事儿。我当时觉得这个SparkStreaming好像要提的事情并不多呀，所以就直接跳过了。然后···那我还是回头来扯扯吧一、SparkStreaming1.1运行流程首先我们无论是提交Sparkcore也好，SparkSQL也好，Sp

最近沉迷于学习sparklyr。看标题就知道，今天讲的是如何手撕数据。这次会用到一个sparklyr扩展包：Functionreference​mitre.github.io首先读取数据：conf<-spark_config()conf$spark.executor.memory<-"1

ApacheSpark是行业中流行和广泛使用的大数据工具之一。ApacheSpark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apacheflink。ApacheSpark简介ApacheSpark是为快速计算而设计的开源，闪电般快速的集群计算框架。ApacheSpark扩展了Map

pyspark是Spark对Python的api接口，可以在Python环境中通过调用pyspark模块来操作spark，完成大数据框架下的数据分析与挖掘。其中，数据的读写是基础操作，pyspark的子模块pyspark.sql可以完成大部分类型的数据读写。文本介绍在pyspark中读写Mysql数

介绍不论MapReduce还是RDD，shuffle都是非常重要的一环，也是影响整个程序执行效率的主要环节，但是在这两个编程模型里面shuffle却有很大的异同。shuffle的目的是对数据进行混洗，将各个节点的同一类数据汇集到某一个节点进行计算，为了就是分布式计算的可扩展性。可能大家多MR的shu

Hadoop和ApacheSpark都是当今蓬勃发展的开源大数据框架。尽管Hadoop和Spark并没有做同样的事情，但是它们是相互关联的。大数据处理无处不在Hadoop的需求。但是，尽管Hadoop具有许多重要的功能和数据处理优势，但它仍存在一个主要缺点。Hadoop的本地批处理引擎MapRedu

SparkSQL原理解析前言：SparkSQL源码剖析（一）SQL解析框架Catalyst流程概述SparkSQL源码解析（二）Antlr4解析Sql并生成树Analysis阶段概述首先，这里需要引入一个新概念，前面介绍SQLparse阶段，会使用antlr4，将一条SQL语句解析成语法树，然后使用

就像在一家公司里面总有明确的分工，每一哥部分负责自己的那一部分的任务，大家一起来维持公司的正常运转，同样的，spark就像是一个公司，他的里面也有许许多多的角色组成Spark术语解释：Master：资源管理的主节点，通过管理各个worker来管理集群中的资源Worker，master的从节点，与ma

spark-md5​www.npmjs.comjs-spark-md5是做什么的？js-spark-md5是号称全宇宙最快的前端类包，可以无需上传文件就快速获取本地文件md5.可能你觉得这没什么，但是，当你做一个文件系统时候，就有这需求，用这个简单的前端类库就能实现你“秒传”的功能！这里我解释下，每

就像之前写过很多关于SparkonK8S的文章，Spark2.2是Fork出来的版本，虽然经受住了我们部门超大规模的Spark计算业务的考验，但是由于Spark社区很快就在2.3跟进了onK8S的模块，所以Spark2.2是很早就被废弃并且不维护的，所以如果此时还想用Spark2.2上生产环境，是非

SparkSQL解析过程在Spark2.0之后，SparkSQL使用Antlr4来解析SQL表达式，其解析描述文件路径为spark源码根路径\sql\catalyst\src\main\antlr4\org\apache\spark\sql\catalyst\parser\SqlBase.g4，比如

SparkSQL解析过程在Spark2.0之后，SparkSQL使用Antlr4来解析SQL表达式，其解析描述文件路径为spark源码根路径\sql\catalyst\src\main\antlr4\org\apache\spark\sql\catalyst\parser\SqlBase.g4，比如

文章来源：公众号【Coggle数据科学】写在前面本文将重点介绍XGBoost基于Spark平台Scala版本的实现，带领大家逐步完成特征提取、变换和选择、XGBoost模型训练、Pipelines、模型选择。XGBoost简单回顾XGBoost（ExtremeGradientBoosting）由华盛