五分钟零基础介绍 spark
作者:josephholy链接:https://zhuanlan.zhihu.com/p/20305882来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。相信大家都听说过火的不能再火、炒得不能再炒的新一代大数据处理框架Spark.那么Spark是何方神圣?为何大有取代H
自从flink成熟之后,spark是否慢慢成为鸡肋?
作者:网易云链接:https://www.zhihu.com/question/306432813/answer/568585759来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。Spark并没有止步不前。Spark和Flink两个项目的核心API基本一致,Spark在
在hadoop 和spark之间如何取舍?
作者:队长链接:https://www.zhihu.com/question/66883913/answer/885368369来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。Hadoop当初作为一种大数据技术横空出世,经过多年的发展,Hadoop已经不单单指某一个技术
sparksql 窗口函数原理
一、窗口函数是啥在单表数据操作中,一般有下面两种操作范式:针对单条数据的映射操作,例如每条数据加一的时候。将数据分组后的聚合操作,例如进行分组统计的时候。在第一种范式中有这样一种情况,当你要生成某条目标数据的时候你需要用到前后N条数据参与计算,例如当你需要基于每天的用户访问数,来计算七天的移动平均访
想运用好 Spark,这些底层逻辑先要搞懂!
作者简介:范东来,泛山科技联合创始人。本文选自:拉勾教育专栏《即学即用的Spark实战44讲》你好,我是范东来,今天我们来聊聊一个比较基础也比较重要的内容MapReduce,说它基础,是因为它诞生的时间实在是太久远了,并不是什么新东西,说它重要则是因为基于它的提出衍生出很多重要的技术,比如我们关心的
Apache Storm与Apache Spark [对比]
随着实时数据的增加,对实时数据流的需求也在增长。更不用说,流技术正在引领大数据世界。使用更新的实时流媒体平台,用户选择一个平台变得很复杂。ApacheStorm和Spark是该列表中最流行的两种实时技术。让我们根据它们的功能比较ApacheStorm和Spark,并帮助用户做出选择。本文的目的是Ap
Spark SQL源码解析(二)Antlr4解析Sql并生成树
SparkSQL原理解析前言:SparkSQL源码剖析(一)SQL解析框架Catalyst流程概述这一次要开始真正介绍Spark解析SQL的流程,首先是从SqlParse阶段开始,简单点说,这个阶段就是使用Antlr4,将一条Sql语句解析成语法树。可能有童鞋没接触过antlr4这个内容,推荐看看《
Hadoop,Spark和Kafka的实时大数据
大数据由3V(即速度,数据量和各种数据)定义,与常规数据位于单独的行中。尽管自从过去几年以来,大数据一直是数据分析的流行语,但有关大数据分析的新问题是建立实时大数据管道。简单地说,就是要构建一个有效的大数据分析系统,以使组织能够即时做出决策。在实时大数据管道中,您需要考虑各种因素,例如实时欺诈分析,
Spark Opeartor的指标体系
1Overviewspark-on-k8s-operator,下文简称SparkOperator,背景知识就不介绍太多了,本文主要分享一下SparkOperator的指标系统是如何构建的,之后可以按照SparkOperator的方法,给自己创建的Operator配上指标系统Grafana做的图2Me
大数据Spark面试题(一)
1、spark的有几种部署模式,每种模式特点?(☆☆☆☆☆)1)本地模式Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地,一般都是为了方便调试,本地模式分三类local:只启动一个executorlocal[k]:启动k个ex
Spark结构化流核心概念
流应用程序包括以下主要部分:指定一个或多个流数据源提供了以DataFrame转换的形式操纵传入数据流的逻辑定义输出模式和触发器(都有默认值,所以是可选的)。最后指定一个将结果写出到的数据接收器(datasink)。下图概述了前面提到的步骤。可选的选项用星号标记。下面的部分将详细描述这些概念。数据源对
Spark vs Hadoop vs Storm
ApacheHadoopHadoop是一个开源的分布式处理框架。Hadoop用于存储大型数据集并在各种集群上运行分布式分析过程。当许多组织受到预算和时间限制时,Hadoop是许多组织选择的快速存储大型数据集的选择。Hadoop之所以高效,是因为它不需要大数据应用程序来通过网络发送大量数据,并且具有强
在 Kubernetes 上运行 Spark 的一次有趣的 Debug 之旅
Spark是大数据领域目前的事实标准之一,Google开源的spark-on-k8s-operator,使得在Kubernetes上也可以便捷地运行Spark任务,因此被微软,Salesforce,才云科技(我司)等公司广泛应用。然而在采用的过程中,一个近期出现在测试环境中的问题,出现在了我们的面前
Spark RDD概述
本文主要是翻译了Spark的官方rdd-programming-guide的文档,链接是:RDDProgrammingGuidespark.apache.orgRDDOperationsBasic为了描述RDD基础,我们看看下面的这个简单的程序:lines=sc.textFile("data.tx
阅读代码:Spark 与 Flink 中的 RPC 实现
阅读与知识的相对维度:目录zhuanlan.zhihu.com近日常有同学来问我如何阅读代码,关于这个问题的一般性答案我特别提了一个问题并自问自答。出于提供一个实际的例子的考量,正好此前综合地阅读了Spark的RPC实现、Flink基于Akka的RPC实现和ActorModel的通信模型,写成本文
深度剖析Hive GroupBy,Distinct 与 Join 原理
Hive中的GroupBy,Distinct和JoinGroupBy几种Mode原理相关参数DistinctSingleDistinctMultiDistinctJoinCommonJoinMapJoin——HiveMapJoin优化历程、FaceBookJoin优化SkewJoin——Skewed
基于spark源码做单元测试
之前debugspark源码,是通过写applicationdebug,这个不是基于spark源码本身的调试。现在做基于spark单元测试的调试,更方便对Spark源码做修改及测试,方便更深入了解spark的运行原理。最后,写了一个简单的单元测试,来获取sql对应的asttree以及unresolv
Spark案例练习-UV的统计
承接上一篇文档《Spark案例练习-PV的统计》参数说明:继续上面的PV代码编写即可思路:UV的计算1.数据进行过滤清洗,获取两个字段(时间、guid)2.guid非空,时间非空,时间字符串的长度必须大于103.将同一天的数据放在一起,根据guid去重,统计去重的结果代码:valrdd2=rdd.m
超全spark性能优化总结
Spark是大数据分析的利器,在工作中用到spark的地方也比较多,这篇总结是希望能将自己使用spark的一些调优经验分享出来。一、常用参数说明--driver-memory4g:driver内存大小,一般没有广播变量(broadcast)时,设置4g足够,如果有广播变量,视情况而定,可设置6G,8
hive常见自定义函数
hive自定义函数1自定义函数1.1为什么需要自定义函数hive的内置函数满足不了所有的业务需求。hive提供很多的模块可以自定义功能,比如:自定义函数、serde、输入输出格式等。1.2常见自定义函数有哪些UDF:用户自定义函数,userdefinedfunction。一对一的输入输出。(最常用的