-
编辑 删除
spark面试必须掌握的知识点概览
作者：浪尖链接：https://zhuanlan.zhihu.com/p/58521037来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。最近很多球友都说在准备面试，不知道准备点啥，尤其是spark，实际上星球里浪尖分享的内容真的都掌握了，应对一般面试绝对没问题，但是遗
-
编辑 删除
与 hadoop 对比，如何看待 spark 技术？
作者：汪涉洋链接：https://www.zhihu.com/question/26568496/answer/224834849来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。我先说我个人的结论。我的结论必须基于2017年9月初这个时间节点。因为未来，是存在一切可能的
-
编辑 删除
spark sql和hive使用场景？
作者：狗叔链接：https://www.zhihu.com/question/36053025/answer/121404733来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。这个要从两者产生的背景来看。Hive是什么？一个建立在分布式存储系统（这里指HDFS）上的SQ
-
编辑 删除
Spark在美团的实践
本文已发表在《程序员》杂志2016年4月期。前言美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处理渗透到了美团各业务线的各种应用场景，选择合适、高
-
编辑 删除
为什么Spark要用Scala实现？
作者：冰封链接：https://www.zhihu.com/question/27441350/answer/178561758来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。下面只是说说spark研发团队为什么选择scala，不是对比语言好坏。第一：java与scal
-
编辑 删除
五分钟零基础介绍 spark
作者：josephholy链接：https://zhuanlan.zhihu.com/p/20305882来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。相信大家都听说过火的不能再火、炒得不能再炒的新一代大数据处理框架Spark.那么Spark是何方神圣？为何大有取代H
-
编辑 删除
自从flink成熟之后，spark是否慢慢成为鸡肋？
作者：网易云链接：https://www.zhihu.com/question/306432813/answer/568585759来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。Spark并没有止步不前。Spark和Flink两个项目的核心API基本一致，Spark在
-
编辑 删除
在hadoop 和spark之间如何取舍？
作者：队长链接：https://www.zhihu.com/question/66883913/answer/885368369来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。Hadoop当初作为一种大数据技术横空出世，经过多年的发展，Hadoop已经不单单指某一个技术
-
编辑 删除
sparksql 窗口函数原理
一、窗口函数是啥在单表数据操作中，一般有下面两种操作范式：针对单条数据的映射操作，例如每条数据加一的时候。将数据分组后的聚合操作，例如进行分组统计的时候。在第一种范式中有这样一种情况，当你要生成某条目标数据的时候你需要用到前后N条数据参与计算，例如当你需要基于每天的用户访问数，来计算七天的移动平均访
-
编辑 删除
想运用好 Spark，这些底层逻辑先要搞懂！
作者简介：范东来，泛山科技联合创始人。本文选自：拉勾教育专栏《即学即用的Spark实战44讲》你好，我是范东来，今天我们来聊聊一个比较基础也比较重要的内容MapReduce，说它基础，是因为它诞生的时间实在是太久远了，并不是什么新东西，说它重要则是因为基于它的提出衍生出很多重要的技术，比如我们关心的
-
编辑 删除
Apache Storm与Apache Spark [对比]
随着实时数据的增加，对实时数据流的需求也在增长。更不用说，流技术正在引领大数据世界。使用更新的实时流媒体平台，用户选择一个平台变得很复杂。ApacheStorm和Spark是该列表中最流行的两种实时技术。让我们根据它们的功能比较ApacheStorm和Spark，并帮助用户做出选择。本文的目的是Ap
-
编辑 删除
Spark SQL源码解析（二）Antlr4解析Sql并生成树
SparkSQL原理解析前言：SparkSQL源码剖析（一）SQL解析框架Catalyst流程概述这一次要开始真正介绍Spark解析SQL的流程，首先是从SqlParse阶段开始，简单点说，这个阶段就是使用Antlr4，将一条Sql语句解析成语法树。可能有童鞋没接触过antlr4这个内容，推荐看看《
-
编辑 删除
Hadoop，Spark和Kafka的实时大数据
大数据由3V（即速度，数据量和各种数据）定义，与常规数据位于单独的行中。尽管自从过去几年以来，大数据一直是数据分析的流行语，但有关大数据分析的新问题是建立实时大数据管道。简单地说，就是要构建一个有效的大数据分析系统，以使组织能够即时做出决策。在实时大数据管道中，您需要考虑各种因素，例如实时欺诈分析，
-
编辑 删除
Spark Opeartor的指标体系
1Overviewspark-on-k8s-operator，下文简称SparkOperator，背景知识就不介绍太多了，本文主要分享一下SparkOperator的指标系统是如何构建的，之后可以按照SparkOperator的方法，给自己创建的Operator配上指标系统Grafana做的图2Me
-
编辑 删除
大数据Spark面试题（一）
1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆）1）本地模式Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类local：只启动一个executorlocal[k]:启动k个ex
-
编辑 删除
Spark结构化流核心概念
流应用程序包括以下主要部分：指定一个或多个流数据源提供了以DataFrame转换的形式操纵传入数据流的逻辑定义输出模式和触发器（都有默认值，所以是可选的）。最后指定一个将结果写出到的数据接收器（datasink）。下图概述了前面提到的步骤。可选的选项用星号标记。下面的部分将详细描述这些概念。数据源对
-
编辑 删除
Spark vs Hadoop vs Storm
ApacheHadoopHadoop是一个开源的分布式处理框架。Hadoop用于存储大型数据集并在各种集群上运行分布式分析过程。当许多组织受到预算和时间限制时，Hadoop是许多组织选择的快速存储大型数据集的选择。Hadoop之所以高效，是因为它不需要大数据应用程序来通过网络发送大量数据，并且具有强
-
编辑 删除
在 Kubernetes 上运行 Spark 的一次有趣的 Debug 之旅
Spark是大数据领域目前的事实标准之一，Google开源的spark-on-k8s-operator，使得在Kubernetes上也可以便捷地运行Spark任务，因此被微软，Salesforce，才云科技（我司）等公司广泛应用。然而在采用的过程中，一个近期出现在测试环境中的问题，出现在了我们的面前
-
编辑 删除
Spark RDD概述
本文主要是翻译了Spark的官方rdd-programming-guide的文档，链接是:RDDProgrammingGuidespark.apache.orgRDDOperationsBasic为了描述RDD基础，我们看看下面的这个简单的程序：lines=sc.textFile("data.tx
-
编辑 删除
阅读代码：Spark 与 Flink 中的 RPC 实现
阅读与知识的相对维度：目录zhuanlan.zhihu.com近日常有同学来问我如何阅读代码，关于这个问题的一般性答案我特别提了一个问题并自问自答。出于提供一个实际的例子的考量，正好此前综合地阅读了Spark的RPC实现、Flink基于Akka的RPC实现和ActorModel的通信模型，写成本文
