Spark基础知识(一)---常用组建和RDD
一、什么是Spark官网地址:http://spark.apache.org/Spark是用于大规模数据处理的统一分析引擎,spark的一个主要特点是能够在内存中进行计算,及时依赖磁盘进行复杂的运算,Spark比MapReduce更加高效。中间结果输出:基于MapReduce的计算引擎通常会将中间结
Spark基础知识(二)--- Transformation和Action
RDD编程APISpark支持两个类型(算子)操作:Transformation和Action一、Transformation主要做的是就是将一个已有的RDD生成另外一个RDD。Transformation具有lazy特性(延迟加载)。Transformation算子的代码不会真正被执行。只有当我们
Hive SQL的时间处理函数及其用法
一、casewhen第一种格式:简单Case函数:格式说明case列名when条件值1then选择项1when条件值2then选项2.......else默认值end例子:selectcasejob_levelwhen'1'then'水平1'when'2'then'水平2'when'3'then'水
SparkSession和sparkSQL的区别
一、概述(1)在Spark1.6中我们使用的叫Hiveonspark,主要是依赖hive生成spark程序,有两个核心组件SQLcontext和HiveContext。这是Spark1.x版本的语法//setupthesparkconfigurationandcreatecontextsvalspa
Spark原理详解
Spark是基于内存计算的通用大规模数据处理框架。Spark快的原因:Spark基于内存,尽可能的减少了中间结果写入磁盘和不必要的sort、shuffleSpark对于反复用到的数据进行了缓存Spark对于DAG进行了高度的优化,具体在于Spark划分了不同的stage和使用了延迟计算技术弹性数据分
[大数据之Spark]——Actions算子操作入门实例
Actionsreduce(func)Aggregatetheelementsofthedatasetusingafunctionfunc(whichtakestwoargumentsandreturnsone).Thefunctionshouldbecommutativeandassociativ
Spark源码分析之Spark Shell(下)
继上次的Spark-shell脚本源码分析,还剩下后面半段。由于上次涉及了不少shell的基本内容,因此就把trap和stty放在这篇来讲述。上篇回顾:Spark源码分析之SparkShell(上)functionmain(){if$cygwin;then#Workaroundforissueinv
Spark源码分析之Spark Shell(上)
终于开始看Spark源码了,先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东,其实里面还是有很多知识点的。另外,从启动脚本入手,是寻找代码入口最简单的方法,很多开源框架,其实都可以通过这种方式来寻找源码入口。先来介绍一下Spark-shell是什么?Spark-shell
Spark-在集群运行spark
在集群运行spark福利部分:《大数据成神之路》大纲大数据成神之路shimo.im《几百TJava和大数据资源下载》资源下载shimo.im
Spark大数据处理
Spark大数据处理:工作机制福利部分:《大数据成神之路》大纲大数据成神之路shimo.im《几百TJava和大数据资源下载》资源下载shimo.im
Spark-RDD编程
Spark-RDD编程福利部分:《大数据成神之路》大纲大数据成神之路shimo.im《几百TJava和大数据资源下载》资源下载shimo.im
Spark—数据读取和保存
Spark—数据读取和保存福利部分:《大数据成神之路》大纲大数据成神之路shimo.im《几百TJava和大数据资源下载》资源下载shimo.im
Spark-在集群上运行Spark
Spark-在集群上运行Spark福利部分:《大数据成神之路》大纲大数据成神之路shimo.im《几百TJava和大数据资源下载》资源下载shimo.im
Spark-Spark编程进阶
Spark编程进阶福利部分:《大数据成神之路》大纲大数据成神之路shimo.im《几百TJava和大数据资源下载》资源下载shimo.im
[大数据之Spark]——快速入门
本篇文档是介绍如何快速使用spark,首先将会介绍下spark在shell中的交互api,然后展示下如何使用java,scala,python等语言编写应用。可以查看编程指南了解更多的内容。为了良好的阅读下面的文档,最好是结合实际的练习。首先需要下载spark,然后安装hdfs,可以下载任意版本的h
Spark Client启动原理探索
在整体的流程图上是这样的:大体的思路就是应用程序通过SparkSubmit提交程序后,自动在当前的JVM中启动Driver,然后与Master通信创建Excutor执行相应的任务。自己整理了下流程图以及的组件图:可以看到大概是下面的步骤:新建SparkContext创建对应的scheduler和sc
Spark源码分析 之 Driver和Excutor是怎么跑起来的?(2.2.0版本)
Spark作为目前最流行的大数据计算框架,已经发展了几个年头了。版本也从我刚接触的1.6升级到了2.2.1。由于目前工作使用的是2.2.0,所以这次的分析也就从2.2.0版本入手了。涉及的内容主要有:Standalone模式中的Master与Workerclient、driver、excutor的关
Spark Stage切分 源码剖析——DAGScheduler
Spark中的任务管理是很重要的内容,可以说想要理解Spark的计算流程,就必须对它的任务的切分有一定的了解。不然你就看不懂SparkUI,看不懂SparkUI就无法去做优化...因此本篇就从源码的角度说说其中的一部分,Stage的切分——DAG图的创建先说说概念在Spark中有几个维度的概念:应用
基于Spark UI性能优化与调试——初级篇
Spark有几种部署的模式,单机版、集群版等等,平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便,只能通过Log的形式进行数据分析,利用sparkui做性能调整和优化。那么本篇就介绍下如何利用Ui做性能分析,因为本人的经验也不是
Spark源码分析之Spark-submit和Spark-class
Spark-submitif[-z"${SPARK_HOME}"];thenexportSPARK_HOME="$(cd"`dirname"$0"`"/..;pwd)"fi#disablerandomizedhashforstringinPython3.3+exportPYTHONHASHSEED=