-
编辑 删除
Spark 之 运行架构
1.运行架构Spark框架的核心是一个计算引擎，它采用了标准master-slave的结构。Spark执行时的基本结构。图中的Driver表示master，负责管理整个集群中的作业任务调度。图中的Executor则是slave，负责实际执行任务2.核心组件2.1DriverSpark驱动器节点，用于
-
编辑 删除
Spark核心编程 的 三大数据结构
介绍Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：RDD:弹性分布式数据集累加器：分布式共享只写变量广播变量：分布式共享只读变量一、RDD1.什么是RDDRDD（ResilientDistributedDataset）叫做弹性
-
编辑 删除
Spark streaming消费Kafka的正确姿势
前言在游戏项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单
-
编辑 删除
Spark实现行列转换pivot和unpivot
背景做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者PowerBI的M语言中用拖放组件实现。今天正好需要在pyspark中处理一个数据行列转换，就把这个方法记录下来。首先明确一下啥叫行列转换，因为这个叫法
-
编辑 删除
Spark的分区器（Partitioner）
Spark的分区器（Partitioner）HashPartitioner（默认的分区器） HashPartitioner分区原理是对于给定的key，计算其hashCode，并除以分区的个数取余，如果余数小于0，则余数+分区的个数，最后返回的值就是这个key所属的分区ID，当key为null值是返
-
编辑 删除
Linux环境Spark安装配置及使用
Linux环境Spark安装配置及使用1.认识Spark(1)Spark介绍大数据计算引擎官网：spark.apache.org/官方介绍：ApacheSpark™isaunifiedanalyticsengineforlarge-scaledataprocessing.（ApacheSpark™是
-
编辑 删除
Spark源码分析(1) yarn cluster提交的流程
0前言最近准备要复习一下之前两年来所学Sparkflink等框架的源码，特地把当初的编译的源码拿出来看了一下，在此做个记录方便以后回忆。本文研究源码的Spark版本为2.2.0scala版本为2.11java版本1.81我们先来看一下，spark提交任务的脚本，分别只有client客户端模式和clu
-
编辑 删除
用 Spark 处理复杂数据类型（Struct、Array、Map、JSON字符串等）
处理复杂的数据类型这里是从我个人翻译的《Spark权威指南》第六章摘录的一部分，但我觉得书中这块讲的程度还不够，额外补充了一些当然，更多内容可参见本系列《SparkTheDefinitiveGuideLearning》（Spark权威指南）学习翻译笔记，收录于此：josonle/Spark-The-
-
编辑 删除
spark的排错和调优
1、错误出现scala版本冲突问题TheversionofscalalibraryfoundinthebuildpathofTestSpark(2.10.5)ispriortotheoneprovidedbyscalaIDE(2.11.7).SettingaScalaInstallationChoi
-
编辑 删除
Spark集群安装
实验名称：spark集群安装详细步骤安装Spark集群任务介绍下面将要在三台linux虚拟机上搭建spark集群并启动服务。用到的知识点linux基本命令spark节点master和worker集群安装完成实验需要以下相关知识解压命令tar-zxvfXX.tar.gz-Cdistvi编辑器的使用vi
-
编辑 删除
Spark Streaming执行流程分析
为了探索SparkStreaming的完整执行流程，我们先看下Spark源码项目examples模块里面提供的SparkStreaming案例：org.apache.spark.examples.streaming.DirectKafkaWordCount/**LicensedtotheApache
-
编辑 删除
Spark 快速入门教程
开始体验ApacheSpark是为大规模数据处理而设计的快速通用的运算框架，最初由AMPLab所开发，使用了内存运算技术。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比
-
编辑 删除
使用Spark读取并分析二进制文件
需求客户希望通过spark来分析二进制文件中0和1的数量以及占比。如果要分析的是目录，则针对目录下的每个文件单独进行分析。分析后的结果保存与被分析文件同名的日志文件中，内容包括0和1字符的数量与占比。要求：如果值换算为二进制不足八位，则需要在左侧填充0。可以在linux下查看二进制文件的内容。命令：
-
编辑 删除
Spark源码解析Yarn部署流程（SparkSubmit）
Spark源码解析Yarn部署流程（SparkSubmit））更多文章，可打开微信搜索知了小巷公众号并关注，公众号后台回复资料两个字，有大数据学习视频资料免费领取。一、Yarn部署流程（SparkSubmit）1.1spark-submit脚本查看脚本spark-submit内容：源码位置：spar
-
编辑 删除
如何应对Spark-Redis行海量数据插入、查询作业时碰到的问题
摘要：由于redis是基于内存的数据库，稳定性并不是很高，尤其是standalone模式下的redis。于是工作中在使用Spark-Redis时也会碰到很多问题，尤其是执行海量数据插入与查询的场景中。海量数据查询Redis是基于内存读取的数据库，相比其它的数据库，Redis的读取速度会更快。但是当我
-
编辑 删除
Spark Streaming 场景应用—— Kafka 数据读取方式
概述SparkStreaming支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注SparkStreaming读取Kafka数据的方式。SparkS
-
编辑 删除
逆行者，AI红海里创出自己一片蓝海
编者按：AI是最近火到爆的一个词，AI核心算法技术也是随着社会更多的投入而越来越精细化，我们常见的语音识别、图像识别、人脸识别等技术越来越应用到我们实际生活中，更高级一点的自动驾驶、边境的无人巡防等技术也已经相继落地实用。同时我们也注意到关于AI的算力设计也是未来AI技术领域关注的核心话题，如何优化
-
编辑 删除
【在线技术沙龙】金融行业云原生数据库应用实践
云原生数据库是随着云计算技术的发展衍生出来的一项业务实践技术。企业上云或者自建私有云也伴随着数据库云上迁移，同时需要将数据也同步都云端提供服务，过去本地数据库直接上云可能也可以达到业务的目的，但往往会应付各种云端系统兼容性，可能有些企业会涉及到多个不同的数据库类型，这样对于数据库云端管理很能统一管控
-
编辑 删除
Spark数据输入--DStream生成
之前文章Spark数据输入--RDD生成里讲过，Spark的数据输入，主要有三类，这里我们开始研究一下其中的第二类，即加载流数据，生成DStream。这里以生产上常用的Spark读取Kafka为例，先来一段代码：Map<String,Object>kafkaParameters=newH
-
编辑 删除
从零开始认识 Spark
前言Spark的知识点很多，决定分多P来慢慢讲🤣，比较关键的RDD算子其实已经写了大半，奈何内容还是太多了就不和这篇扯皮的放一起了。老套路，我们点开官网来seesee先吧把这句话翻译一下spark是在Hadoop基础上的改进，是UCBerkeleyAMPlab所开源的类HadoopMapReduce
