-
编辑 删除
gStore的基本用法
以下为gStore的基本用法，包括gbuild、gquery、ghttp以及JavaAPI的使用。gStore的官方文档提供了非常详细的使用方式，这里对实践过程进行记录。另外，再次建议：仔细看文档！gbuildgbuild用于由RDF三元格式文件build一个新的数据库。也就是说，建一个gStore
-
编辑 删除
gstore的安装和使用
按照gstore的部署方案在unbuntu使用docker进行部署在部署的过程中遇到的问题：（1）直接下载gstore源码，然后依次执行，makepre,make等操作，发现bin文件夹下没有生成可执行的命令文件如（gbuild,gquery等），遂该方法作罢（2）使用docker安装，方法一即构建
-
编辑 删除
Spark概念和框架介绍
一：什么是sparkApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎，由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)开发，可用来构建大型的、低延迟的数据分析应用程序。Spark在2013年6月进入Apache成为孵化项目，8个
-
编辑 删除
Spark SQL小文件问题在OPPO的解决方案
本文来自OPPO互联网基础技术团队，转载请注名作者。同时欢迎关注我们的公众号：OPPO_tech，与你分享OPPO前沿互联网技术及活动。SparkSQL小文件是指文件大小显著小于hdfsblock块大小的的文件。过于繁多的小文件会给HDFS带来很严重的性能瓶颈，对任务的稳定和集群的维护会带来极大的挑
-
编辑 删除
Spark源码阅读的正确打开方式
Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面，吊打其他的大数据处理框架。Spark至今只经历过1.x、2.x和3.x三个大版本的变化，在核心实现上，我们在Github能看到的最早的实现是0.5版本，这个版本只有1万多行代码
-
编辑 删除
Spark内存模型介绍及Spark应用内存优化踩坑记录
Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理，有助于更好的开发Spark应用程序和进行性能调优。同时，有效率的内存使用是Spark应用高效性能表现的关键所在，不合理的内存使用就会导致Spark性能表现的很糟糕。在执行Sp
-
编辑 删除
Spark 的核心概念 RDD
1.RDD概述1.1什么是RDD?RDD(ResilientDistributedDataset)叫着弹性分布式数据集，是Spark中最基本的抽象，它代表一个不可变、可分区、里面元素可以并行计算的集合。RDD具有数据流模型特点：自动容错、位置感知性调度和可伸缩。RDD允许用户在执行多个查询时，显示地
-
编辑 删除
Apache Flink和Spark有区别吗
1、Spark在SQL上的优化，尤其是DataFrame到DataSet其实是借鉴的Flink的。Flink最初一开始对SQL支持得就更好。2、Spark的cacheinmemory在Flink中是由框架自己判断的，而不是用户来指定的，因为Flink对数据的处理不像Spark以RDD为单位，就是一种
-
编辑 删除
Spark 之 运行架构
1.运行架构Spark框架的核心是一个计算引擎，它采用了标准master-slave的结构。Spark执行时的基本结构。图中的Driver表示master，负责管理整个集群中的作业任务调度。图中的Executor则是slave，负责实际执行任务2.核心组件2.1DriverSpark驱动器节点，用于
-
编辑 删除
Spark核心编程 的 三大数据结构
介绍Spark计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：RDD:弹性分布式数据集累加器：分布式共享只写变量广播变量：分布式共享只读变量一、RDD1.什么是RDDRDD（ResilientDistributedDataset）叫做弹性
-
编辑 删除
Spark streaming消费Kafka的正确姿势
前言在游戏项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单
-
编辑 删除
Spark实现行列转换pivot和unpivot
背景做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者PowerBI的M语言中用拖放组件实现。今天正好需要在pyspark中处理一个数据行列转换，就把这个方法记录下来。首先明确一下啥叫行列转换，因为这个叫法
-
编辑 删除
Spark的分区器（Partitioner）
Spark的分区器（Partitioner）HashPartitioner（默认的分区器） HashPartitioner分区原理是对于给定的key，计算其hashCode，并除以分区的个数取余，如果余数小于0，则余数+分区的个数，最后返回的值就是这个key所属的分区ID，当key为null值是返
-
编辑 删除
Linux环境Spark安装配置及使用
Linux环境Spark安装配置及使用1.认识Spark(1)Spark介绍大数据计算引擎官网：spark.apache.org/官方介绍：ApacheSpark™isaunifiedanalyticsengineforlarge-scaledataprocessing.（ApacheSpark™是
-
编辑 删除
Spark源码分析(1) yarn cluster提交的流程
0前言最近准备要复习一下之前两年来所学Sparkflink等框架的源码，特地把当初的编译的源码拿出来看了一下，在此做个记录方便以后回忆。本文研究源码的Spark版本为2.2.0scala版本为2.11java版本1.81我们先来看一下，spark提交任务的脚本，分别只有client客户端模式和clu
-
编辑 删除
用 Spark 处理复杂数据类型（Struct、Array、Map、JSON字符串等）
处理复杂的数据类型这里是从我个人翻译的《Spark权威指南》第六章摘录的一部分，但我觉得书中这块讲的程度还不够，额外补充了一些当然，更多内容可参见本系列《SparkTheDefinitiveGuideLearning》（Spark权威指南）学习翻译笔记，收录于此：josonle/Spark-The-
-
编辑 删除
spark的排错和调优
1、错误出现scala版本冲突问题TheversionofscalalibraryfoundinthebuildpathofTestSpark(2.10.5)ispriortotheoneprovidedbyscalaIDE(2.11.7).SettingaScalaInstallationChoi
-
编辑 删除
Spark集群安装
实验名称：spark集群安装详细步骤安装Spark集群任务介绍下面将要在三台linux虚拟机上搭建spark集群并启动服务。用到的知识点linux基本命令spark节点master和worker集群安装完成实验需要以下相关知识解压命令tar-zxvfXX.tar.gz-Cdistvi编辑器的使用vi
-
编辑 删除
Spark Streaming执行流程分析
为了探索SparkStreaming的完整执行流程，我们先看下Spark源码项目examples模块里面提供的SparkStreaming案例：org.apache.spark.examples.streaming.DirectKafkaWordCount/**LicensedtotheApache
-
编辑 删除
Spark 快速入门教程
开始体验ApacheSpark是为大规模数据处理而设计的快速通用的运算框架，最初由AMPLab所开发，使用了内存运算技术。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比
