spark监控实战
转载请注明出处。更多文章请访问大数据随笔-hadoop/spark/hive1.概述数据准确性,稳定性,时效性是数据开发中需要重点关注的,一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很多精力,所以一个好的数据监控系统或者一个合理的数据监控方案对于数据质量的保证至关重要。本文将展示一种实
kylin入门到实战:cube详述
版权申明:转载请注明出处。文章来源:kylin入门到实战:cube详述-大数据随笔排版乱?请移步原文获得更好的阅读体验1.什么是cube?cube是所有dimession的组合,每一种dimession的组合称之为cuboid。某一有n个dimession的cube会有2n个cuboid,如图:对应
kylin入门到实战:cube详述
版权申明:转载请注明出处。文章来源:kylin入门到实战:cube详述-大数据随笔排版乱?请移步原文获得更好的阅读体验1.什么是cube?cube是所有dimession的组合,每一种dimession的组合称之为cuboid。某一有n个dimession的cube会有2n个cuboid,如图:对应
kylin从入门到实战:实际案例
版权申明:转载请注明出处。文章来源:kylin从入门到实战:具体案例-大数据随笔排版乱?请移步原文获得更好的阅读体验前面两篇文章已经介绍了kylin的相关概念以及cube的一些原理,这篇文章将从一个实际的案例入手,介绍如何在kylin平台上创建一个多维分析项目。1.创建project进入kylin操
Hadoop机架感知
版权申明:转载请注明出处。文章来源:大数据随笔1.数据分块HDFS作为Hadoop中的一个分布式文件系统,而且是专门为它的MapReduce设计,所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外,还必须为MapReduce提供高效的读写性能,那么HDFS是如何做到这些的呢?首先,HDFS将
hadoop分布式缓存
版权申明:转载请注明出处。文章来源:大数据随笔1.前言DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache文件进行管理。DistributedCache可将具体应用相关的、大尺寸的、只读的文
HDFS压缩与解压工具
版权申明:转载请注明出处。文章来源:大数据随笔1.压缩方式及实现类hdfs上解压和压缩文件不像本地这么方便,所以写了一个工具。可以解压和压缩,使用的时候指定压缩或者解压使用的类就行。先列举一下hdfs各种压缩及解压方式的实现类:压缩格式|实现类---|--DEFLATE|org.apache.had
本地及MapReduce作业读取SquenceFile
版权申明:转载请注明出处。文章来源:大数据随笔排版乱?请移步原文获得更好阅读体验1.SquenceFile简介(1)SequenceFile是一个由二进制序列化过的key/value的字节流组成的存储文件。(2)SequenceFile可通过fileWriter.append(key,value)来
kafka的高可靠性实现方案及保障机制
1.文件存储机制前面提到消息在逻辑上以topic存在,而在物理存储上是partition,在实际存储中partition是作为目录存在于broker上。假如server.properties中log.dirs和num.partitions配置如下:log.dirs=/tmp/kafka-logsnu
1.flume简介
版权申明:转载请注明出处。文章来源:大数据随笔1.简介flume是一个分布式、高可用的系统,它用来收集,合并,移动不同来源的大量数据到一个指定的存储。它不仅限于处理文本类的日志数据,还能处理社交媒体数据,二进制数据以及邮件信息等几乎所有的数据格式。2.架构(1)flumesource消费来自于外部传
2.flume sources
版权申明:转载请注明出处。文章来源:2.flumesources-大数据随笔bigdataer.netflume中提供了多种source来应对不同场景的数据传输,最常用的有execsource和spoolingdirectorysource。下面对flume的source做详细的说明。1.Spoo
3.flume channel
版权申明:转载请注明出处。文章来源:3.flumechannel-大数据随笔bigdataer.netchannel可以理解为一种临时的存储,source将event放入channel,sink取走它。flume提供了四种可以用于生产环境的channel。1.MemoryChannel基于内存的c
4.flume sink
1.HDFSSinkhdfssink支持将text类型或者sequenceFile类型的event写入hdfs,同时也支持在写入的时候进行压缩。flume使用hadoop提供的FileSystem相关的操作工具,使用hsync或者hflush的方式将数据写入hdfs。HDFS在写数据务必要保证数据的
flink的datastream必须掌握的内容
flink作为目前比较火的流处理引擎,学好还是很有必要的,但是很多人喜欢问浪尖flink会不会超越spark,我觉得短期内还是不会,而且spark批处理领域还是很高效靠谱的。但是作为大数据开发者,spark和flink并不是必须二选一的,而是都要掌握,所以也不用再问浪尖,关于是否直接跳过spark直
Spark SQL的Parquet那些事儿
Parquet是一种列式存储格式,很多种处理引擎都支持这种存储格式,也是sparksql的默认存储格式。SparkSQL支持灵活的读和写Parquet文件,并且对parquet文件的schema可以自动解析。当SparkSQL需要写成Parquet文件时,处于兼容的原因所有的列都被自动转化为了nul
flink状态管理-keyed
Flink主要有两种基础类型的状态:keyedstate和operatorstate。1KeyedStateKeyedState总是和keys相关,并且只能用于KeyedStream上的函数和操作。你可以将KeyedState视为是已经被分片或分区的OperatorState,每个key都有且仅有一
flink动态表的概念详解
传统的数据库SQL和实时SQL处理的差别还是很大的,这里简单列出一些区别:尽管存在这些差异,但使用关系查询和SQL处理流并非不可能。高级关系数据库系统提供称为物化视图的功能。物化视图定义为SQL查询,就像常规虚拟视图一样。与虚拟视图相比,物化视图缓存查询的结果,使得在访问视图时不需要执行查询。缓存的
重要|Flink SQL与kafka整合的那些事儿
flink与kafka整合是很常见的一种实时处理场景,尤其是kafka0.11版本以后生产者支持了事务,使得flink与kafka整合能实现完整的端到端的仅一次处理,虽然这样会有checkpoint周期的数据延迟,但是这个仅一次处理也是很诱人的。可见的端到端的使用案例估计就是前段时间oppo的案例分
面试|Flink实现PageRank算法
PageRank估计是很多面试场合上镜率比较高的吧,面试Spark的时候会被问到,最近flink热,估计也会被问到吧,浪尖就在这里帮大家解决这个疑难杂症。算法常见的原题是:pagerank的算法会维护两个数据集:一个由(pageID,linkList)的元素组成,包含每个页面的相邻页面的列表;另一个
为啥spark 的broadcast要用单例模式
很多用SparkStreaming的朋友应该使用过broadcast,大多数情况下广播变量都是以单例模式声明的有没有粉丝想过为什么?浪尖在这里帮大家分析一下,有以下几个原因:广播变量大多数情况下是不会变更的,使用单例模式可以减少sparkstreaming每次job生成执行,重复生成广播变量带来的开