ITPub博客

阿里云键值存储（Aliyun Key-Value Store，简称KVStore）是兼容开源Redis协议的Key-Value类型在线存储服务。KVStore支持字符串(String)、链表(List)、集合(Set)、有序集合(SortedSet)、哈希表(Hash)等多种数据类型，及事务（Transactions）、消息订阅与发布（Pub/Sub）等功能。通过内存+硬盘的存储方式，KVStor

kafka能不能作为数据存储,

Spark SQL也支持直接运行SQL查询的接口，不用写任何代码。运行Thrift JDBC/ODBC服务器./sbin/start-thriftserver.sh这个脚本接受任何的bin/spark-submit命令行参数，加上一个--hiveconf参数用来指明Hive属性。你可以运行./sbin/start-thriftserver.sh --help来获得所有可用选项的完整列表。默认情况下

Spark SQL性能调优对于某些工作负载，可以在通过在内存中缓存数据或者打开一些实验选项来提高性能。在内存中缓存数据Spark SQL可以通过调用sqlContext.cacheTable("tableName")方法来缓存使用柱状格式的表。然后，Spark将会仅仅浏览需要的列并且自动地压缩数据以减少内存的使用以及垃圾回收的压力。你可以通过调用sqlContext.uncac

1.spark内核架构常用术语Application:基于spark程序，包含一个driver program(客户端程序)和多个executeor（线程）Driver Progrom:代表着sparkcontextexecuteor:某个Application运行在worker node上的一个进程，该进程负责运行Task,并且将数据存储到内存或者磁盘上，每个Application都有各自独立的

This playground consists of a long living Flink Session Cluster and a Kafka Cluster.A Flink Cluster always consists of a JobManager and one or more Flink TaskManagers. The Job

Fraud Detection with the DataStream API #FraudDetectionJob.javapackage spendreport; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.s

目前主流的流式计算框架有Storm/Jstorm、Spark Streaming、Flink/Blink三种。Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。在Storm中，需要先设计一个实时计算结构，我们称之为拓扑（topology）。之后，这个拓扑结构会被提交给集群，其中主节点（master

实时数据处理愈来愈重要，流式数据处理有着更高的处理效率和成本控制能力。Flink在德语中意味着快速和灵敏，用来体现流式数据处理器速度快和灵活性强等特色。Apache是流式框架中同时支持低延迟、高吞吐、Exactly-once的，同时提供了基于流式计算引擎处理批量数据的计算能力，真正意义上实现了批流统一，同时随着阿里Blind的开源，极大地加强了Flink对批量计算领域的支持，编程主要基于集中式的关

Storm是一个开源的，分布的，可靠的，容错的数据流处理系统。Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理数以百万计的消息）。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。Storm集群的输入流由一个被称

Spark on YarnclientCluster本质区别，driver位置不同1)有哪些不同得进程？2)分别有什么作用？3)Spark作业执行流程是什么样的--master yarnCoarseGrainedExecutorBackend 默认executor有两个CoarseGrainedExecutorBackend SparkSubmitApplicationMast

1 Split 阶段在 mapreduce 中的 map task 开始之前，将文件按照指定的大小切割成若干个部分，每一部分称为一个 split，默认是 split 的大小与 block 的大小相等，均为 128MB。split 大小由 minSize、maxSize、blocksize 决定，以 wordcount 代码为例，以下是 main()方法进入waitForCompletion(tru

① hadoop-yarn-api主要实现了 clients 和 ResourceManager ，clients 与 HistoryServer，ApplicationMaster 和 ResourceManager，clients 与 SharedCacheManager，ApplicationMaster 与 NodeManager 等组件之间的 RPC 协议。② had

① hadoop-yarn-api主要实现了 clients 和 ResourceManager ，clients 与 HistoryServer，ApplicationMaster 和 ResourceManager，clients 与 SharedCacheManager，ApplicationMaster 与 NodeManager 等组件之间的 RPC 协议。② had

HDFS 如何实现有状态的高可用架构HDFS 如何解决单机内存受限问题HDFS 支持亿级流量的密码SecondaryNameNode 作用1.1 HDFS 架构演进之路Hadoop 大版本有三个，Hadoop1、hadoop2、Hadoop3,对应的HDFS 也有三个版本 HDFS1、HDFS2、HDFS3，本文会介绍 三个版本之间的架构区别Namenode 主要是接收客户端的请求和负责元数据管理

StormTwitter流式处理Twitter 的新流式大数据分析解决方案S4Yahoo!流式处理来自 Yahoo! 的分布式流计算平台HadoopApache批处理MapReduce 范式的第一个开源实现SparkUC Berkeley AMPLab批处理/流处理支持内存中数据集和恢复能力的最新分析平台DiscoNokia批处理Nokia 的分布式 MapReduce 框架HPCCLexisNe

Spark Streaming是构建在Spark Core基础之上的流处理框架，是Spark非常重要的组成部分。什么是DStreamSpark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，表示连续不断的数据流。DStream抽象是Spark Stre

hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的三维有序存储。rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。rowkey是以字典顺序排序的，存储的是字

Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。Spark Streaming：对实时数

由于Spark采用Scala语言进行开发，因此，建议采用Scala语言进行Spark应用程序的编写。Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala语言的名称来自于“可伸展的语言”，从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台（JVM，Java 虚拟机）上，并兼容现有的Java程序。在实