ITPub博客

① hadoop-yarn-api主要实现了 clients 和 ResourceManager ，clients 与 HistoryServer，ApplicationMaster 和 ResourceManager，clients 与 SharedCacheManager，ApplicationMaster 与 NodeManager 等组件之间的 RPC 协议。② had

HDFS 如何实现有状态的高可用架构HDFS 如何解决单机内存受限问题HDFS 支持亿级流量的密码SecondaryNameNode 作用1.1 HDFS 架构演进之路Hadoop 大版本有三个，Hadoop1、hadoop2、Hadoop3,对应的HDFS 也有三个版本 HDFS1、HDFS2、HDFS3，本文会介绍 三个版本之间的架构区别Namenode 主要是接收客户端的请求和负责元数据管理

hbase 架构分析：大：一个表可以有上亿行，上百万列。面向列：面向列簇的存储和权限控制，列簇独立检索。稀疏：对于空（null）的列，并不占用存储空间，因此，表可以设计的非常稀疏。无模式（no Schema）：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表中不同的行可以有截然不同的列。数据多版本：每个单元格中的数据可以有多个版本，默认情况下，版本号自动分配，版本号就是单

StormTwitter流式处理Twitter 的新流式大数据分析解决方案S4Yahoo!流式处理来自 Yahoo! 的分布式流计算平台HadoopApache批处理MapReduce 范式的第一个开源实现SparkUC Berkeley AMPLab批处理/流处理支持内存中数据集和恢复能力的最新分析平台DiscoNokia批处理Nokia 的分布式 MapReduce 框架HPCCLexisNe

大学中除了网络安全外，出来做应用的多，涉及的主要是应用安全：可以对应用程序执行多种类型的测试，最流行的测试是 SAST、DAST 和 IAST，但静态应用程序安全测试 (SAST) 是稳妥而又有效的测试。也就是说，SAST 是一种分析应用程序源代码的测试。什么是 SAST?SAST ( 静态应用程序安全测试)是一种安全测试，用于分析源代码中的漏洞和缺陷。这与其他形式的安全测试形成对比，其

Spark Streaming是构建在Spark Core基础之上的流处理框架，是Spark非常重要的组成部分。什么是DStreamSpark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，表示连续不断的数据流。DStream抽象是Spark Stre

Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。二、Hive and SparkSQL SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的

hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的三维有序存储。rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。rowkey是以字典顺序排序的，存储的是字

1、oracle当oracle单表的数据量大于2000万行时，建议进行水平分拆2、mysql当mysql单表的数据量大于1000万行时，建议进行水平分拆。单表容量到了1000W以上基本上稍微复杂一点的SQL都需要仔细优化，这时候的SQL耗时主要集中在磁盘IO上，数据命令缓存的概率降低，总之不好搞，如果是正常的互联网项目，提前分库分表，在前期能做的先做了，后面会省很多时间处理数据迁移的事情，数据操作

在之前的文章，我们规划了数仓架构，制定了数仓规范，然后在架构和规范的指导下设计了存储模型、构建了 ETL 系统。数仓模型解决了数据存储问题，ETL 解决了数据同步集成计算问题，而调度解决的是自动化问题。我们通过配置调度去周期性定时触发执行各种任务或流程(同步、集成、计算、校验、测试等)并监控他们的运行情况，及时、保质、自动化的满足各种数据使用需求。最后调度还有一个附加的用途，对于新接手的维护项目，

Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。Spark Streaming：对实时数

Vertica是一款基于列存储的MPP （massively parallel processing）架构的数据库。它可以支持存放多至PB（Petabyte）级别的结构化数据。Vertica是由关系数据库大师Michael Stonebraker(2014 年图灵奖获得者)所创建，于2011年被惠普收购并成为其核心大数据平台软件。 列式存储体系架构是Vertica数据库的核心，

首先是架构，GBASE是MPP+shared nothing分布式集群架构，具备高性能、高可用、高扩展等特性，是分布式+集群化管理一种架构方式， 整个系统中不存在单点性能瓶颈和单点故障。其次是性能，GBASE适用场景提供高性价比的通用计算平台，并广泛用于支撑各类数据仓库系统、BI系统和决策支持系统。因为GBASE的数据按列存储，在做数据频繁读取情况下相对其他行存储方式数据库还是存在很大的优势，其中

模式是一个逻辑概念，它将所有相关对象(表、视图、索引、进程、包等)逻辑地组织到一个集合中。一般来说，模式的名称与负责该模式的用户的名称是一致的。建筑物相当于一个数据库。一栋楼有两户，用户a和用户B，当用户a进入自己的房间(schema)时，可以在自己的房间里添加桌子(table)、椅子(view)、沙发(index)等。当然，用户B也可以将不同的桌子、椅子和沙发添加到自己的模式中。嗯，我们知道用户

１．ＳＱＬｕｎｉｏｎ和ｕｎｉｏｎ　ＡＬＬ:union和union all的区别是,union会自动压缩多个结果集合中的重复结果，而union all则将所有的结果全部显示出来，不管是不是重复。Union：对两个结果集进行并集操作，不包括重复行，同时进行默认规则的排序；UNION在进行表链接后会筛选掉重复的记录，所以在表链接后会对所产生的结果集进行排序运算，删除重复的记录再返回结果。实际大部分应用中

3、case whenCASE WHERE v=... THEN 'vvvvv';WHERE v=... THEN 'ffff';ELSE.....;END AS '别名';select name,id,(case when id=34 then salary*2            &n

1.在更多业务场景中我们会使用对应的连接方式进行查询，通常查询主表信息采用左连接等，明细信息可以采用等值连接等。活动表和历史表union all 去重过滤的使用。2.其实join 表视图可以采用对应的表和视图对应的关系，即可以连接表视图，也可以是表结构等。

今天遇到一个oracle 优化问题，因为是数据库是接近2百万的数据，查询出来会比较慢，最后查看了一下是对应的分页问题：使用rownumer解决，而不是伪劣，区别在哪里呢？使用rownum进行排序的时候是先对结果集加入伪劣rownum然后再进行排序，而row_number()在包含排序从句后是先排序再计算行号码。SELECT  * FROM   &

left 使用对应的连接，搞懂这个关联表吧。1.2 IF-THEN-ELSE组合语法格式如下：IF condition THEN      ... TRUE sequence of executeable statements ...  ELSE  &

plsql devloper 可以右键执行对应的属性信息，这和对象的处理是一直的。    2.分组group 多个属性列，别人说我没有搞懂，不能按照分子