ITPub博客

在之前的文章，我们规划了数仓架构，制定了数仓规范，然后在架构和规范的指导下设计了存储模型、构建了 ETL 系统。数仓模型解决了数据存储问题，ETL 解决了数据同步集成计算问题，而调度解决的是自动化问题。我们通过配置调度去周期性定时触发执行各种任务或流程(同步、集成、计算、校验、测试等)并监控他们的运行情况，及时、保质、自动化的满足各种数据使用需求。最后调度还有一个附加的用途，对于新接手的维护项目，

Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。Spark Streaming：对实时数

Vertica是一款基于列存储的MPP （massively parallel processing）架构的数据库。它可以支持存放多至PB（Petabyte）级别的结构化数据。Vertica是由关系数据库大师Michael Stonebraker(2014 年图灵奖获得者)所创建，于2011年被惠普收购并成为其核心大数据平台软件。 列式存储体系架构是Vertica数据库的核心，

首先是架构，GBASE是MPP+shared nothing分布式集群架构，具备高性能、高可用、高扩展等特性，是分布式+集群化管理一种架构方式， 整个系统中不存在单点性能瓶颈和单点故障。其次是性能，GBASE适用场景提供高性价比的通用计算平台，并广泛用于支撑各类数据仓库系统、BI系统和决策支持系统。因为GBASE的数据按列存储，在做数据频繁读取情况下相对其他行存储方式数据库还是存在很大的优势，其中

模式是一个逻辑概念，它将所有相关对象(表、视图、索引、进程、包等)逻辑地组织到一个集合中。一般来说，模式的名称与负责该模式的用户的名称是一致的。建筑物相当于一个数据库。一栋楼有两户，用户a和用户B，当用户a进入自己的房间(schema)时，可以在自己的房间里添加桌子(table)、椅子(view)、沙发(index)等。当然，用户B也可以将不同的桌子、椅子和沙发添加到自己的模式中。嗯，我们知道用户

１．ＳＱＬｕｎｉｏｎ和ｕｎｉｏｎ　ＡＬＬ:union和union all的区别是,union会自动压缩多个结果集合中的重复结果，而union all则将所有的结果全部显示出来，不管是不是重复。Union：对两个结果集进行并集操作，不包括重复行，同时进行默认规则的排序；UNION在进行表链接后会筛选掉重复的记录，所以在表链接后会对所产生的结果集进行排序运算，删除重复的记录再返回结果。实际大部分应用中

3、case whenCASE WHERE v=... THEN 'vvvvv';WHERE v=... THEN 'ffff';ELSE.....;END AS '别名';select name,id,(case when id=34 then salary*2            &n

1.在更多业务场景中我们会使用对应的连接方式进行查询，通常查询主表信息采用左连接等，明细信息可以采用等值连接等。活动表和历史表union all 去重过滤的使用。2.其实join 表视图可以采用对应的表和视图对应的关系，即可以连接表视图，也可以是表结构等。

今天遇到一个oracle 优化问题，因为是数据库是接近2百万的数据，查询出来会比较慢，最后查看了一下是对应的分页问题：使用rownumer解决，而不是伪劣，区别在哪里呢？使用rownum进行排序的时候是先对结果集加入伪劣rownum然后再进行排序，而row_number()在包含排序从句后是先排序再计算行号码。SELECT  * FROM   &

left 使用对应的连接，搞懂这个关联表吧。1.2 IF-THEN-ELSE组合语法格式如下：IF condition THEN      ... TRUE sequence of executeable statements ...  ELSE  &

plsql devloper 可以右键执行对应的属性信息，这和对象的处理是一直的。    2.分组group 多个属性列，别人说我没有搞懂，不能按照分子

由于Spark采用Scala语言进行开发，因此，建议采用Scala语言进行Spark应用程序的编写。Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala语言的名称来自于“可伸展的语言”，从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台（JVM，Java 虚拟机）上，并兼容现有的Java程序。在实

1.今天除了客户回收信息更改之外，其他没有了，都是在评审代码。这里有个对应的分行客户号信息：都是根据分行查询一下信息：主要就是start connec by with 的用法： 条件1 是根结点的限定语句，当然可以放宽限定条件，以取得多个根结点，实际就是多棵树。        条件2 是连接条件，其中用PRIOR表示上一条记录，比如 CONNECT

今天中午去附近的大厦面试了，我自己简单介绍了几分。面者让我去对应的面试步骤：面试简单介绍，职业经历自我的关心的问题：项目的主要内容是什么？技术栈是什么？工作职责是什么？PS：政府，oracle,本质支持，统计展示等，其他支持技术面试官1：SQL 怎么样？技术面试官2： 数据迁移的实现方式和种类：综述一般：

WaterdropWaterdrop 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。Waterdrop尽所能为您解决可能遇到的问题：数据丢失与重复任务堆积与延迟吞吐量低应用到生产环境周期长缺少应用运行状态监控Waterdrop 使用场景海量数据ETL海量数据聚合多源数据处理Waterdrop 的特性简单易用，灵

一、schemaschema 参考链接：数据库对象的集合，一个用户唯一对应schema存放着这个对象的数据，相当于用户的文件夹二、tablespacetablespace 参考链接、参考链接1：用户=商家、表=商品、表空间=仓库一个商家能有很多商品，1个商品只能属于一个商家。一个商品可以放到仓库A，也可以放到仓库B，但不能同时放入A和B。仓库不属于任何商家。商家都有一个默认的仓

GROUP BY 语句用于结合聚合函数，根据一个或多个列对结果集进行分组。SELECT column_name, aggregate_function(column_name)FROM table_nameWHERE column_name operator valueGROUP BY column_name;2、GroupBy语句从英文的字面意义上理解就是“根据by一定的规则进行分组Group”

MapReduceMapReduce是为能够在集群上分布式处理海量数据而量身订做的框架，MapReduce job可以分为三次连续过程。Map 将输入数据划分为key-value集合Shuffle 将Map产生的结果传输给ReduceReduce 则对接收到的key-value进一步处理MapReduce的最大工作单元便是job，每个job又会被分割成map task或reduce task。最经

明确表结构：将负载sql进行的分解：在每次进行的查询时，其实构造一个selelect 的开发环境。依次累计，--然后注释，分别时第一个任务，接着进行下次执行最后在回滚。他们对的也u留守，还不知道什么意思。

对应的数据的处理：重复项配置：高亮显示重复项清楚高亮拒绝录入重复项删除重复项：通常对数据重复进行处理。记录单不知道有用不？下次试试？