-
编辑 删除
深入解析数据仓库中的缓慢变化维
深入解析数据仓库中的缓慢变化维前言最近公司在招聘数仓开发，笔者负责技术方面的一些问题，缓慢变化维 自然是是不可缺少的环节。但出乎笔者预料的是，所有的面试者都没有完整了解 缓慢变化维 的前因后果及处理方式，大都是通过“野路子”碰运气实现几种简单通用的变化方式，甚至有人声称缓慢变化维就是拉链表。因此，笔者将基于 kimball 的数仓理论和自身对其的理解，对缓慢变化维进行全面且深入的介绍。什么是缓慢变
-
编辑 删除
缓慢变化维之拉链表
缓慢变化维之拉链表版权 数据仓库设计维度表时涉及缓慢变化维，针对缓慢变化维，根据业务场景，有两种设计：其一覆盖更新，其二新增插入。针对第一种情况可以实行全面覆盖更新，针对第二种情况可以采取每日的全量备份和拉链表。每日全量备份有很多相同的数据信息，对存储空间是极大的浪费，全面覆盖更新就难以查询历史状态，而拉链表就是为了保留历史数据，又节省空间而设计
-
编辑 删除
根据偏移量分组
with tmp as(select 1001 as id,3 as num from dual union allselect 1001 as id,5 as num from dual union allselect 1001 as id,6 as num from dual union allselect 1001 as id,7 as num from dual union allsele
-
编辑 删除
带分区拷贝数据（自动创建分区）
set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.support.quoted.identifiers=none; set hive.exec.dynamic.partition=true; set hive.exec.
-
编辑 删除
数据库3范式详解
数据库三范式详解1.范式说明1.1 第一范式（1NF）无重复的列 所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能同时有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现重复的属性，就可能需要定义一个新的实体，新的实体由重复的属性构成，新实体与原实体之间为一对多关系。在第一范式（1NF）中表的每一行只包含一个实例的信息。简而言之，第一范
-
编辑 删除
计算好友对数
with temp as( select 'A' as
-
编辑 删除
airflow性能优化
由 创建, 最后修改于目录Airflow 系统结构1.1 单节点结构1.2 高可用结构Airflow 参数调优 2.1 全局调优 2.2 DAG池 2.3 DAG调优Airflow 重启Airflow 安装目录Airflow 日志目录1.Airflow 系统结构1.1 单节点架构1.2 多节点架构解释：Worker Node : 工作节点，可以理解为执行任务
-
编辑 删除
hive常用函数
由 创建, 最终由 修改于 1、日期函数1、to_date：日期时间转日期函数 select to_date('2015-04-02 13:34:12'); 输出：2015-04-022、from_unixtime：转化unix时间戳到当前时区的时间格式 select from_unixtime(1323308943,’y
