ITPub博客

预备知识WhatisKylinKylin构建时的数据格式转换Kylin查询时的数据格式流转WhatisDruidStorageWhyKylinonDruidStorageHowKylinonDruidStorage1Druid新增Binary指标2Kylin构建侧修改3查询侧修改4移除Kylin查询

WhatisDruidWhyDruidDruid架构ColumnSegmentSegment的存储格式指标列的存储格式String维度的存储格式Segment生成过程Segmentload过程SegmentQuery过程Druid的编码和压缩总结参考资料本文主要介绍DruidStorage的原理，包

前言背景HBase的HFileShuffle排序实现原理Kylin目前的CubeHFileJob实现原理Kylin的HFileShuffle排序实现原理总结前言在ApacheKylinCube构建原理一文中我们介绍了Kylin的Cube构建原理，我们知道目前Kylin的Cube最终是要存储在HBas

历经20天准备，30天逐个Project迁移，Kylin跨机房迁移终于完成，本次迁移累计迁移Project20+，Cube200+,其中8个Project以对用户零影响的方式完成迁移。本文对整个迁移过程进行回顾，总结。(下文的S指迁移的源机房和集群，D指迁移的目标机房和集群)一背景二目标三方案简介四

1WhatIndexR2WhyIndexR3IndexRArchitecture4IndexRStorage5IndexRIndex6IndexR常见问题7IndexR亮点8IndexR不足9IndexR是最快的数据库吗？10参考资料1WhatIndexRIndexR是由舜飞科技研发的实时OLAP系

1技术和业务的关系2系统的发展之路3技术架构演进五彩石异地多活混合云OceanBase手机淘宝蚂蚁技术架构演进4大型系统的稳定保障容量规划全链路压测全链路功能自动化备战实时业务审计故障演练系统自我保护5技术拓展商业边界1技术和业务的关系技术和业务的关系类似经济基础和上层建筑的关系。我们都知道经济基础

MakeSparkcouldconnectHBaseusingKerberosUseHDFSmanagethemetadataforSparkCubingTheSparkconfigurationforSparkCubingTheperformancetestresultofSparkCubingT

SparkCubing简介SparkCubing访问Kerberos认证的HBase解1SparkCubing访问Kerberos认证的HBase解2SparkCubing参数配置SparkCubing的构建性能SparkCubing的资源消耗SparkCubing的优缺点SparkCubing的适

Kylin2.0支持了近似百分位函数，是基于TDigest实现的，兴趣使然，就阅读了TDigest的论文和代码。这是我分享的PPT:http://blog.bcmeng.com/pdf/TDigest.pdf建议PPT和下面的补充说明结合着看，应该就可以理解TDigest算法。TDigest是一个简

Kylin2.0的升级节奏升级的大原则升级的目标1Kylin2.0升级流程1.1Kylin2.0代码合入1.2配置更新和梳理1.3兼容性测试1.4Cube构建测试1.5Cube查询测试1.6web测试2升级中暴露的问题2.1查询机灰度中暴露的问题2.2上线Staging和Prod后Cube构建暴露的

事故复盘和原因分析连续两次Kinit失败的原因Kerberos认证失败为什么会导致Http请求阻塞事故的逻辑链条事故的影响范围为什么在对Kylin代码有高度掌控力的情况下处理时间长达3个小时Kylin运维上的改进Kylin代码上的改进事故的反思从2016年7月毕业正式入职美团点评负责Kylin以来，

2016总结重要事件成长变化感悟总结2017规划P1英语听，说，读，写提升P1锻炼减肥P1读书P1Kylin系统的掌控力进一步提高P1熟悉各OLAP系统的原理P1掌握SQL的解析和编译过程。P2熟悉分布式列式存储系统的实现原理。P2学习总结常见的大数据算法，协议，系统。2016总结重要事件12016

问题背景优化1将精确去重指标拆分HBase列族优化2移除不必要的toString避免bitmapdeserialize优化3获取bitmap的字节长度时避免deserialize优化4无需上卷聚合的精确去重查询优化总结反思相关KylinJIRA本文记录了我将ApacheKylin超高基数的精确去重指