-
编辑 删除
Java并发编程1：线程安全性
线程安全的核心在于对状态访问进行管理，特别是对共享的和可变的状态进行访问。换句话说，对于不可变或者不共享的状态进行访问就不会存在线程安全性问题。共享意味着变量可以由多个线程访问。可变意味着变量的值在其生命周期可能发生变化。无状态对象一定是线程安全的。当在无状态的类中添加一个状态时，如果该状态完全由线
-
编辑 删除
Apache Kylin Job 生成和调度详解
构建Cube的JobJob的生成ExecutableChainedExecutable单机调度单机锁分布式调度分布式调度如何实现HA分布式调度开发反思总结KylinJob生成和调度反思在ApacheKylinCube构建原理一文中我们知道了Cube的构建需要经过一系列的Job才能完成，那这些Job是
-
编辑 删除
Apache Kylin 维度优化指南
为什么需要维度优化如何计算1个聚集组的维度组合数如何进行维度优化聚集组衍生维度强制维度层次维度联合维度ExtendedColumnHBaseRowkey顺序本文主要介绍ApacheKylin进行维度优化的常见方法。为什么需要维度优化因为如果不进行任何维度优化，直接将所有的维度放在一个聚集组里，Kyl
-
编辑 删除
Apache Kylin Cube 构建原理
ApacheKylin是什么OLAP是什么Kylin如何实现超大数据集的秒级多维分析查询Kylin的预计算是如何实现的Cube和Cuboid是什么Cuboid的维度和指标如何转换为HBase的KV结构Cube构建过程重要源码分析不同类型的指标是如何进行聚合的SQL查询是如何转化为HBase的Scan
-
编辑 删除
我的书单
分享下我近期阅读过比较优秀的书籍：综合《哪来的天才——练习中的平凡与伟大》★★★★★推荐理由：1不会再将智商不高作为失败的借口；2练习的本质是长时间做那些人们不能舒舒服服做到的事情；2针对性的，科学的刻意练习是十分重要且必要的；3更加相信勤奋的力量。《数学之美》★★★★★推荐理由：1那些看似高深的技
-
编辑 删除
Apache Kylin 查询指标
Kylin1.5.4版本将支持收集查询指标到JMX，本文将介绍收集查询指标的原因，查询指标的具体内容和含义，查询指标的日常作用，如何收集查询指标。Kylin为什么需要查询指标？Kylin查询指标的具体内容和含义Kylin查询指标的日常作用如何收集Kylin查询指标Kylin为什么需要查询指标？目前K
-
编辑 删除
读书笔记——《智能时代》
数据——人类建造文明的基石数据最大的作用在于承载信息数据信息知识通过测量星球的位置和对应的时间，就得到数据通过这些数据得到星球运动的轨迹，就是信息通过信息总结出开普勒三定律，就是知识使用数据的标准流程获取数据——>分析数据-->建立模型-->预测未知数据的相关性在如今大数据背景下，
-
编辑 删除
算法之美——二分法
什么时候用二分？二分法模板的四点要素二分法关键classical-binary-searchfirst-position-of-targetlast-position-of-targetsearch-insert-positionsearch-a-2d-matrixsearch-a-2d-matri
-
编辑 删除
读书笔记——《马云，我的世界从不言败》
要坦然面对自己不成功的过去男人的胸怀是委屈撑大的要不怕被嘲笑，不怕丢脸要能从每一个影响过你的人身上找到各种机会，然后不断学习，从而反过来影响别人帮助朋友应该不计回报，真心去帮助朋友，我们的每个善行在将来终将得到回报遵守自己的诺言离开公司，学习后不要去抱怨，抱怨是没有修养的体现奋斗的动力并非财富而是梦
-
编辑 删除
LRU和LFU缓存置换算法
为什么需要CacheCache是什么Cache无处不在常用的Cache服务器为什么需要Cache为什么不全放在Cache中为什么Cache需要置换LFUCache置换算法LRUCache置换算法参考资料为什么需要Cache为了解决俩个存储介质之间的速度不匹配，比如CPU和内存，比如内存和磁盘，比如本
-
编辑 删除
HBase 集群监控系统构建
一集群为什么需要监控系统二如何构建HBase集群监控系统三HBase集群监控项采集3.1主机基本监控项3.2JVM监控项3.3HBase集群各系统存活监控项3.4HBase集群各系统JMX监控项3.5HBase集群web页面监控项3.6HBase集群特有监控项3.7HBase集群表粒度和Region
-
编辑 删除
Hive 数据 bulkload 导入 HBase
Hive数据bulkload导入HBase原理Hive数据bulkload导入HBase步骤Hive数据bulkload导入HBase注意事项Hive数据bulkload导入Hbase核心代码Hive数据bulkload导入HBase原理主要工作就是将Hive的数据格式转化为HBase中的数据格式。
-
编辑 删除
系统设计方法论
什么是系统设计算法面试和系统设计面试的区别系统设计面试考察点系统设计面试的俩种形式什么是好的设计系统设计5步SNAKE分析法：1Scenario场景2Needs需求3Application应用4Kilobyte数据5Evolve进化总结什么是系统设计为满足特定需求而设计系统的架构，组件，模块，接口，
-
编辑 删除
HBase 数据导入Hive
HBase数据导入Hive原理HBase数据导入Hive基本步骤HBase数据导入Hive注意问题HBase数据导入Hive核心代码HBase数据导入Hive原理主要工作就是将HBase的数据格式转化为Hive中的数据格式。HBase数据导入Hive基本步骤跑一个MapRudece作业，在Map阶段
-
编辑 删除
Mapreduce导入导出Hbase0.98代码示例
1：Mapreduce从HDFS导入Hbase0.98代码示例2：Mapreduce从Hbase导入Hbase代码示例3:Mapreduce导入Hbase时去重1：Mapreduce从HDFS导入Hbase0.98代码示例源文件格式：175.44.30.93--[29/Sep/2013:00:10:
-
编辑 删除
Sqoop从Hive导入Mysql失败解决方案
测试Sqoop是否可以连接到mysql用Sqoop将mysql数据导入HDFS用Sqoop将HDFS数据导入mysql用Sqoop将mysql数据导入HiveSqoop从Hive导入mysql注意事项Sqoop从Hive导入mysql失败终极解决方案测试Sqoop是否可以连接到mysqlsqoopl
-
编辑 删除
阿里云ECS的Hadoop2.6.0|Zookeeper3.4.6|Hbase0.98.13集群搭建
今天小梦从阿里云ECS裸机开始给大家一步一步演示一下Hadoop2.6.0|Zookeeper3.4.6|Hbase；0.98.13集群搭建。1：修改hostname2:挂载数据盘3：修改/etc/hosts4:SSH免密码登录5:安装JDK1.76:安装maven:(只在kks1节点上安装即可)7
-
编辑 删除
HBase Schema 设计
基本概念每张表只有一个索引：rowkey没有二级索引行按照rowkey排序：rowkey按照字典序排序行级别的操作都是原子的例如：你要更新表中的俩行，可能出现一行更新成功，一行更新失败的情况。Schema设计中应该避免跨行的原子性请求。读写应该均匀分布到整个表通常，应该把单个实体的所有信息保存在单行
-
编辑 删除
HBase Rowkey设计
建立Schema列族的数量列族的基数Rowkey设计热点单调递增rwokey(时间连续序列)尽量减少行和列的大小版本号最大版本号最小版本号SchemaDesignCaseStudies日志数据和时间序列数据日志数据和增强型时间序列数据CaseStudy-Customer/OrderCaseStudy
-
编辑 删除
读书笔记——《大规模分布式存储系统原理解析和架构实战》
概述分布式存储技术数据分布：均匀，跨机器操作一致性容错负载均衡事务和并发控制易用性压缩/解压缩数据类型非结构化数据：图片，音频结构化数据：二维关系表。数据模式和内容分开半结构化数据：模式和内容混在一起。HTML分布式存储分类：分布式文件系统：Blob对象，定长块，大文件分布式键值系统：简单的半结构化
