ITPub博客

一集群为什么需要监控系统二如何构建HBase集群监控系统三HBase集群监控项采集3.1主机基本监控项3.2JVM监控项3.3HBase集群各系统存活监控项3.4HBase集群各系统JMX监控项3.5HBase集群web页面监控项3.6HBase集群特有监控项3.7HBase集群表粒度和Region

Hive数据bulkload导入HBase原理Hive数据bulkload导入HBase步骤Hive数据bulkload导入HBase注意事项Hive数据bulkload导入Hbase核心代码Hive数据bulkload导入HBase原理主要工作就是将Hive的数据格式转化为HBase中的数据格式。

什么是系统设计算法面试和系统设计面试的区别系统设计面试考察点系统设计面试的俩种形式什么是好的设计系统设计5步SNAKE分析法：1Scenario场景2Needs需求3Application应用4Kilobyte数据5Evolve进化总结什么是系统设计为满足特定需求而设计系统的架构，组件，模块，接口，

HBase数据导入Hive原理HBase数据导入Hive基本步骤HBase数据导入Hive注意问题HBase数据导入Hive核心代码HBase数据导入Hive原理主要工作就是将HBase的数据格式转化为Hive中的数据格式。HBase数据导入Hive基本步骤跑一个MapRudece作业，在Map阶段

1：Mapreduce从HDFS导入Hbase0.98代码示例2：Mapreduce从Hbase导入Hbase代码示例3:Mapreduce导入Hbase时去重1：Mapreduce从HDFS导入Hbase0.98代码示例源文件格式：175.44.30.93--[29/Sep/2013:00:10:

测试Sqoop是否可以连接到mysql用Sqoop将mysql数据导入HDFS用Sqoop将HDFS数据导入mysql用Sqoop将mysql数据导入HiveSqoop从Hive导入mysql注意事项Sqoop从Hive导入mysql失败终极解决方案测试Sqoop是否可以连接到mysqlsqoopl

今天小梦从阿里云ECS裸机开始给大家一步一步演示一下Hadoop2.6.0|Zookeeper3.4.6|Hbase；0.98.13集群搭建。1：修改hostname2:挂载数据盘3：修改/etc/hosts4:SSH免密码登录5:安装JDK1.76:安装maven:(只在kks1节点上安装即可)7

基本概念每张表只有一个索引：rowkey没有二级索引行按照rowkey排序：rowkey按照字典序排序行级别的操作都是原子的例如：你要更新表中的俩行，可能出现一行更新成功，一行更新失败的情况。Schema设计中应该避免跨行的原子性请求。读写应该均匀分布到整个表通常，应该把单个实体的所有信息保存在单行

建立Schema列族的数量列族的基数Rowkey设计热点单调递增rwokey(时间连续序列)尽量减少行和列的大小版本号最大版本号最小版本号SchemaDesignCaseStudies日志数据和时间序列数据日志数据和增强型时间序列数据CaseStudy-Customer/OrderCaseStudy

概述分布式存储技术数据分布：均匀，跨机器操作一致性容错负载均衡事务和并发控制易用性压缩/解压缩数据类型非结构化数据：图片，音频结构化数据：二维关系表。数据模式和内容分开半结构化数据：模式和内容混在一起。HTML分布式存储分类：分布式文件系统：Blob对象，定长块，大文件分布式键值系统：简单的半结构化

注：以下图片均来自互联网HBase是什么HBaseVSHDFSHBaseVSRDBMSRDBMS的优点RDBMS的缺陷列式存储Hbase特性Hbase架构ClientZookeeperMasterRegionServerHBase数据模型RowKeyColumnFamilyColumnVersion

设计模式模式是在某个情境下，针对某问题的某种解决方案模式不是代码，是针对特定问题的通用解决方案模式不是被发明，而是被发现模式分类创建型模式创建型模式涉及到对象实例化，这类模式都提供一个方法，将客户从所需要实例化的对象中解耦。单件模式（SinglePattern）抽象工厂模式（AbstractFact

文件可以被分为俩类，一类位于Hbase根目录下，另一类位于根目录的表目录下。根目录配置项<name>hbase.rootdir</name>默认“/hbase”根级文件###/hbase/WALs被HLog实例管理的WAL文件。###/hbase/WALs/data-hbas

git基础自动补全git配置git是什么建立仓库提交更新忽略文件git删除移动文件查看log查看ignore文件查看仓库状态gitdiffgitcheckoutgit分支gitrebase本地无法直接gitpush时遇到冲突时的分支合并改变和同步远程仓库gitfetchgittaggitpatchg

秒杀难点库存只有一份，所有人会在集中的时间读和写这些数据。秒杀问题对现有网站业务的冲击高并发情况以及数据库的负载突然增加的网络和服务器带宽直接下单防止机器秒杀秒杀方案秒杀系统独立部署秒杀商品页面静态化租借秒杀活动网络带宽动态生成随机下单页面URL将请求尽量拦截在系统上游充分利用缓存秒杀优化细节浏览器

影响MapReduce的主要因素潜在影响因素性能调优mapred-site.xmlhdfs-site.xml检测系统瓶颈善于使用linux相关命令通过计数器识别资源薄弱环节强化map和reduce任务优化mapreduce任务Hadoop最佳实践影响MapReduce的主要因素硬件因素：CPU磁盘I

计算机系统概述基本构成中断多中断的处理方式高速缓冲存储器存储器的层次结构高速缓存的设计I/O操作的三种技术操作系统概述操作系统的内核多道程序设计实地址和虚地址内存管理的任务操作系统的控制结构进程进程状态进程阻塞和挂起进程抢占进程映像交换进程间通信进程控制块用户模式和内核模式创建新进程的步骤模式切换和

Meta表作用我们知道HBase的表是会分割为多个Region的，不同Region分布到不同RegionServer上。Region是HBase中分布式存储和负载均衡的最小单元。所以当我们从客户端读取，写入数据的时候，我们就需要知道我么数据的Rowkey是在哪个Region的范围以及我们需要的Reg

hbck是做什么的hbck是一个检查和修复表，region一致性和完整性的工具什么是region的一致性HDFS的region目录下的.regioninfo文件有效meta表行的数据和.regioninfo文件的数据一致每个region部署在唯一的regionserver,并被分配给状态合适的mas

概述并发的代码的关键是独立性和故障检测并发编程中如果某事可能会发生，那么不论多么艰难就一定会发生，而且可能发生在最不利的时刻并发和并行的区别并发是同一时间应对（dealingwith）多件事情的能力（每一时刻只可以做一件事情，但是可以同时处理多个任务）并行是同一时间做（doing)多件事情的能力并发