HBase 基本概念
注:以下图片均来自互联网HBase是什么HBaseVSHDFSHBaseVSRDBMSRDBMS的优点RDBMS的缺陷列式存储Hbase特性Hbase架构ClientZookeeperMasterRegionServerHBase数据模型RowKeyColumnFamilyColumnVersion
设计模式入门
设计模式模式是在某个情境下,针对某问题的某种解决方案模式不是代码,是针对特定问题的通用解决方案模式不是被发明,而是被发现模式分类创建型模式创建型模式涉及到对象实例化,这类模式都提供一个方法,将客户从所需要实例化的对象中解耦。单件模式(SinglePattern)抽象工厂模式(AbstractFact
HBase 在HDFS上的物理目录结构
文件可以被分为俩类,一类位于Hbase根目录下,另一类位于根目录的表目录下。根目录配置项<name>hbase.rootdir</name>默认“/hbase”根级文件###/hbase/WALs被HLog实例管理的WAL文件。###/hbase/WALs/data-hbas
Git基本命令
git基础自动补全git配置git是什么建立仓库提交更新忽略文件git删除移动文件查看log查看ignore文件查看仓库状态gitdiffgitcheckoutgit分支gitrebase本地无法直接gitpush时遇到冲突时的分支合并改变和同步远程仓库gitfetchgittaggitpatchg
秒杀系统设计思路
秒杀难点库存只有一份,所有人会在集中的时间读和写这些数据。秒杀问题对现有网站业务的冲击高并发情况以及数据库的负载突然增加的网络和服务器带宽直接下单防止机器秒杀秒杀方案秒杀系统独立部署秒杀商品页面静态化租借秒杀活动网络带宽动态生成随机下单页面URL将请求尽量拦截在系统上游充分利用缓存秒杀优化细节浏览器
Hadoop MapReduce 性能优化
影响MapReduce的主要因素潜在影响因素性能调优mapred-site.xmlhdfs-site.xml检测系统瓶颈善于使用linux相关命令通过计数器识别资源薄弱环节强化map和reduce任务优化mapreduce任务Hadoop最佳实践影响MapReduce的主要因素硬件因素:CPU磁盘I
操作系统基础概念
计算机系统概述基本构成中断多中断的处理方式高速缓冲存储器存储器的层次结构高速缓存的设计I/O操作的三种技术操作系统概述操作系统的内核多道程序设计实地址和虚地址内存管理的任务操作系统的控制结构进程进程状态进程阻塞和挂起进程抢占进程映像交换进程间通信进程控制块用户模式和内核模式创建新进程的步骤模式切换和
HBase Meta表简介
Meta表作用我们知道HBase的表是会分割为多个Region的,不同Region分布到不同RegionServer上。Region是HBase中分布式存储和负载均衡的最小单元。所以当我们从客户端读取,写入数据的时候,我们就需要知道我么数据的Rowkey是在哪个Region的范围以及我们需要的Reg
HBase HBCK 简介
hbck是做什么的hbck是一个检查和修复表,region一致性和完整性的工具什么是region的一致性HDFS的region目录下的.regioninfo文件有效meta表行的数据和.regioninfo文件的数据一致每个region部署在唯一的regionserver,并被分配给状态合适的mas
读书笔记——《七周七并发模型》
概述并发的代码的关键是独立性和故障检测并发编程中如果某事可能会发生,那么不论多么艰难就一定会发生,而且可能发生在最不利的时刻并发和并行的区别并发是同一时间应对(dealingwith)多件事情的能力(每一时刻只可以做一件事情,但是可以同时处理多个任务)并行是同一时间做(doing)多件事情的能力并发
读书笔记——《数学之美》
简单性和模块化是软件工程的基石;分布式和容错性是互联网的生命语言和数学的产生都是为了同一个目的————记录和传播信息文字的理解需要上下文翻译这件事之所以能达成,仅仅是因为不同文字系统在记录信息的能力上是等价的文字只是信息的载体,而非信息本身信息的冗余是信息安全的保障语言的数据,我们称之为语料,尤其是
读书笔记——《大学之路》
真正的人就是八个字:真实,善良,健康,快乐教育“大道”应该以良知、理性、仁爱为经,以知识、科技、创新为纬,造就面向未来的人才当许多聪明,求知欲强,富有同情心,而又目光敏锐的年轻人聚在一起,即使没有人教,他们也能互相学习。他们互相交流,了解到最新的思想和看法,看到新鲜的事物并且学会独到的行为判断力教育
读书笔记——《文明之光》
存活下来的不一定更好,仅仅是更适而已长期来看,推动人类文明进步的源动力不外乎3个:God、Gold、Glory。只有Gold代表的利润因素,才是超越一切民族和文化的普适动力在经济全球化下,脱离具体商业模式的“发明”,“创新”只能是无源之水无本之木,必然不可持续在大历史的尺度下,更能在统计平均的意义下
读书笔记——《硅谷之谜》
一硅谷的独特之处1叛逆以及对叛逆的宽容2多元化一个真正意义的全球化产品,靠的是满足人类最基本的需求3拒绝平庸4宽容失败的文化如果你没有遇到失败,说明你跑的还不够快一个初创公司不仅仅是技术领先的公司,而且必须是一个学习机器5工程师文化工程师文化,首先是自己动手解决问题“逢山开道,遇水搭桥”:遇到问题后