Hbase 之 HBase 的整体架构
HBase系统架构图组成部件说明Client:使用HBaseRPC机制与HMaster和HRegionServer进行通信Client与HMaster进行通信进行管理类操作Client与HRegionServer进行数据读写类操作Zookeeper:ZookeeperQuorum存储-ROOT-表地
HBase源码分析之WAL
WAL(Write-AheadLogging)是数据库系统中保障原子性和持久性的技术,通过使用WAL可以将数据的随机写入变为顺序写入,可以提高数据写入的性能。在hbase中写入数据时,会将数据写入内存同时写wal日志,为防止日志丢失,日志是写在hdfs上的。默认是每个RegionServer有1个W
Docker之 数据持久化
容器中数据持久化主要有两种方式:数据卷(DataVolumes)数据卷容器(DataVolumesDontainers)数据卷数据卷是一个可供一个或多个容器使用的特殊目录,可以绕过UFS(UnixFileSystem)。数据卷可以在容器之间共享和重用对数据卷的修改会立马生效对数据卷的更新,不会影响镜
hbase之 Hbase shell 常用命令
下面我们看看HBaseShell的一些基本操作命令,我列出了几个常用的HBaseShell命令,如下:名称命令表达式创建表create'表名称','列名称1','列名称2','列名称N'添加记录put'表名称','行名称','列名称:','值'查看记录get'表名称','行名称'查看表中的记录总数c
一场HBase2.x的写入性能优化之旅
本文通过实战跑分来展示HBase2.x的写入性能首先,简单介绍一下我们的测试环境:集群由5个节点组成,每个节点有12块800GB的SSD盘、24核CPU、128GB内存;集群采用HBase和HDFS混布方式,也就是同一个节点既部署RegionServer进程,又部署DataNode进程,这样其实可以
Docker容器实现原理及容器隔离性踩坑介绍
本文讲述了关于容器隔离性的一个“坑”正如Docker官方的口号:“Buildonce,Runanywhere,Configureonce,Runanything”,Docker被贴上了如下标签:轻巧、秒级启动、版本管理、可移植性等等,这些优点让它出现之初就收到极大的关注。现在,Docker已经不仅仅
浅谈Docker的安全性支持(下篇)
前面我们为大家介绍了Docker支持容器root用户的Capability能力限制、镜像签名、Apparmor的MAC访问控制、使用Seccomp限制系统调用等安全性支持,这篇文章我们会为大家介绍Docker其他安全性特性支持。1UserNamespace隔离Linux命名空间为运行中的进程提供了隔
浅谈Docker的安全性支持(上篇)
Docker作为最重视安全的容器技术之一,在很多方面都提供了强安全性的默认配置,其中包括:容器root用户的Capability能力限制、Seccomp系统调用过滤、Apparmor的MAC访问控制、ulimit限制、pid-limits的支持,镜像签名机制等。这篇文章我们就带大家详细了解一下。写在
HBase Replication详解
本文从全局出发,详细讲解了HBase的Replication和ReplicationEndpoint的用法及实践。往期文章回顾:一文读懂HBase多租户Replication:复制,指的是持续的将同一份数据拷贝到多个地方进行存储,是各种存储系统中常见而又重要的一个概念,可以指数据库中主库和从库的复制
Docker最佳实践:5个方法精简镜像
本文记录了精简Docker镜像尺寸的必要性及好处精简Docker镜像的好处很多,不仅可以节省存储空间和带宽,还能减少安全隐患。优化镜像大小的手段多种多样,因服务所使用的基础开发语言不同而有差异。本文将介绍精简Docker镜像的几种通用方法。精简Docker镜像大小的必要性Docker镜像由很多镜像层
对话爱思唯尔架构师:借助MongoDB驱动云平台
爱思唯尔的出版量占全球医学和科学研究出版总量的17%%%%,该公司用MongoDB数据库取代了之前采用的NoSQL(非关系型)数据库,从而开启了业务分析的新类别,并将成本降低了50%%%%以上。全球每年的医学和科学研究投资额约为4万亿美元。爱思唯尔出版了此类研究成果的17%%%%,并通过像文献摘要和
锦木信息CTO唐峰专访
受访嘉宾唐峰RECQ唐峰老师你好,请简单介绍下你自己唐峰大家好,我是锦木信息的CTO唐峰。个人职业生涯的很长一段时间是在HP度过的,当时主要是支持北美及澳大利亚客户的Oracle数据库项目。2014年接触到MongoDB后开始技术转型,目前主要致力于MongoDB技术研究及为国内的MongoDB用户
平安科技汪洋:MongoDB 的平安路
1月5日至6日即将在深圳举办的2018MongoDB年终盛会正在火热报名中,为使大家能对大会嘉宾及议题有更深的了解,在现场更好地互动,我们特地采访了部分嘉宾,听听数据库专家大佬们与MongoDB的故事。受访嘉宾汪洋问首先能否请您介绍一下自己以及您所关注的领域?答大家好!我来自平安科技,现在在平安云负
Mongoing中文社区年终盛会 嘉宾专访--高德服务平台部技术专家 高亮
本期嘉宾高亮高德服务平台部技术专家嘉宾简介:高亮高德服务平台部技术专家。早期负责高德开放平台业务部后台的架构搭建与开发,涉及RestAPI业务以及云图业务。2015年,调入高德服务平台部,主要负责高德地图用户数据存储类业务服务架构设计与开发(如收藏夹、设置项乃到后来的搜索历史记录,骑行轨迹等等)议题
Mongoing中文社区年终盛会嘉宾专访--东航数据架构师黄翀
Mongoing中文社区年终大会将于2018年1月7日在北京举办,为了帮助大家进一步了解这场盛会的内容,我们采访了部分嘉宾,希望大家充分利用本次机会和专家们互动。受访嘉宾黄翀东方航空数据架构师REC议题:东方航空运价缓存架构的实现简介:时至今日,东方航空的运行,旅客,运价数据都保存于MongoDB之
Mongoing中文社区年终盛会嘉宾专访--云之家DBA石宝
本期嘉宾石宝云之家DBA议题:Mongodb在云之家实践简介:云之家简介,云之家Mongodb数据库迁移之旅;云之家Mongodb数据库应用模式。问答天痕:石宝你好,请先向大家介绍下自己吧。石宝:大家好,我在深圳云之家担任DBA,主要负责Mongodb的日常数据库相关工作,有近8年Mongodb工作
嘉宾专访:周生生系统经理Laurence
受访嘉宾:LaurenceMongoDB中文社区年终大会将于2020年1月4日在深圳召开,在大会开始前,我们采访了部分嘉宾,希望了解到这场大会分享内容的更多故事和背景。本期我们采访的是周生生集团国际部系统经理Laurence,他将在大会当天跟我们分享议题:从孤岛模式到中台模式的开发效率提升——奢侈品
嘉宾专访:字节跳动基础架构深圳负责人张雷
受访嘉宾:张雷MongoDB中文社区年终大会将于2020年1月4日在深圳召开,在大会开始前,我们采访了部分嘉宾,希望了解到这场大会分享内容的更多故事和背景。本期我们采访的是字节跳动基础架构深圳负责人张雷,他将在大会当天跟我们分享议题:MongoDB在字节跳动的应用及挑战。Q&A1.字节跳动最
Hands-on! 如何给 TiDB 添加新系统表
作者:黄东旭“TiDB,你已经是一个成熟的数据库了,该学会用自己的SQL查自己的状态了。”对于一个成熟的数据库来说,通过SQL来查询系统本身的状态再正常不过,对于MySQL来说INFOMATION_SCHEMA和PERFORMANCE_SCHEMA里面有大量的信息,基本上通过查询些信息,DBA就能对
TiDB 助力一面数据实现消费领域的决策分析平台
深圳市一面网络技术有限公司(下称:一面数据)是一家为消费领域的领导企业提供实时、精准、全面的数据洞察和决策指导的创新型企业,利用人工智能和算法,进行自然语言处理,语义情感分析,回归预测模型等,帮助客户实现精准产品运营和预测市场变化。一面数据服务于国内外一流企业,包括世界最大的对冲基金、国际一线汽车品