OB4.X-Follower 节点时钟偏差导致合并卡住?
背景某客户由于 OBServer 机器(租户 Follower 节点)发生过重启,且时钟同步服务未自动启动,导致此机器时间比时钟源落后 60s+!集群合并时,发现时间落后的 OBServer 所在的 zone3 一直处于 COMPACTING 状态,合并无法完成。本文复现问题(步骤略)并记录排查过程。环境说明:客户发生故障的环境为 OB 社区版,本文基于 OB 企业版复现,两版本均可复现。环境信息
记录一则4.x扩缩容问题
背景:有一套1-1-1集群在同步数据期间发现存储不够了,打算通过扩容节点到2-2-2的方式来解决该问题。知识点:在介绍问题以及处理问题之前,我想再复习下官网上关于4.x架构的一些知识点。从 V4.0.0 版本开始,OceanBase 数据库要求租户内每个 Zone 的 Unit 个数必须保持一致。为了方便统一管理各个 Zone 的 Unit,系统引入了 Unit Group 机制,即不同 Zone
oceanbase之并行导入探究
在使用数数据库中NSERT INTO ... SELECT使用场景很多数据复制:将一个或多个表中的数据复制到目标表中,可以选择复制全部数据或部分数据。数据合并:这需要将数据从一个表转移到另一个表,或者合并多个表的数据为一个表。表备份:这常用于表数据的备份,以防止在修改或删除数据时出现问题,需要还原数据。数据加工:把当前数据经过某些规则加工放入一个新的表中在oceanbase中支持并行导入
oceanbase实践查询闪回
在工作中会遇到误删数据的操作,作为dba救火队员就需要掌握数据恢复的方法,生产无小事,操作需谨慎,对数据库恢复的工具可以不用但是要会 OceanBase 数据库提供了记录级别的闪回查询(Flashback Query)功能,该功能允许用户获取某个历史版本的数据。我们学习一下闪回查询以备不时之需&
迈入OceanBase殿堂(1)
近期发现一个宝藏数据库oceanbase,既有oracle的霸道也有mysql的小巧,还具备HTAP才华。那么怎样才能快速的获取该宝藏呢? 接下来分享一下我获取宝藏的一些小技巧!一:官方文档对于OceanBase的所有内容肯定都会在官方文档体现,而且经过多次换代官方文档排版已经比较合理、方便和全面。只要你想要寻找的知识点,可以尽情的再官方文档上搜索框进行搜索。这个魔法按钮可以快速的浏览各个组件的官
开启cgroup与不开启cgroup对比,并说明哪些线程参数控制与计算方式
OCP版本:Version: 4.3.0-20240711151555observer版本:oceanbase-4.2.1.8-108010012024082314.el7.x86_64.rpm使用的是企业版 OceanBase问题起初单副本测试环境集群中租户多并且每个租户的资源规格大多数是以2C与4C为主,因此关闭了默认开启的cgroup,enable_cgroup=off,集群环境
客如云智享版报表分区化改造实践| 优秀征文分享
一 概述1 背景在过去2-3年中,客如云的KPOS产品取得了令人瞩目的成绩,我们的商户基数和订单量都实现了数倍的增长。这一显著的业绩印证了我们产品的市场吸引力和业务模式的成功。然而,随着越来越多的大型连锁商户(KA商户)加入客如云商家平台,我们面临了前所未有的挑战。特别是在为这些KA商户提供数据报表服务时,我们发现原有的解决方案在处理大型报表和跨越长时间范围的查询场景时存在性能瓶颈。顺应业务增长的
一键搭建基于docker的OBDIAG开发环境
目前社区组织了SIG社区小组,共同搭建OB生态的共建计划,很多人都有兴趣加入,但是很多工具其开发环境是各位开发者要面对的第一道坎,很多时候都碍于麻烦的开发环境而止步,比如OBDIAG的开发环境对WINDOWS主机的用户就不友好,需要单独去配置C++的开发环境,除此外不同项目的软件环境又会有不同,甚至会有冲突,这里就提供一种基于DEV CONTAINER技术的一键构建各种项目开发环境1、安装插件VS
向量方式查询存在的问题
OCP版本:Version: 4.3.0-20240711151555observer版本:oceanbase-4.2.1.8-108010012024082314.el7.x86_64.rpm使用的是企业版 OceanBase问题发现在跑批完成后,对整个跑批进行分析,在OCP,slowsql中发现耗时长,cpu消耗高的SQL,如下图:分析此类sql库表已做脱敏,XXXX表示SELEC
mysql租户字段默认值不支持表达式问题记录
背景信息某客户有个工单系统底层用的oracle数据库应用中也没有过度依赖oracle的功能,为了满足信创客户打算一步到位迁移到 OB mysql 租户中并且希望应用基本不改,生成迁移评估报告后看到数据库侧只有基本的表、索引对象,但是在迁移时遇见了oracle那边有指定默认值为表达式在 OB mysql 租户中出现报错问题,本文简单记录下本次问题。迁移报错本次迁移是通过 OMS 迁移,值得一说的是现
【建议收藏】进程崩溃定位难?日志分析五步安!
作者:胡呈清,爱可生 DBA 团队成员,擅长故障分析、性能优化,个人博客:[简书 | 轻松的鱼],欢迎讨论。爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。本文约 1400 字,预计阅读需要 5 分钟。准备知识OBServer 进程 Crash(崩溃退出)的常见的原因有:程序 bug、文件损坏、磁盘坏块、内存坏块,是一种比较难分析的故障。集群部署时会自动配置
OAT 初始化报错?原来是 PAM 配置惹的祸!
作者:任仲禹,爱可生数据库工程师,擅长故障分析和性能优化。爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。本文约 1200 字,预计阅读需要 4 分钟。背景某客户通过 OAT 初始化服务器时,走到 precheck 步骤时,报错如下:ERROR - check current session hard limit of open_files (uli
DtlIntermRes内存爆问题及排查思路
引言:诗经有言“不敢暴虎,不敢冯河。人知其一,莫知其他。 战战兢兢,如临深渊,如履薄冰。“可是就算事先做好再多的预防和准备,也都会有可能发生问题,当然提前准备的越充分越全面,出问题的概率会更低,更安全。现象:某套数据库从oracle环境进行国产化替换到OB后第二天,大量业务报错4013。通过sql检查内存模块。select now(),tenant_id,svr_ip,mod_name,
OB 4.3.3 AP 功能体验:物化视图
OceanBase 2024 年度发布会正式发布了 4.3.3 GA 版本,作为 AP 场景的主推版本。本文继续分享 OB 4.3.3 AP 能力的主力功能:物化视图。物化视图特性概述OB 的 AP 功能关键特性非常多。此前介绍了外表、JSON类型、RoaringBitmap类型、列存,接下来介绍物化视图。普通的视图不存储数据,物化视图(Materialized View)是视图的物化,具体就是视
OB 4.3.3 AP 新功能体验:RoaringBitmaps 类型
对大数据开发人员,海量数据的判重和基数统计是常用需求,RoaringBitmap 类型以及相关函数是目前很高效的一个解决方案。很多大数据库产品很早就支持 RoaringBitmap 类型,OceanBase 4.3.3 作为主打 OLAP 场景的正式版本(GA)也包含一功能。本文主要分享 RoaringBitmap 原理、场景和 OceanBase RoaringBitmap 的使用示例。Roar
OB 4.3.3 AP 功能体验:Json 类型和多值索引
MySQL 5.7.8 推出 JSON 类型,还有相应的 JSON 函数,MySQL 8.0.17 推出针对值数组的多值索引。这些功能非常实用,曾经是 OB 替换 MySQL 的一个障碍。OB 3.2.2 推出 JSON 类型以及 JSON 函数,4.3.2 推出多值索引。虽然晚了点,终究是到了。本文分享 OB 4.3.2 版本的 JSON 类型以及索引使用示例和经验。OB 的 ORACLE 租户
云集电商的OceanBase之路——电商行业核心业务需求及数据库应用
电商行业数据库需求分析云集电商是传统电商公司,成立四年后便在纳斯达克上市(股票代码:YJ)。但与京东、淘宝、拼多多等业务模式不同的是,云集电商基于社群,是社交驱动的会员电商平台,主要的服务商为B端。目前,云集的业务线主要有美妆个护、服饰、水果生鲜、健康保健,依托于两大系统为会员提供服务,分别是云集(App、小程序)、云集健康(小程序)。与传统的互联网企业系统相比,电商企业最大的特点是经常举办大促、
OceanBase单表恢复方法
背景:在日常运维中难免遇到有业务人员误操作,删除表的情况发生。而OceanBase虽然可以打开回收站,发生误操作的时候闪回表,但是生产系统可能会引入性能资源问题和一些bug。但是生产系统基本都会进行日常备份,打开归档的,那么我们就可以通过备份来进行误操作表的恢复。操作步骤:<1>3.x版本恢复方式对于3.x版本,因为备份是集群级别的,所以恢复的话只能恢复到一个新的资源环境,我们可以找个
oblogminer日志挖掘
最近遇到两个问题都用到了日志挖掘,一个oracle环境突然ogg挂掉了,开发说两面的表结构不一致,分析少了字段但是表的所有字段都是建表时建的不会是漏发版本的问题,要找出来谁弄的,祭出神器logminer,追溯到是有另外的dba从别的环境复制了表结构,另一个有个生产环境mysql有人误删掉表了,还没有备份,但好在所有的binlog日志都有保存,祭
OceanBase开源之夏——收获颇丰的开源实践
笔者目前就读于武汉大学研二,参与了2024年ob社区的开源之夏中适用于ob-operator的命令行工具的研发,笔者的Github账号是@lizzy-0323,欢迎各位一起交流!前言今年的七月份,我在常听的播客《开源面对面》中了解到了开源之夏这项活动,了解到活动的持续时间是7-10月,并且可以完整,深入地参与一个社区,这使我非常兴奋。和在实习工作的同学和学长聊天后,他们一致认为,这样的一次经历完全