OceanBase在传统监控数据存储的应用| 优秀征文分享
笔者从事于一家总部位于宁波,业界领先的新能源上市公司,公司业务涵盖光伏新能源产品的开发、制造及销售。作为产值百亿的企业,监控系统是重要的IT管理工具之一,对保障企业业务连续性、预告风险有重要意义。2022年,公司选用Zabbix为企业监控系统,对公司分布在国内外的服务器、操作系统、中间件、数据库、网络设备等进行指标监控;对集团业务系统设置监控预警,确保集团所有系统异常时准确告警;对IT设施的巡检、
深入探讨 OceanBase:新一代分布式数据库
在数字化转型的浪潮下,越来越多的企业开始追求高可用性和可扩展性的数据库解决方案。在这个背景下,OceanBase 作为一款新兴的分布式数据库,逐渐引起了业界的关注。那么,OceanBase 到底是什么?它有哪些特性和优势?让我们一探究竟。什么是 OceanBase?OceanBase 是由阿里巴巴集团研发的分布式关系数据库,旨在支持海量数据的高并发处理。它最初是为了解决阿里巴巴自家电商系统在双11
刻骨铭心的报错3.x版本下“failed to check macro block(ret=4034”
场景描述:某套集群架构为1-1-1,备集群有个单节点,在这里描述为ABC三个节点吧,业务租户指定了primary_zone在一个zone称为C节点。巡检过程中发现业务主zone节点的vgs不显示日志盘了,这时候因为集群还正常运行,所以规划等版本停业务,修复该机器,也预留了空闲机器,以防万一进行替换。版本期间手工进行业务租户切主到B节点,通过ocp停止该节点进程后尝试修复日志盘,未成功,使用空闲机器
OB的不同编码格式压缩率如何
引言:一直以来我只是理解OB的存储高压缩率与LSM的架构以及编码格式有关,但是具体不同的编码格式存储率如何不是很清楚,最近我们遇到一个历史库迁移到ob的场景,有大表的索引创建失败,迁移完数据之后存储使用率70%左右,创建索引的时候,会占用临时空间导致磁盘使用率膨胀,剩余磁盘空间不足导致失败。尝试过先建索引后导数,但是效率不能接受。虽然直接扩容资源是最快的解决方式,我就想看看有没有更高压缩率的编码格
成为ob贡献者(6):如何阅读Paxos代码
为了整理思路,文章采用模拟2人对话方式,文中比喻可能错误的,请注意区分。本文主要内容通过对学习数据库下 定义聚焦学习内容如果关心代码,直接去看代码,如果关心SQL,直接看SQL,先满足第一需求。2. 通过OB定义一体化是什么 聚焦学习方向一体化 在添加一个字: 像一体化,多个网卡绑定一个虚拟网卡像一个网卡一样 ,多个磁盘组成一个巨大磁盘,想一个磁盘一样,多个节点像以一个节点一样。来高并发和可扩展,
Create network standby tenant,OCP报错卡死,无法跳过或者回滚,问题复盘与解决办法
OCP版本:Version: 4.3.0-20240711151555observer版本:oceanbase-4.2.1.6-106000022024042414.el7.x86_64.rpm使用的时企业版 OceanBasebug原因:在创建备租户时,因提示The REDO logs of the primary tenant are complete. You do not ne
万家数科OceanBase实践,探索零售业务信息化融合| 优秀征文分享
作者:马琳,万家数科数据库专家。华润万家旗下的信息科技公司——万家数科商业数据有限公司,聚焦于零售领域,在服务华润万家的同时,市场化运营发展,为零售商及其生态提供核心业务系统的整体解决方案与运维服务。万家数科主要的业务范围包括数据及SaaS的产品服务、业务洞察咨询服务、精准营销及相关服务。数据及SaaS的产品服务:基于海量的内外部的数据,建立内部数据中台,提供敏捷的数据对接能力,建立 API 标准
SQL优化-不一样的行转列
最近在客户现场,遇到开发人员说有一个场景在进行数据迁移的时候sql执行不动,大致有点列转行,然后再去关联其他的表,再进行转列的处理,我们先看一下表的数据形式,假设表名字CREDIT_INFO;OB版本是3.2.3,租户是oracle模式。CREDIT_NOCUSTOMER_ID202410101010AAAAA,CCCC,EEEE2024111
OCP备份任务进度在第一个步骤报错,问题复现与解决办法
OCP版本:Version: 4.3.0-20240711151555observer版本:oceanbase-4.2.1.6-106000022024042414.el7.x86_64.rpm使用的是企业版 OceanBase问题复现:当前租户备份情况与归档信息,如下:该租户最近的备份与归档是在2024年3月。2024年10月17号,做一次备份,信息如下:查看OCP任务列表,会发现,
OB4.X-Follower 节点时钟偏差导致合并卡住?
背景某客户由于 OBServer 机器(租户 Follower 节点)发生过重启,且时钟同步服务未自动启动,导致此机器时间比时钟源落后 60s+!集群合并时,发现时间落后的 OBServer 所在的 zone3 一直处于 COMPACTING 状态,合并无法完成。本文复现问题(步骤略)并记录排查过程。环境说明:客户发生故障的环境为 OB 社区版,本文基于 OB 企业版复现,两版本均可复现。环境信息
记录一则4.x扩缩容问题
背景:有一套1-1-1集群在同步数据期间发现存储不够了,打算通过扩容节点到2-2-2的方式来解决该问题。知识点:在介绍问题以及处理问题之前,我想再复习下官网上关于4.x架构的一些知识点。从 V4.0.0 版本开始,OceanBase 数据库要求租户内每个 Zone 的 Unit 个数必须保持一致。为了方便统一管理各个 Zone 的 Unit,系统引入了 Unit Group 机制,即不同 Zone
oceanbase之并行导入探究
在使用数数据库中NSERT INTO ... SELECT使用场景很多数据复制:将一个或多个表中的数据复制到目标表中,可以选择复制全部数据或部分数据。数据合并:这需要将数据从一个表转移到另一个表,或者合并多个表的数据为一个表。表备份:这常用于表数据的备份,以防止在修改或删除数据时出现问题,需要还原数据。数据加工:把当前数据经过某些规则加工放入一个新的表中在oceanbase中支持并行导入
oceanbase实践查询闪回
在工作中会遇到误删数据的操作,作为dba救火队员就需要掌握数据恢复的方法,生产无小事,操作需谨慎,对数据库恢复的工具可以不用但是要会 OceanBase 数据库提供了记录级别的闪回查询(Flashback Query)功能,该功能允许用户获取某个历史版本的数据。我们学习一下闪回查询以备不时之需&
迈入OceanBase殿堂(1)
近期发现一个宝藏数据库oceanbase,既有oracle的霸道也有mysql的小巧,还具备HTAP才华。那么怎样才能快速的获取该宝藏呢? 接下来分享一下我获取宝藏的一些小技巧!一:官方文档对于OceanBase的所有内容肯定都会在官方文档体现,而且经过多次换代官方文档排版已经比较合理、方便和全面。只要你想要寻找的知识点,可以尽情的再官方文档上搜索框进行搜索。这个魔法按钮可以快速的浏览各个组件的官
开启cgroup与不开启cgroup对比,并说明哪些线程参数控制与计算方式
OCP版本:Version: 4.3.0-20240711151555observer版本:oceanbase-4.2.1.8-108010012024082314.el7.x86_64.rpm使用的是企业版 OceanBase问题起初单副本测试环境集群中租户多并且每个租户的资源规格大多数是以2C与4C为主,因此关闭了默认开启的cgroup,enable_cgroup=off,集群环境
客如云智享版报表分区化改造实践| 优秀征文分享
一 概述1 背景在过去2-3年中,客如云的KPOS产品取得了令人瞩目的成绩,我们的商户基数和订单量都实现了数倍的增长。这一显著的业绩印证了我们产品的市场吸引力和业务模式的成功。然而,随着越来越多的大型连锁商户(KA商户)加入客如云商家平台,我们面临了前所未有的挑战。特别是在为这些KA商户提供数据报表服务时,我们发现原有的解决方案在处理大型报表和跨越长时间范围的查询场景时存在性能瓶颈。顺应业务增长的
一键搭建基于docker的OBDIAG开发环境
目前社区组织了SIG社区小组,共同搭建OB生态的共建计划,很多人都有兴趣加入,但是很多工具其开发环境是各位开发者要面对的第一道坎,很多时候都碍于麻烦的开发环境而止步,比如OBDIAG的开发环境对WINDOWS主机的用户就不友好,需要单独去配置C++的开发环境,除此外不同项目的软件环境又会有不同,甚至会有冲突,这里就提供一种基于DEV CONTAINER技术的一键构建各种项目开发环境1、安装插件VS
向量方式查询存在的问题
OCP版本:Version: 4.3.0-20240711151555observer版本:oceanbase-4.2.1.8-108010012024082314.el7.x86_64.rpm使用的是企业版 OceanBase问题发现在跑批完成后,对整个跑批进行分析,在OCP,slowsql中发现耗时长,cpu消耗高的SQL,如下图:分析此类sql库表已做脱敏,XXXX表示SELEC
mysql租户字段默认值不支持表达式问题记录
背景信息某客户有个工单系统底层用的oracle数据库应用中也没有过度依赖oracle的功能,为了满足信创客户打算一步到位迁移到 OB mysql 租户中并且希望应用基本不改,生成迁移评估报告后看到数据库侧只有基本的表、索引对象,但是在迁移时遇见了oracle那边有指定默认值为表达式在 OB mysql 租户中出现报错问题,本文简单记录下本次问题。迁移报错本次迁移是通过 OMS 迁移,值得一说的是现
【建议收藏】进程崩溃定位难?日志分析五步安!
作者:胡呈清,爱可生 DBA 团队成员,擅长故障分析、性能优化,个人博客:[简书 | 轻松的鱼],欢迎讨论。爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。本文约 1400 字,预计阅读需要 5 分钟。准备知识OBServer 进程 Crash(崩溃退出)的常见的原因有:程序 bug、文件损坏、磁盘坏块、内存坏块,是一种比较难分析的故障。集群部署时会自动配置