-
编辑 删除
金融行业的DBFS存储解决方案
主要讲解了阿里云数据库文件存储DBFS企业版为金融行业提供的存储解决方案的优势。
-
编辑 删除
自建MySQL于阿里云数据库文件存储DBFS之上的优势
本文主要讲解了用户自建MySQL于阿里云数据库文件存储DBFS之上相比于ext4的优势。
-
编辑 删除
DBFS取代ASM部署Oracle RAC 11.2.0.4
主要讲解了Oracle RAC 11.2.0.4基于阿里云数据库存储DBFS企业版的使用体验。
-
编辑 删除
Ceph 自动reweight脚本
Ceph的数据分布是由CRUSH Map解决定的，而CRUSH算法是伪HASH的，所以在一定时间内，数据会存在倾斜，这就需要我们用脚本来进行定期的reweight: #author jesse.js.lyu@gmail.com #reweight for ceph osds import hashlib import commands import threading import sys from time import ctime,sleep import ur...
-
编辑 删除
Big and Little Endian
转https://www.cs.umd.edu/class/sum2003/cmsc311/Notes/Data/endian.html Big and Little Endian Basic Memory ConceptsIn order to understand the concept of big and little endian, you need to understand memory. Fortunately, we only need a very high level abstraction for memory. You don't need to kn...
-
编辑 删除
ext4 时延stap脚本
#!/bin/sh STAP_FILE_PATH="/tmp/moderate-ext4.stp" MODERATE_EXT4_FUNCTIONS=( #ext4 direct io function "ext4_direct_IO" #ext4 page related functions #"ext4_readpages" #"ext4_writepage" #ext4 aio related functions "generic_file_aio_read" "ext4_file_write" #ext4 sync function "ext4_sync_file" ) func...
-
编辑 删除
分布式存储高可用设计
一、背景 面对着业务的发展，不管是在线，近线还是离线系统，其所需要的存储规模以及存储成本，成倍上涨。如果还是采取传统的分散式存储管理方式，不但带来高昂的管理分散式存储的成本，而且还会增加存储成本。 因此，我们极需要有一种即高效且省成本的数据存储以及存储管理方式。自然的，我们把目光聚焦在了分布式...
-
编辑 删除
InnoDB IO路径源码分析
InnoDB实现IO Flush通过“os_file_flush”宏收敛，macro展开后为”os_file_flush_func”。 接下来，我们重点看一下，还有其它哪些场景会调用到这个os_file_flush_func函数： 1. buf_dblwr_init_or_load_pages中，在double buffer 做crash恢复时，如果设置了reset_space_ids为”true” 2. fil_create_new_single_table_table...
-
编辑 删除
Ceph源码编译与打包
1.1clone repository 源码打包docker 7u机器： lvjian100081200005.et15sqa git clone --recursive https://github.com/ceph/ceph.git #checkout 出某一个版本 git clone –b v10.2.2 https://github.com/ceph/ceph.git cd ceph git status git submodule update --init --recursive git checkout master 1.2编译Ceph ...
-
编辑 删除
mysql ext4 hack抓取IO 函数
前景：分析底层mysql sync的IO数据大小，用于条带化分析和优化 安装kernel debug info yum install kernel-debuginfo kernel-debuginfo-common probe module("ext4").function("ext4_sync_file") { if( execname()=="mysqld") { printf("%s , %s, %d %u \n",pp(),tz_ctime(gettimeofday_s()),cpu(),gettimeofday_ns...
-
编辑 删除
Ceph参数配置参考
[global] fsid = 740988c7-045c-455b-9301-cd50f527f2a2 mon_host=11.180.137.117 #for auth and crc auth_cluster_required = none auth_service_required = none auth_client_required = none auth_supported = none cephx_sign_messages = false cephx_require_signatures = false ms_nocrc = true max_open_files = 131...
-
编辑 删除
如何利用客户端在itpub发博客
如何利用客户端在itpub发博客 一、Linux环境 1.安装blogilo sudo apt-get install blogilo 如果你不是kde环境也许还得安装 libqt4-sql-sqlite sudo apt-get install libqt4-sql-sqlite 2.配置blogilo 打开blogilo=>设置=>配置Blogilo=>博客=>添加 在URL一栏填入：http://blog.itpub.net/xmlrpc.php?r=rpc/server ...
-
编辑 删除
RocksDB引擎加载
RocksDB引擎的加载，具体操作是通过DB:Open()方法进行的，具体实现类是DBImpl类。 1.引擎加载call stack Rocksdb引擎注册和加载时call stack: ###Step 1.在storage engine plugin中的声明，在ha_rocksdb.cc源文件中 myrocks::rocksdb_init_func, /* Plugin Entry Point */ ### Step 2.初始化plugin，在加载时被调用，在...
-
编辑 删除
RocksDB重要参数索引
rocksdb相关的重要参数
-
编辑 删除
PostgreSQL SQL执行流程
每种数据库都有自己的SQL执行流程图，PostgreSQL也不例外。下面这张图基本上概括了PG处理SQL的整个逻辑。我下面分开来细讲一下： 1.Main Main是整个后台的入口，基本上不处理任何逻辑，只是简单的分发处理逻辑。 但是像检查当前用户是否是”root”，还是会做的。因为我们知...
-
编辑 删除
PostgreSQL 行锁解读
像其它数据库一样，PostgreSQL数据库不仅有表级别的锁，同时也有行级别的锁。行锁对于提高系统的并行度至关重要。那么PostgreSQL是如何实现行锁的呢？ PostgreSQL获取行锁的大致分为以下两个阶段： 1.获取buffer page级别的锁 这是一个buffer content锁，不是单纯的buffer pin，当然buffer...
-
编辑 删除
PostgreSQL checkpoint原理
今天来谈一下PostgreSQL 的checkpoint原理。检查点功能在现有流行的数据库中都具备。如Oracle，MySQL等，尤其是Oracle 对检查点功能的实现，非常完善。Oracle不 仅有全局检查点，还有增量检查点，即非常著名的 “Incremental checkpoint”。虽然各大数据库实现的方式不同，但是主要目的都是一样的，都是...
-
编辑 删除
PostgreSQL源码定制：在线global read only
基于RDS云上需求，最近实现了类似于MySQL global read only的功能。PG的read only功能，也不再需要通过重起PG实现来实现。直接可以online更改PG实例级别 global read only 和 global read write功能， 以达到快速实现主备切换的功能。大大缩短了主备切换时间，提高了PG的高可性。弥补了PG在这一功能上的...
-
编辑 删除
PostgreSQL 事务模型介绍
PostgreSQL有自己的事务实现模型。总体上分为三层：top layer, middle layer和bottom layer。 1. Top Layer Top Layer主要由用户控制，对用户可见。这一层的事务，主要由用户来决定事务的发起与结束。事务生命周期由用户控制，是high-level的。 也就是通常所说的事务块，transaction block。当用户发起...
-
编辑 删除
PostgreSQL 物理文件映射解析
我们知道，在PG中，每个relation，也就是表，都有好几个fork对应。存放主表数据的为“MAIN” fork；管理空余空间的为“FSM” fork；存放可视化视图的为“visibility” fork。 那么PG又是如何将每个表的fork管理起来，并跟pg_class中的relfileno对应起来的呢？这可以分为两类：一类是常规表；一类是系统...
