-
编辑 删除
Ceph 自动reweight脚本
Ceph的数据分布是由CRUSH Map解决定的，而CRUSH算法是伪HASH的，所以在一定时间内，数据会存在倾斜，这就需要我们用脚本来进行定期的reweight: #author jesse.js.lyu@gmail.com #reweight for ceph osds import hashlib import commands import threading import sys from time import ctime,sleep import ur...
-
编辑 删除
Big and Little Endian
转https://www.cs.umd.edu/class/sum2003/cmsc311/Notes/Data/endian.html Big and Little Endian Basic Memory ConceptsIn order to understand the concept of big and little endian, you need to understand memory. Fortunately, we only need a very high level abstraction for memory. You don't need to kn...
-
编辑 删除
ext4 时延stap脚本
#!/bin/sh STAP_FILE_PATH="/tmp/moderate-ext4.stp" MODERATE_EXT4_FUNCTIONS=( #ext4 direct io function "ext4_direct_IO" #ext4 page related functions #"ext4_readpages" #"ext4_writepage" #ext4 aio related functions "generic_file_aio_read" "ext4_file_write" #ext4 sync function "ext4_sync_file" ) func...
-
编辑 删除
分布式存储高可用设计
一、背景 面对着业务的发展，不管是在线，近线还是离线系统，其所需要的存储规模以及存储成本，成倍上涨。如果还是采取传统的分散式存储管理方式，不但带来高昂的管理分散式存储的成本，而且还会增加存储成本。 因此，我们极需要有一种即高效且省成本的数据存储以及存储管理方式。自然的，我们把目光聚焦在了分布式...
-
编辑 删除
InnoDB IO路径源码分析
InnoDB实现IO Flush通过“os_file_flush”宏收敛，macro展开后为”os_file_flush_func”。 接下来，我们重点看一下，还有其它哪些场景会调用到这个os_file_flush_func函数： 1. buf_dblwr_init_or_load_pages中，在double buffer 做crash恢复时，如果设置了reset_space_ids为”true” 2. fil_create_new_single_table_table...
-
编辑 删除
Ceph源码编译与打包
1.1clone repository 源码打包docker 7u机器： lvjian100081200005.et15sqa git clone --recursive https://github.com/ceph/ceph.git #checkout 出某一个版本 git clone –b v10.2.2 https://github.com/ceph/ceph.git cd ceph git status git submodule update --init --recursive git checkout master 1.2编译Ceph ...
-
编辑 删除
mysql ext4 hack抓取IO 函数
前景：分析底层mysql sync的IO数据大小，用于条带化分析和优化 安装kernel debug info yum install kernel-debuginfo kernel-debuginfo-common probe module("ext4").function("ext4_sync_file") { if( execname()=="mysqld") { printf("%s , %s, %d %u \n",pp(),tz_ctime(gettimeofday_s()),cpu(),gettimeofday_ns...
-
编辑 删除
Ceph参数配置参考
[global] fsid = 740988c7-045c-455b-9301-cd50f527f2a2 mon_host=11.180.137.117 #for auth and crc auth_cluster_required = none auth_service_required = none auth_client_required = none auth_supported = none cephx_sign_messages = false cephx_require_signatures = false ms_nocrc = true max_open_files = 131...
-
编辑 删除
如何利用客户端在itpub发博客
如何利用客户端在itpub发博客 一、Linux环境 1.安装blogilo sudo apt-get install blogilo 如果你不是kde环境也许还得安装 libqt4-sql-sqlite sudo apt-get install libqt4-sql-sqlite 2.配置blogilo 打开blogilo=>设置=>配置Blogilo=>博客=>添加 在URL一栏填入：http://blog.itpub.net/xmlrpc.php?r=rpc/server ...
-
编辑 删除
RocksDB引擎加载
RocksDB引擎的加载，具体操作是通过DB:Open()方法进行的，具体实现类是DBImpl类。 1.引擎加载call stack Rocksdb引擎注册和加载时call stack: ###Step 1.在storage engine plugin中的声明，在ha_rocksdb.cc源文件中 myrocks::rocksdb_init_func, /* Plugin Entry Point */ ### Step 2.初始化plugin，在加载时被调用，在...
-
编辑 删除
RocksDB重要参数索引
rocksdb相关的重要参数
