【LINUX】线上服务CPU100%问题快速定位实战
功能问题,通过日志,单步调试相对比较好定位。 性能问题,例如线上服务器CPU100%,如何找到相关服务,如何定位问题代码,更考验技术人的功底。 58到家架构部,运维部,58速运技术部联合进行了一次线上服务CPU问题排查实战演练,同学们反馈有收获,特将实战演练的试题和答案公布出来,希望对大...
【Otter】关于otter双A模式的一点疑问
何为双A模式:可以简单理解为mysql的双主模式,互为主从具体可参考:https://github.com/alibaba/otter/wiki/Manager配置介绍官方博客的配置方法:双A同步相比于双向同步,整个配置主要是一些参数上有变化,具体步骤:配置一个channel 配置两个pipeline* 注意:除了需要定义一个主站点外,...
【otter】otter安装
基本架构1.规划因为主机有限只有三台机器,现在做出如下规划ip以及安装的软件7.1117.1127.113Mysql 源库mysql 目标库zookeepernodenodemanager + mysql(存otter配置信息)...
【Python】第三方时间日期库 Python Arrow模块
详见官方文档:https://arrow.readthedocs.io/en/latest/
【GP】通过数据字典查看某个表的字段
SELECT a.attname,pg_catalog.format_type(a.atttypid, a.atttypmod) AS data_type FROM pg_catalog.pg_attribute a, ( SELECT c.oid FROM &n...
【GP】快速搭建gp集群
1上传已编译完的包至/data/目录2.解压3 修改gpadmin的环境变量[gpadmin@DB-01 ~]$ more .bash_profile # .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then . ~/.bashrc...
【Gp】PostgreSql中如何kill掉正在执行的sql语句
虽然可以使用 kill -9 来强制删除用户进程,但是不建议这么去做。因为:对于执行update的语句来说,kill掉进程,可能会导致Postgres进入到recovery mode而在recovery mode下,会锁表,不允许链接数据库。通常情况下:使用如下语句=# select datname,procpid,query_start,current_query,waiting...
【Mysql】关于一个mysql的坑比时区问题
问题:mysqldump出来的文件时间戳字段总是少8个小时!1.看到这个很快就想到时区问题,我们先看一下mysql时区mysql> show variables like '%zone%';+------------------+--------+| Variable_name | Value |+------------------+--------+| system_time_zone | CST &nb...
【Mysql】into outfile报错的问题
明明有select 权限却报错mysql> select * from server into outfile '/tmp/tt.txt';ERROR 1045 (28000): Access denied for user 'chenliang'@'%' (using password: YES)百度后需要给file权限mysql> grant file on *.* to chenliang;Query OK, 0 rows affected (0.00 sec)再次导还是报错mysql> select * fr...
【GP】执行计划
执行计划 (Execution Plan)什么执行计划?Postgres 有一个强大的功能可以想你展示数据库内容怎样执行一个查询. 这里所谓的执行计划 是 通过 explain 展示出来的, 了解这个将让你知道怎样通过索引来优化数据库的性能, 对于大多数 人来说困难难点就是读懂这些输出, 虽然大部分开发者了解其中的...
greenplum使用gpfdist与外部表高效导入数据
greenplum作为OLAP分析型软件,自然避免不了从外部数据库加载大量的数据,然而传统的ETL数据传输方法(select=>insert)到GP需要经过GP的单点master,效率非常低。下面介绍外部表用gpfdist快速导入数据:普通外部表和可写外部表区别:1、普通外部表只能select,可写外部表只能insert2、可写外部表没有错误...
【GP】Greenplum创建表--分布键
Greenplum创建表--分布键Greenplum是分布式系统,创建表时需要指定分布键(创建表需要CREATEDBA权限),目的在于将数据平均分布到各个segment。选择分布键非常重要,选择错了会导致数据不唯一,更严重的是会造成SQL性能急剧下降。Greenplum有两种分布策略:1、hash分布。Greenplum默认使用hash分布...
【GP】postgrepsql权限管理
权限控制文件pg_hba.conf [gpadmin@dw-greeplum-1 gpseg-1]$ more pg_hba.conf 格式如下# local DATABASE USER METHOD [OPTIONS] ####本地登# host DATABASE USER CIDR-ADDRESS METHOD [OPTIONS] ###h...
【GP】Greenplum安装
配置系统信息做安装Greenplum的准备工作1.Greenplum集群介绍这里使用1个master,3个segment的集群,ip为192.168.6.119 master192.168.6.120 segment192.168.6.121 segment standbymaster2.修改/etc/hosts文件(所有的机器都...
【Mysql】Mysql迁移至postgrepsql
1mysql迁移数据至postgrepsql推荐阿里工具mysql2pgsql,项目地址https://help.aliyun.com/document_detail/35458.htmlmysql2pgsql工具 mysql2pgsql 支持不落地的把 MYSQL 中的表迁移到 HybridDB/Greenplum Database/PostgreSQL/PPAS。此工具的原理是,同时连接源端 mysql 数据库和目的端数据库,从 mysql 库中...
【Mycat】主键id自增长配置
在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此,MyCat 提供了全局sequence,并且提供了包含本地配置和数据库配置等多种实现方式,实现方式主要有三种:本地文件方式、数据库方式、本地时间戳算法。本文主要介绍的是数据库的方式 1.看下配置文件如下:
【Mycat】Mycat分片规则
1.表对应的分片规则查看rule.xml查看对应的关系 &nbs...
【Linux】超简单将Centos的yum源更换为国内的阿里云源
1、备份mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/CentOS 5wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-5.repoCentOS 6wget -O /etc/yum.repos.d/CentOS-Base.r...
【Mycat】Mycat故障转移之writetype与switchtype
1.配置文件如下:
【Mysql】Mysql5.7的多源复制搭建
一.基本环境主库1: 10.24.65.30 3306 MySQL 5.7.14主库2: 10.24.65.30 3307 mysql 5.7.14从库:10.24.65.33 3306 mysql 5.7.14基于gtid复制二.搭建注意事项1.每个实例上DB名字不能一样。2.创建或是复制用户时名字不能一样,如果经常遇到一样的帐号若是为了规范创建的帐号是一样的...