“如何构建知识体系”的思考
对于知识体系体系的构建,一直都是学习和工作中,非常重要的问题。 这段时间看了很多这方面的文章,其中京东架构师 李玥 的一篇文章,感觉讲的很好,对我也有一定的启发。 从这篇文章中,可以总结出,对于技术问题的理解和解决,可以从下面几个方面看:##
postgresql 9.6 分区表测试方案与记录
postgresql 9.6 及之前版本支持的都是传统分区表,父表、子表都要单独创建,然后通过路由函数和触发器同步数据。
任务调度思考与开源软件opencron的使用经验
本文是我在一个技术分享群里面,对于任务调度和开源软件opencron的分享和使用体会,现在整理成文字,供大家参考。 大家好,下面我来分享一下 部署和使用 opencron 任务调度工具的一些经验和体会 &nbs...
python Flask离线安装与测试
Flask是用python进行web开发时,常见的python web框架。如果服务器可以连接到外网,可以简单的用 pip install Flask 直接将Flask的依赖包及Flask直接安装好。但公司的测试环境,一般是内网,不能随表上连到外网,这就需要采用离线软件包方式安装了。下面是我的测试安装过程。1. 确定依赖的包(参考:http://stackove...
python异常处理和面向对象编程总结
异常处理和面向对象编程,是python编程中,比较重要的基础。在实际生产编程设计和开发中,异常处理和面向读象都是必须在设计和开发过程中充分考虑的。 对于python开发和面向对象这两部分基础,用一个python程序进行封装说明,结果如下:点击(此处)折叠或打开...
python流程控制、函数总结
shell脚本是由系统命令、变量、流程控制三者组合而成的; 类比python程序,与shell中能够实现很多功能的系统命令类似,python有很多可以实现不同功能的模块; 变量方面,shell脚本有系统变量,有普通变量,有特殊位置变量,有特殊变量调用方式,有单个变量,也...
python变量数据类型总结
python脚本的核心是关键字,变量,流程控制与编程思想.变量也有三要素:变量名称,变量数据类型,变量操作方法(操作符,操作函数)。python数据类型,按照特征可以划分为4个大类:数字类型,序列(数组)类型,映像类型,集合类型。 数字类型 整型 布尔型 标准整型 长整型 非整型 双精度浮点型 复数 decimal(不是内建类型) 序列类型(shell中叫数组) 字符串 str 元祖 tuple 列表 list 映像类型 字典 dict 集合类型 可变集合 set 不可变集合 frozenset python数据类型,安装可变性(是否可
常用python日期、日志、获取内容循环的代码片段
近段时间对shell脚本和python进行了梳理,将一些脚本中常用的内容,考虑多种方法整理出来,形成有用的代码片段,这样就可以在需要的时候直接使用,也可以用于备忘和思考。本次整理的代码片段有: python中日期、时间常用获取方法; 记录处理日志的logging模块使用;从目录,文件,命名结果中,获取循环条件进行循环。我...
postgresql多实例创建与Slony-I复制配置
第一部分 在一个主机上创建多个 postgresql实例步骤一:安装postgresql软件安装 postgresql实例,从postgresql官网上 https://www.postgresql.org/ 下载postgresql安装软件,解压缩,创建postgres用户和组,添加环境变量。我这里下载的版本是 pgsql9.5.1。创建postgresql实例安装了postgresql...
mongodb 3.2.5安装过程详细记录
2016-10-19 mongodb 3.2.5安装1 准备安装介质安装介质下载:mongodb的安装方式,我通常使用二进制包的方式,内网不能配置连接外网的yum源;官方建议的mongodb下载地址为: Downloads.mongodb.org但实际上,这个地址,很难找到下载表,正常下载,通常可以用下...
截取与分析日志文件的特定行数的操作
在进行操作系统和数据库系统管理时,经常会遇到在日志文件中查找某个字符,或者按照时间截取某个时间段的日志进行分析。今天早上就遇到一个MySQL数据库上的问题,mysql数据库在0-3点的时候,数据库会话连接,tps,cpu和iowait等都比平时大了许多。为了定位这个时间段内,到底发生了那些...
mysql中用户权限导出的脚本
MySQL数据库备份和迁移,是DBA日常工作中,经常需要做的工作。备份一般由物理备份和逻辑备份两种,对于用xtrabackup进行物理备份来说,表数据和用户权限都会全部备份和恢复;如果是逻辑备份的话,用户数据和授权信息都需要单独的导出导入,用户数据直接用 mysqldump 工具导出导入即可,但mysql中用户权限不能直接导出...
由一次mycat+mysql水平拆分集群问题引发的思考
近段时间部署和测试了一个mycat+4 Percona+tokudb的水平拆分集群,前段应用是将一类奖状数据不断地写入到这个库中,只有insert操作,前几天运行状态还比较好。从昨天开始,由于业务量突然增加了一些,磁盘IO负载变得很高,而且仔细分析之后,发现磁盘读的性能远远高于磁盘写的性能,这完全是有问...
mongodb 3.0.2与wiredTiger存储引擎安装测试
mongodb3.0版本,除了之前默认的MMAP存储引擎,还新推出了wiredTiger存储引擎。据官网测试报告称,mongodb 3.0版本使用wiredTiger存储引擎后,写性能能够提高7-10倍,数据压缩30%-80%,运维降低95%,这三个方面都还是很有吸引力的。为了进行mongodb 2.6和mongodb 3.0的性能,先搭建一个mongodb 3.0环境...
使用bash将csv文件数据读写到MySQL数据库的脚本之一
<p style="text-indent:2em;"><strong>情景:</strong></p><p style="text-indent:2em;">有一个包含多个系的学生详细信息的csv文件,需要将文件的内容插入到一个数据表中,保证每一个系生成一个单独的排名列表。</p><p style="text-indent:2em;">学习信息表 studentdata.csv 文件的数据如下:</p><p style="tex...
CentOS中Python pip包管理工具的安装和使用
<p style="text-indent:2em;">Python有很多第三方的模块或包,要管理这些包,有很多方法。python的pip包管理工具,类似与CentOS中yum,使用该工具安装Python包非常方便。</p><p style="text-indent:2em;">从Python内部来说,pip 是一个安装和管理 Python 包的工具 , 是 easy_install 的一个替换品。</p><p style="t...
python setuptools安装与psutil模块测试
<p style="text-indent:2em;"><br /> Python本身自带了一套工具distutils ,用于发布 Python 应用程序。但 distutils 没有提供定义其它依赖包的功能,setuptools 的真正优点并不在于实现distutils 所能实现的功能——尽管它的确增强了distutils的功能并简化了setup.py 脚本中的内容...
MySQL数据库自动生成并修改随机root密码的脚本
<p><span style="font-size:14px;"> 在MySQL数据库部署的过程中,在安装了MySQL软件,并配置了my.cnf配置文件后,需要创建MySQL实例。</span></p><p><span style="font-size:14px;"> MySQL 5.5实例创建完成...
mongodb数据库的启动和停止
数据库的启动和停止是数据库最基本的操作,也是数据库能够提供服务和被连接管理的前提条件。不同的数据库启动和停止的方式有一些差异,但也有相同之处,启动和关闭也必定会和数据库的进程有关。 在oracle数据库中,数据库的启动和停止都是分三个过程的,...
Oracle 11gR2 DNFS功能测试
Oracle 11.2.0.3 的dnfs与之前版本的dnfs配置还是有很多区别的,在测试后,整理下面的测试过程来说明oracle 11.2.0.3中的dnfs配置过程。环境:CentOS 6.5Oracle 11.2.0.3说明:Oracle 11.2.0.3中的DNFS,是在操作系统的nfs目录挂载正常后,在nfs client端上按照一定步骤启...