-
编辑 删除
在docker中安装mysql并搭建主从复制
在docker中搭建一主两从的mysql复制环境，步骤如下：1.docker mysql的安装[root@localhost docker]# docker search mysqlNAME DESCRIPTION ...
-
编辑 删除
一个根据已有表结构来创建新表的存储过程
最近开发人员频繁要求参照旧表结构来创建新表，每次人工操作比较繁琐，写了一个存储过程来自动执行，如下：create or replace procedure p_auto_create_tab(i_old_tab_name varchar2,i_new_tab_name varchar2)as--作者:梁世强--创建时间:20170320--适用数据库版本:oracle 11g及以上版本--功能:输入已有表的表名和新建...
-
编辑 删除
使用XtraBackup搭建mysql主从复制的操作步骤
环境说明:主库192.168.123.15，备库192.168.123.16软件下载:https://www.percona.com/downloads/XtraBackup/LATEST/1.备份主库 root@192.168.123.15/apps/percona-xtrabackup-2.4.6/bin/innobackupex --defaults-file=/apps/data/mysql3306.cnf -uroot -pxxxxxxx --slave-info --socket=/tmp/mysql_3306.sock 33...
-
编辑 删除
python爬虫学习(4)抓取链家网二手房数据
最近在学习爬虫，写了个比较简单的程序，抓取北京二手房房价信息。# -*- coding: utf-8import urllib2import urllibimport re,osimport time#from bs4 import BeautifulSoupimport sysreload(sys)sys.setdefaultencoding('utf-8')class HomeLink: #初始化数据 def __init__(self,...
-
编辑 删除
python爬虫学习(3)-抓取廖雪峰python教程并制作成PDF文档
实现功能：抓取廖雪峰网站的python教程，保存html页面到本地，然后用pdfkit包将html转换为pdf。运行需求：安装python的pdfkit包和windows下的wkhtmltopdf。代码如下：# -*- coding: utf-8import urllib2import urllibimport re,osimport timeimport pdfkitimport sysreload(sys)sys.setdefaultencoding('utf-8'...
-
编辑 删除
python爬虫学习(2)-抓取百度贴吧内容
# -*- coding: utf-8import urllib2import urllibimport re,osimport timeimport sysreload(sys)sys.setdefaultencoding('utf-8')class Tiebar: #初始化数据 def __init__(self,base_url,see_lz): self.base_url = base_url ...
-
编辑 删除
python爬虫学习(1)-抓取糗事百科笑话
最近在学习python的爬虫，参照了http://cuiqingcai.com/990.html的内容，写了一个爬虫，抓取流程：传入参数起始url和输出文件名称，使用urllib2对页面进行抓取，每次抓取一个页面，循环抓取，直到最后一页。使用正则表达式对抓取到的页面内容进行提取，并保存到文件中。程序如下：# -*- coding: utf-8import urllib2imp...
-
编辑 删除
使用goldengate从mysql同步数据到oracle
1. 环境信息源端 migu-mysqlmaster-801259907-zflo5 数据库mysql 5.6.34 ogg版本:12.1.2.1.0目标端 192.168.119.6 数据库 oracle 11.2.0.4 ogg版本:12.1.2.1.02.mysql安装配置(1) 解压mysql安装文件mysql-5.6.34-linux-glibc2.5-x86_64.tar.gz(2)准备参数文件[mysqld]log-bin=mysql-bin...
-
编辑 删除
goldengate针对不同表名及列名的复制
--在目标端编辑def文件defsfile ./dirdef/ggrep.defsuserid ogg, password oggtable scott.*;--生成defs文件oracle@BJ-CP-7F-113-64:/home/oracle/install/ogg$ ./defgen paramfile GGREP.DEFS --源端表结构SQL> desc t3 Name ...
-
编辑 删除
搭建oracle 11.2.0.4环境下的goldengate复制
--环境介绍源端: oracle 11.2.0.4 Red Hat Enterprise Linux Server release 6.4 (Santiago)目标端: oracle 11.2.0.4 Red Hat Enterprise Linux Server release 6.4 (Santiago)OGG版本: Version 11.2.1.0.1---准备工作1. 创建表空间、用户-- 创建表空间create tablespace TBS_OGG datafile '...
-
编辑 删除
使用python遍历一个目录下所有的文件并合并内容
#coding=utf-8import randomimport os#使用递归去解决def merge(folder_path): for f in os.listdir(folder_path): file_path = os.path.join(folder_path,f) if os.path.isdir(file_path): merge(...
-
编辑 删除
python断言的使用
为了人工抛出一个异常，可以使用断言assert，如下：#coding=utf-8def testAssert(path): import os #assert isinstance(path,str),'Need string' if os.path.isdir(path) == True: print path + ' is a dir!' return path else: return "Not dir!"if __name__ == '__main__': print testAssert(2)测试如下...
-
编辑 删除
python使用xlsxwriter绘图
#coding:utf-8import xlsxwriterworkbook = xlsxwriter.Workbook('chart_line.xlsx')worksheet = workbook.add_worksheet()bold = workbook.add_format({'bold': 1})# Add the worksheet data to be plotted.headings = ['time','value']data = [['A', 'B', 'C','D'],[10, 20, 50,20]]worksheet.write_row('A1'...
-
编辑 删除
mysql实现oracle的lead和lag函数功能
MariaDB [test]> select * from t;+--------------------------------------+---------------------+| case_id | assigned_date |+--------------------------------------+---------...
-
编辑 删除
python多线程示例
#coding=utf-8import threadingfrom time import ctime,sleepdef music(func):print "I was listening to %s. %s" % (func,ctime())sleep(4)print "I was finished %s. %s" % (func,ctime())def move(func):print "I was at the %s! %s"%(func,ctime())sleep(6)print "I was finished %s. %s" % (func,ctime(...
-
编辑 删除
pandas选取列及列的重命名
In [92]: dt = pd.read_table('aaa.txt',sep='|',header=None)In [93]: dtOut[93]: 0 1 2 3 40 2016-06-28 13:15:20 aaa bbb 111 lsq1 20...
-
编辑 删除
使用pandas对两个dataframe进行join
使用python的pandas模块模拟表连接操作
-
编辑 删除
redis备份恢复
#######################备份数据##################################1.获取数据文件目录config get dir或cat /etc/redis/redis.conf |grep '^dir '|cut -d' ' -f22.数据刷新到磁盘redis-cli bgsave3.备份数据cp /var/lib/redis/dump.rdb /backup/redis/dump.$(date +%Y%m%d%H%M).rdb#######################...
-
编辑 删除
redis持久化策略
1. 快照##持久化策略save 900 1save 300 10save 60 100002. Append-only文件模式##类似于redo日志或binlogappendonly yesappendfilename "appendonly.aof"选项： 1、appendfsync no 当设置appendfsync为no的时候，Redis不会主动调用fsync去将AOF日志内容同步到磁盘，所以这一切就完全依赖于...
-
编辑 删除
oracle使用utl_http包发送post请求
使用plsq发送post或get请求，开始发送中文时有乱码,网上搜了半天，终于找到解决办法，记录以备忘:set serveroutput on;exec dbms_output.enable(1000000000);set escape '\'DECLARE req UTL_HTTP.REQ; resp UTL_HTTP.RESP; value VARCHAR2(1024); -- URL to post to --...
