ITPub博客

首页 > Linux操作系统 > Linux操作系统 > ssh远程批量导出数据库经验(linux环境)

ssh远程批量导出数据库经验(linux环境)

原创 Linux操作系统 作者:zhentanxiaoxiao 时间:2015-04-04 11:26:12 0 删除 编辑
linux环境ssh远程批量导出数据库经验
先配置ssh通过key登录服务器。
  然后就是通过ssh执行命令。先看一下ssh的帮助文档:
 usage: ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec]       [-D [bind_address:]port] [-E log_file] [-e escape_char]       [-F configfile] [-I pkcs11] [-i identity_file]       [-L [bind_address:]port:host:hostport] [-l login_name] [-m mac_spec]       [-O ctl_cmd] [-o option] [-p port]       [-Q cipher | cipher-auth | mac | kex | key]       [-R [bind_address:]port:host:hostport] [-S ctl_path] [-W host:port]       [-w local_tun[:remote_tun]] [user@]hostname [command] 

最后一项就是执行指令的。假如远程服务器地址为180.97.33.108,开启的ssh端口为998,ssh用户名为xzc,然后想通过在远程服务器上执行命令ls,那么脚本应该这么写:
ssh xzc@180.97.33.108 -p 998 "ls"


如果ssh的认证key已配置好,那么会把登录后当前目录下的文件列出来,当然第一次登录会提示保存远程服务器的指纹。现在是要导出数据库的数据,那么需要把ls命令换成导出数据库的命令。在CODEGO.NET上找了段代码:

echo "select * from user;" | mysql xzc_db -uxzc -pxzcpwd
#或者
mysql xzc_db -uxzc -pxzcpwd -e "select * from user"


上面两命令都可以使用数据库用户xzc,密码xzcpwd从数据库xzc_db打印出user表,使用的是默认的本地数据库地址localhost,默认的端口。如果不是默认,需要指定。

   登录OK了,打印也OK了,那么下一步就是导出到文件了。这在bash也就是一个 > 的事。把上面的命令拼起来就是:

ssh xzc@180.97.33.108 -p 998 'echo "select * from user;" | mysql xzc_db -uxzc -pxzcpwd' > user.txt

这样就把user表导出来本地的user.txt中了。注意"> user.txt"如果放到 ''里则是在远程服务器执行,导出的文件在远程服务器。文件现在也有了,不过是txt,这样交给运营不太好吧。那就导出excel吧。不过遗憾的是我查了N多资料,也找不到mysql不依赖第三方插件或工具导出原生excel的方法。而navicat导出的可是货真价实的excel,如果用notepad++之类的文本工具打开是会乱码的,并且导出的文件不会有编码问题。幸好如果一个txt以tab分割的话,excel也是能认得出来的。于是把user.txt改名user.xls就可以了。但这样做的问题是excel会按自己的方式处理内容的。比如把一个很大的数字转换成科学记数法形式。这些都得手动去处理一下了。
 #!/bin/bash   # 通过ssh远程执行远程指令 # 需要先部署key认证,保证ssh只需要ip、port即可连接 # 如果需要和远程服务器交互,请参考ssh的-t、-tt参数 # 如果需要反复登录服务器执行多条指令,请使用ssh的通道重用 # 参考:http://en.wikibooks.org/wiki/OpenSSH/Cookbook/Multiplexing # 使用通道需要注意退出通道,如"ssh github.com -O exit"或者"ssh github.com -O stop" #                       --by coding my life   #分别设置ssh用户名、数据库用户名、数据库密码、导出数据 SSH_USER='xzc_ssh'DB_USER='xzc_db'DB_PWD='xzc_db_pwd123'EXP_PATH=export_data/   # 执行远程命令 # $1 服务器ip # $2 ssh端口 # $3 指令 function exec_remote_command() {   ssh $SSH_USER@$1 -p $2 '$3'}   # 执行远程sql,导出数据 # $1 服务器ip # $2 ssh端口 # $3 指令,多个sql指令如select * from user;select * from bag;也可执行,但结果将会写到同一个文件 # s4 服务器 # $5 导出文件 function export_remote_sql() {   echo export from $4 ...   cmd="echo \"$3\" | mysql $4 -u$DB_USER -p$DB_PWD --default-character-set=utf8"    ssh $SSH_USER@$1 -p $2 "$cmd" > $EXP_PATH$4_$5  #如果要导出到远程服务器,将把 > $EXP_PATH$4_$5放到cmd中 }   # $1 区服名 # $2 ip # $3 端口 function exec_sqls() {   cat SQLS | while read sql ; do        fc=${sql:0:1}     if [ "#" == "$fc" ]; then  #被注释的不处理       continue    fi      #sql语句中包含空格,不能再以空格来区分。最后一个空格后的是导出的文件名     exp_file="${sql##* }"        #两个#表示正则以最大长度匹配*和一个空格(*后面的空格),截取余下的赋值给exp_file     sql_cmd="${sql%% $exp_file}"     #两个%表示从右至左删除%%以后的内容           export_remote_sql $2 $3 "$sql_cmd" $1 "$exp_file"  done}   # 需要在当前目录下创建服务器列表文件SERVERS,格式为"数据库名 ip ssh端口",如"xzc_game_s99 127.0.0.1 22" # 需要在当前目录下创建sql命令列表文件SQLS,格式为"sql语句 导出的文件",如"select * from user; user.xls" # 多个sql请注意用;分开,sql必须以;结束 # 文件名中不能包含空格,最终导出的文件为"数据库名_文件名",如"xzc_game_s99_user.xls"   mkdir -p $EXP_PATH   cat SERVERS | while read server ; do    fc=${server:0:1}   if [ "#" == "$fc" ]; then  #被注释的不处理     continue  fi    name=`echo $server|awk '{print $1}'`   ip=`echo $server|awk '{print $2}'`   port=`echo $server|awk '{print $3}'`     exec_sqls $name $ip $port done 


当前目录下的文件如下,其中SERVERS是服务器列表,里面指定数据库名,ip,ss端口,SQLS则指定sql指令及导出的文件名。这两个文件里以#开头的都不会处理:
 xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ lsremote_cmd.sh SERVERS SQLS xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ cat SERVERS  xzc_game_s99 120.0.0.99 6162 xzc_game_s91 120.0.0.91 6162 xzc_game_s92 120.0.0.92 6162 xzc_game_s93 120.0.0.93 6162 xzc_game_s94 120.0.0.94 6162 #xzc_game_s91 120.0.0.91 6162   xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ cat SQLS  #select * money from money; money.xls select * from user; user.xls xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ 
有兴趣的朋友不妨试试看.我成功了.你呢.呵呵.

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/30118801/viewspace-1486389/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2015-01-27

  • 博文量
    2
  • 访问量
    5580