常用的linux命令（一）
有时候在做数据迁移时，需要编写批量的sql 脚本，有一些文本工具如果能熟练使用，工作效率会有很大的提升的。
UltraEdit的列编辑功能就很不错，我也是我经常使用这个工具的原因。
另外还有一些工具，但是前提或需要做一些导入的功能，比如通过sql的函数也能处理大批量的文本，excel也可以。
sql处理方式需要对sql函数有了解才行。excel也要熟练才行，但是excel的优势不在于此。
最近又把shell捡起来了，其实shell 功能是很强大的，而且对大文本处理很好，速度是不用质疑的。
比如我经常用的几个命令：
1.AWK 我主要用来分割列，类似于ue的列编辑，分隔符默认空格。
2.sort 主要是排序 ;sort -u 也可以去除重复的行；与uniq的作用有重叠，但是还是排序，分区域的排序；这点又和awk的分区域有重叠。
3.uniq 去除重复的行，但是只会比较上下行，所以要结合sort排序;sort|uniq -c
4.wc--word count 可以用来统计文件的newline number ;wc -l
所以linux的一个命令用的溜的话，是很方便的，而且一个命令和其他的命令是有交叉的。
用到的一个例子：
cat sql.txt|awk '{print "insert into dbname_a."$3" select * from dbname_b."$3";"}'|sort|uniq
UltraEdit的列编辑功能就很不错，我也是我经常使用这个工具的原因。
另外还有一些工具，但是前提或需要做一些导入的功能，比如通过sql的函数也能处理大批量的文本，excel也可以。
sql处理方式需要对sql函数有了解才行。excel也要熟练才行，但是excel的优势不在于此。
最近又把shell捡起来了，其实shell 功能是很强大的，而且对大文本处理很好，速度是不用质疑的。
比如我经常用的几个命令：
1.AWK 我主要用来分割列，类似于ue的列编辑，分隔符默认空格。
2.sort 主要是排序 ;sort -u 也可以去除重复的行；与uniq的作用有重叠，但是还是排序，分区域的排序；这点又和awk的分区域有重叠。
3.uniq 去除重复的行，但是只会比较上下行，所以要结合sort排序;sort|uniq -c
4.wc--word count 可以用来统计文件的newline number ;wc -l
所以linux的一个命令用的溜的话，是很方便的，而且一个命令和其他的命令是有交叉的。
用到的一个例子：
cat sql.txt|awk '{print "insert into dbname_a."$3" select * from dbname_b."$3";"}'|sort|uniq
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/24349972/viewspace-2131364/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
