处理文件速度比较快的脚本方法:
方法1：function while_read_line_bottom_fd_out
{
>$OUTIFILE
exec 4<&1 #文件描述符
exec 1>$OUTFILE
while read LINE
do
echo "$LINE"
done < $INFILE #循环结束处，重定向输入
exec 1<&4
exec 4>&-
}
处理文件速度比较慢的脚本方法:
方法2：function while_read_line_cmdsub2_fd_in
{
>$OUTFILE
exec 3<&0
exec 0<$INFILE
while LINE=$(line)
do
echo "$LINE" >>$OUTFILE
done
exec 0<&3
exec 3>&-
}
使用文件描述符，处理速度可以快10ms.
用以上两种方法处理 1MB大小的文件，方法1用了0.30s,方法2用了8m35.62s.
一些文件处理技术会浪费大量的CPU时间，大多数浪费的时间花费在不必要的变量赋值以及连续打开，关闭同一个文件上，使用管道对循环时也有负面影响，管道使用的文件大小最大不能超过2048个字符。
##########################
(1)ftp:mput:上传，mget下载，nlist:获取目录
(2)为避免在ftp自行化脚本中编写硬密码形式的脚本，通常需要建立密码文件，然后再引用该密码文件当中的用户名，密码等，这个密码文件只有root用户才有权限读写。
############################
分布式数据仓库需要用到一种很重要的技术:远程管理处理数据。
分布式数据仓库3种类型：
(1)业务分布在不同地域，不同生产线,所谓的全局数据库(整个业务范围集成后的数据)，局部数据库(远程站点提供处理数据)
(2)逻辑上看是一个数据仓库，但物理上看，分布在不同的处理器上。
(3)组织管理上各自独立部门无关联的数据仓库。
[@more@]来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/24214296/viewspace-1055901/ ，如需转载，请注明出处，否则将追究法律责任。
