1:环境准备
执行TPC-DS测试的用户在各个节点上都有,且在各个节点上的用户目录相同,有足够大小
1. #第一步:配置生成密钥(各个节点执行)
2. ssh-keygen -t rsa -P ''
3. #第二步:将各个节点密钥拷贝到NM节点(各个节点执行)
4. ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@nm.cdh
5. #第三步:将NM节点的密钥拷贝到其他节点(NM节点执行)
6. for t in $( cat node.list ) ;do scp ./.ssh/authorized_keys root@$t:~/.ssh/authorized_keys ;done;
7.
1. sudo yum -y install gcc make flex bison byacc git
下载TPC-DS测试工具包(https://github.com/gregrahn/tpcds-kit)
1. git clone https://github.com/grahn/tpcds-kit.git
到目录下,编译
1. cd tpcds-kit/tools
2. make -f Makefile.suite
1. cd $HOME
2. #拷贝impala-tcpds_kit到目录下(自己上传就不用做这一步了)
3. git clone https://github.com/cloudera/impala-tpcds-kit
4. cd impala-tpcds-kit
5. #到impala-tcpds_kit目录下
6. cd impala-tpcds-kit
修改tpcds-env.sh文件(看情况修改)
在hdfs上建立文件夹
1. sudo -u hdfs hdfs dfs -mkdir /user/$USER
2. sudo -u hdfs hdfs dfs -chown $USER /user/$USER
3. sudo -u hdfs hdfs dfs -chmod 777 /user/$USER
编辑dn.txt 将datanode的主机名按行输入(不要留空格)
运行push-bits.sh ,拷贝程序到每个数据节点
1. ./push-bits.sh
运行set-nodenum.sh,生成impala-tpcds-kit/nodenum.sh,这决定了节点生成数据量
1. ./set-nodenum.sh
依次执行
1. ./hdfs-mkdirs.sh
2. ./gen-dims.sh
3. ./run-gen-facts.sh
4. ./run-upload-facts.sh
执行impala步骤(创建表,装载维度表,装载事实表,更新状态)
1. ./impala-create-external-tables.sh
2. ./impala-load-dims.sh
3. ./impala-load-store_sales.sh
4. ./impala-compute-stats.sh
5.
最后一步,生成执行时间数据
1. sh run_query.sh
到logs目录下检查生成时间
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/28409903/viewspace-2129395/ ,如需转载,请注明出处,否则将追究法律责任。