ITPub博客

首页 > 大数据 > Hadoop > CDH5.8X运行TPC-DS-V2.3测试(impala)手记

CDH5.8X运行TPC-DS-V2.3测试(impala)手记

原创 Hadoop 作者:Apache_Song 时间:2016-11-30 15:16:51 0 删除 编辑

1:环境准备

  执行TPC-DS测试的用户在各个节点上都有,且在各个节点上的用户目录相同,有足够大小

  • 各个节点互信免密登录            

1.  #第一步:配置生成密钥(各个节点执行)

2.  ssh-keygen -t rsa -P ''

3.  #第二步:将各个节点密钥拷贝到NM节点(各个节点执行)

4.  ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@nm.cdh

5.  #第三步:将NM节点的密钥拷贝到其他节点(NM节点执行)

6.  for t in $( cat node.list ) ;do scp ./.ssh/authorized_keys root@$t:~/.ssh/authorized_keys ;done;

7. 

  • TPC—DS工具前置准备(执行前的依赖等)    

1.  sudo yum -y install gcc make flex bison byacc git

下载TPC-DS测试工具包(https://github.com/gregrahn/tpcds-kit)
 

1.  git clone https://github.com/grahn/tpcds-kit.git

       到目录下,编译
          

1.  cd tpcds-kit/tools

2.  make -f Makefile.suite

  • 下载cloudera的impala测试准备包(和标准的稍微有点不同)

1.  cd $HOME

2.  #拷贝impala-tcpds_kit到目录下(自己上传就不用做这一步了)

3.  git clone https://github.com/cloudera/impala-tpcds-kit

4.  cd impala-tpcds-kit

5.  #到impala-tcpds_kit目录下

6.  cd impala-tpcds-kit

修改tpcds-env.sh文件(看情况修改)
在hdfs上建立文件夹

1.  sudo -u hdfs hdfs dfs -mkdir /user/$USER

2.  sudo -u hdfs hdfs dfs -chown $USER /user/$USER

3.  sudo -u hdfs hdfs dfs -chmod 777 /user/$USER

编辑dn.txt 将datanode的主机名按行输入(不要留空格)

运行push-bits.sh ,拷贝程序到每个数据节点

1.  ./push-bits.sh

运行set-nodenum.sh,生成impala-tpcds-kit/nodenum.sh,这决定了节点生成数据量

1.  ./set-nodenum.sh

 依次执行
    

1.  ./hdfs-mkdirs.sh

2.  ./gen-dims.sh

3.  ./run-gen-facts.sh

4.  ./run-upload-facts.sh

执行impala步骤(创建表,装载维度表,装载事实表,更新状态)

1.  ./impala-create-external-tables.sh

2.  ./impala-load-dims.sh

3.  ./impala-load-store_sales.sh

4.  ./impala-compute-stats.sh

5.   

最后一步,生成执行时间数据
    

1.  sh run_query.sh


到logs目录下检查生成时间 






来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/28409903/viewspace-2129395/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2014-08-07

  • 博文量
    4
  • 访问量
    5712