ITPub博客

首页 > 大数据 > 数据挖掘 > Greenplum新增节点

Greenplum新增节点

原创 数据挖掘 作者:Otakuzel 时间:2017-07-06 11:13:39 0 删除 编辑
详细步骤如下
1.      将新增的节点的主机名和IP地址加入到原有的Greenplum集群的/etc/hosts文件中,同时拷贝到新增的节点中
2.      新增的节点的环境配置,包括操作系统参数设置(/etc/sysctl.conf),磁盘IO调度方式,磁盘预读大小等
3.      在新增的节点中选择一个节点来安装Greenplum软件,当然你也可以从已经存在的Greenplum集群中拷贝过来
下面是新增单个节点主机的操作
1.拷贝相对应的Greenplum至相对应的新增的节点服务器:
     scp -r greenplum-db-4.3.11.0/ root@segment03:/usr/local/

2.建立相对应的软连接
     ln -s greenplum-db-4.3.11.0 greenplum-db

3.最后在segment03节点上面执行如下操作,将自动部署新增的节点,包括新增用户,创建信任关系,拷贝软件包操作等(这个操作和当初第一次安装Greenplum集群环境一样):
注:newhosts文件内容为新增的节点的主机名(多个新增节点主机就是多个主机名)
       source /usr/local/greenplum-db/greenplum_path.sh
       gpseginstall -f newhosts -u gpadmin -p xxxxxx

4. 已经存在的Greenplum集群环境和新增节点之间交换ssh key,即创建整个新Greenplum集群环境的信任关系
注:existhosts已经存在的主机名列表(每行一个主机名)(需要在root和gpadmin用户都进行相对应的操作)
    newhosts新增节点的主机名列表(每行一个主机名)
    gpssh-exkeys -e existhosts -x newhosts

5. 创建相对应的数据目录文件
    [root@segment03 local]# mkdir -p /data/primary
    [root@segment03 local]# chown gpadmin:gpadmin /data/primary
    [root@segment03 local]# mkdir -p /data/mirror
    [root@segment03 local]# chown gpadmin:gpadmin /data/mirror/

6.  使用gpcheck检查,出现错误使用下面相对应的命令解决错误
     gpcheck -f newhosts
     [root@segment03 local]#  echo deadline > /sys/block/sda/queue/scheduler 
     [root@segment03 local]#  /sbin/blockdev --setra 16384 /dev/sda

7.  使用gpcheckperf检查操作系统的磁盘读写,网络带宽等等
     gpcheckperf -f newhosts -d /data

8.  初始化Segment并加入集群
     使用gpexpand产生配置文件,当前如果你熟悉格式的话,也可以自己配置
     执行如下命令,按照提示一步一步来:(此命令在master下执行)
          gpexpand -f newhosts
      如果失败,可以使用下面的命令进行回滚:
          gpexpand --rollback -D database_name

9.   重分布表
    在重分布表的过程中:
          任何新表或分区的创建都是在所有Instance节点上的,这也刚好是正常的情况。
          查询会使用所有Instance,即便相关的数据可能还未分布到新的Instance上。
          正在重分布的表会被锁住,其他任何读写操作都无法访问该表。在重分布完成之后,即恢复正常操作。
   任何不希望被重分布的表,必须从gpexpand.status_detail表中删除对应的记录 。

  执行gpexpand命令。作为可选,可以选择使用-d或者-e来定义重分布会话的周期。例如,运行该命令并限制最长60个小时的周期:
         $ gpexpand -d 60:00:00
  该命令会一直运行到分布Schema中的最后一张Table被标记为成功的完成分布为止,或者直到指定的持续时间或者结束时间到达为止。每个会话的
   开始和结束时间,
gpexpand命令都会更新到gpexpand.status表中。
  视图gpexpand.expansion_progress来监测扩展的进度。

10.  清除扩展 Schema
    在确保扩展操作已经完成之后,扩展Schema可以被安全的删除。要想在GP系统上运行其他的扩展操作,首先必须清除已有的扩展Schema。
        1. 以GPDB系统运行用户(比如gpadmin)登录Master主机。
        2. 使用-c参数执行gpexpand命令。例如:
             $ gpexpand -c

 

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/30604784/viewspace-2141650/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: Flume与Kafka集成
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2015-12-01

  • 博文量
    58
  • 访问量
    220280