ITPub博客

首页 > 云计算 > 开源云工具 > 部署greenplum集群详细教程

部署greenplum集群详细教程

开源云工具 作者:高并发玩家 时间:2026-05-27 15:25:25 0 删除 编辑

部署greenplum-db-4.3.16.1集群详细教程,照着部署,直接成功,不成功,那就是你不根据步骤来

1.准备工作

每台机器都需要

2.配置系统信息

2.1 配置系统信息,做安装Greenplum的准备工作

Greenplum 数据库版本4.3.16.1

Linux系统版本 CentOS7.9 64bit

2.1.1 Greenplum集群介绍

这里使用1个master,2个segment的集群,ip为:
192.168.1.171  mdw
192.168.1.172  smdw
192.168.1.173  sdw1
192.168.1.174  sdw2
其中1192.168.1.171为master,192.168.1.172为备用节点,其余为segment。

2.1.2 修改/etc/hosts文件(所有的机器都要修改)

这里主要是为之后Greenplum能够在各个节点之间相互通信做准备,添加如下:
格式为:主机ip地址 主机名

注意:一定要按照这个格式写,参数代表的含义,上面已经做出说明。
配置了这个文件之后,需要继续修改hostname,即修改/etc/sysconfig/network这个文件
如下(所有机器都要修改):

注意:这里修改hostname,需要重启之后方可生效,如需立即生效,需使用hostname命令。
[root@mdw ~]# hostname
这里的HOSTNAME一定要与/etc/hosts中的主机名一致,最终可以使用ping命令测试是否配置好了:

ping不通,先检查一下,无需进行下一步操作

 一定要使用主机名来测试,使用ip地址测试无效。

2.1.3 创建用户和用户组(所有机器都要创建)

创建gpamdin用户及gpadmin用户组

为gpadmin用户授予sudo访问权限
执行visudo

分配gpadmin到此组

2.1.4 修改系统内核(所有的机器都要修改)

执行以下命令使参数生效:

注意:每台机器都要修改,不然就会初始化不成功。

2.1.5 修改文件打开限制(每台机器都要修改):

在这个文件末尾,删掉原来的,添加上面四行就可以了。

2.1.6 关闭防火墙(每台机器都要)

关闭SELINUX

2.1.7  执行下面两条命令以修改磁盘IO调度设置和禁用THP提升性能

执行完成后,重启一下系统以生效

3 安装Greenplum

3.1 下载安装包

官网 https://network.pivotal.io/products/pivotal-gpdb
注意:下载安装包之前,需要在官网注册账号,方可下载。

3.2 master上安装Greenplum(只需master即可)

解压greenplum-db-4.3.16.1.zip

解压后,会产生greenplum-db-4.3.16.1-rhel5-x86_64.bin文件

在root用户下,将下载的文件放在CentOS系统中自己能找到的位置即可,给该文件赋予可执行权限,之后执行该文件,即开始安装

期间需要修改默认安装目录,输入 /usr/local之后即可安装成功(yes 后面的第二次提示),此时master上的Greenplum安装成功了。
安装完成后的提示:

 之前我们都是以root身份安装的,所以要将安装目录下的文件的所有者,都修改为gpadmin。

因为只在master上安装了Greenplum,所以接下来要将安装包批量发送到每个segment上,才能算是整个集群完整安装了Greenplum。
下面的操作都是为了连接所有节点,并将安装包发送到每个节点

3.3 创建配置文件

注意:此时需要转换成gpadmin身份来操作了,按照上面的文件内容创建hostlist和seg_hosts文件备用。
hostlist存储了所有节点的主机名,seg_hosts存储了所有从节点的主机名。
这里文件中的mdw、smdw、sdw1、sdw2
即为之前在 /etc/hosts文件中配置的最后一个参数。

3.5 打通所有节点

greenplum_path.sh中保存了运行Greenplum的一些环境变量设置,包括GPHOOME、PYTHONHOME等设置。

 如果报错,提示没有greenplum-db这个目录,就执行

注意:
(1)首次执行gpssh-exkeys命令时,在[STEP 3 of 5],要输入每个segment节点的gpadmin用户的密码。
(2)gpssh-exkeys命令使用的时候一定要用gpadmin身份,因为这个命令会生成ssh的免密码登录的秘钥,在/home/gpadmin/.ssh这里。如果以root身份使用gpssh-exkeys命令,那么生成的.ssh秘钥在root的home下面或者是在/home/gpadmin下面但是是root的所有者,如果之后使用gpadmin身份执行相应操作的时候就没有权限。

(3)如果执行gpssh-exkeys免密登录报错,那就需要手动来进行免密登录的操作了。具体可以百度一下,方法都差不多
[INFO] completed successfully 这就说明成功打通了,之后就可以使用下面的命令开启批量操作,如下:

这里pwd命令是linux中的查看路径命令,这里也是查看一下批量操作时所处的位置,从中可以看到同时连接到了3个节点。这里如果/etc/hosts文件中参数只设置了两个,没有设置主机名,就只能同时连接2个节点,而且是随机的。
这里我们只是测试一下,exit之后先做一些其他的操作。

3.5 将安装包分发到每个子节点

打通之后需要将master中的greenplum安装包批量复制到各个segment节点上。
打包:

然后利用gpscp命令将这个文件复制到每一台机器上:

如果没有意外,就批量复制成功了,可以去子节点的相应文件夹查看,之后要将tar包解压,我们使用批量操作。

这样就完成了所有节点的安装。

4. 初始化数据库

在初始化之前的的几个步骤都是做一些准备工作。

4.1 批量创建Greenplum数据存放目录
4.2 配置.bash_profile环境变量,放在最后(每台机器都要)

注意:PGPORT指的是你安装greenplum数据库的端口号。

4.3 创建初始化配置文件(只需master即可)
4.4 初始化数据库(只需master即可)

注意:如果上面有一些配置有问题,gpinitsystem就不能成功,日志在主节点/home/gpadmin/gpAdminLogs/的gpinitsystem_2020XXXX.log文件中。
需要注意的是如果初始化失败,一定要认真查看这个日志文件,一味重复安装没有太大意义,重要的是要找到主要原因。

5. 测试运行安装的Greenplum数据库

5.1 启动和停止数据库测试是否能正常启动和关闭
5.2 访问数据库

出现以上界面,恭喜你已经安装成功了。
 

6. 增加备用节点

gpstate -f 查询是否成功

到这里,基本上完成了,接下来就是测试,是否可以连接数据库,及创建用户和密码了,进行测试了

7.连接数据库

1.设置密码

地址:192.168.1.191
端口:5432
初始数据库:postgres
用户:gpadmin
密码:gpadmin

参考链接:

常用命令

常用命令

gpstate -e #查看mirror的状态
gpstate -f #查看standby master的状态
gpstate -s #查看整个GP群集的状态
gpstate -i #查看GP的版本
gpstate --help #帮助文档,可以查看gpstate更多用法

原文作者:weixin_57900254;如有侵权,请联系管理员删除。

上一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2020-10-09

  • 博文量
    10
  • 访问量
    1161