环境信息：

1.1 软件环境

1.2 硬件环境

TBase 集群拓扑结构

2. 配置Hadoop

2.1 配置HDFS

在172.21.32.18机器上安装hadoop的namenode和datanode，构建hdfs系统。

2.1.1 解压hadoop安装包

连接hadoop服务器 172.21.32.18

tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/

2.1.2 配置core-site.xml如下

2.1.3 配置hdfs-site.xml

cat /usr/local/hadoop-3.3.0/etc/hadoop/hdfs-site.xml

2.1.4 配置JAVA环境变量

tar -xf jdk-8u40-linux-x64.gz -C /usr  /local

vi /etc/bashrc

export JAVA_HOME=/usr/local/jdk1.8.0_40

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/usr/local/hadoop-3.3.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

##生效环境变量

source /etc/bashrc

2.1.5 配置hadoop-env.sh

设置JAVA环境变量。

vi /usr/local/hadoop-3.3.0/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_40

2.1.6 格式化namenode

mkdir -p /hd/dfs/{data,name}

###chmod -R 777 /hd/

hadoop namenode -format

2.1.7 启动namenode/datanode

[root@VM-32-18-centos hadoop]# hadoop-daemon.sh start namenode

WARNING: Use of this script to start HDFS daemons is deprecated.

WARNING: Attempting to execute replacement "hdfs --daemon start" instead.

[root@VM-32-18-centos hadoop]# hadoop-daemon.sh start datanode

WARNING: Use of this script to start HDFS daemons is deprecated.

WARNING: Attempting to execute replacement "hdfs --daemon start" instead.

[root@VM-32-18-centos hadoop]# jps

1297 Jps

1257 DataNode

1116 NameNode

2.1.8 安装hadoop客户端

在TBase集群上安装hadoop客户端，以下操作需要在 172.21.64.4, 172.21.64.5, 172.21.64.14 上完成。

-- 配置 JAVA 和 Hadoop 环境变量

tar -xf jdk-8u40-linux-x64.gz -C /usr  /local

vi /etc/bashrc

export JAVA_HOME=/usr/local/jdk1.8.0_40

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/usr/local/hadoop-3.3.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

##生效环境变量

source /etc/bashrc

解压 JAVA 和 HADOOP 安装包

tar -zxf hadoop-3.3.0.tar.gz -C /usr/local/

tar -xf jdk-8u40-linux-x64.gz -C /usr/local/

2.1.9 创建备份文件夹

-- 在 HDOOP 服务器 (172.21.32.18) 上执行

hadoop dfs -mkdir hdfs://172.21.32.18:9000/backup/

hadoop dfs -chown tbase:tbase hdfs://172.21.32.18:9000/backup/

-- 在 TBase 集群上执行 ( 随便找一个节点都可以 )

-- 创建测试文件

dd if=/dev/zero of=disk1 bs=1M count=1024

-- 将测试文件上传到 hdfs 系统中

hadoop dfs -copyFromLocal disk1 hdfs://172.21.32.18:9000/backup/

-- 查看文件

3. 配置TBase备份策略

用数据库实例管理员登陆OSS系统，运维管理->备份管理

修改备份策略

修改hdfs地址，(hdfs://172.21.32.18:9000/backup/).根据需求设置其他备份策略。

-- 修改备份策略需要输入数据库管理员密码。

4. 增量备份

   全量备份打开之后增量备份会自动开启，wal日志产生之后会自动进行增量备份。增量备份脚本为：

pg_xlog_archive.sh. 日志：pg_log/xlog_arch_${date}.log

备份路径：

5. 数据恢复

备份管理->数据恢复->创建恢复任务

5.1 选择要恢复的时间点

时间选择完成后，在可恢复时间点中会列举出当前集群可以恢复到的时间点。

5.2 配置目标集群

5.3 验证数据

成功之后查看详情。

刷新web界面，可以看到新创建的实例re_sales

查看 re_sales 实例。

登陆恢复的实例，数据正常恢复。 ( 这个实例没有备节点，如果需要备节点，需要手动创建 )

问题汇总

6. 备注

6.1 常见问题&解决方案

6.1.1 保存备份策略时报错

Hadoop command not found

解决方案：重启OssCenter

[root@VM-64-14-centos tbase_mgr]# ./tbase_mgr.sh restart OssCenter

6.1.2在TBase集群中向hdfs中上传文件无权限。

解决办法: 在hadoop集群中更改目录权限信息hadoop dfs -chown tbase:tbase  hdfs://172.21.32.18:9000/backup/。