金蜂巢大数据集成与脱敏系统

日常运维手册

版权归网智天元科技 集团 股份有限公司所有，翻印必究

修订历史

A- 增加 M- 修改 D- 删除

1       读者须知

此文档只适用于网智天元《金蜂巢数据脱敏系统》

2       启停数据库

root 用户下

执行如下命令：

Ø   启动： service mysqld start

Ø   停止： service mysqld stop

3       启停 tomcat 服务

拥有执行 dm 路径权限用户

路径： dm 文件夹下

Ø   启动： ./run.sh

Ø   停止： ./stop.sh

说明：不可忽略 ”/” 前面的 ”.” 或使用 sh 代替“ ./ ”

4       日志及 ktr 文件获取

日志共分为 2 部分，界面日志及后台日志，建议在报错不明确时获取后台日志，这里只提供获取后台日志方法

用户：使用拥有执行 dm 路径权限用户

路径： /dm/ core/apache-tomcat-8.0.53/logs

主日志： catalina.out

辅助日志： localhost.2019-06-05.log （ 2019-06-05 为当前日期时间）

ktr 文件路径：

2.0 版本脱敏系统路径： /dm/core/apache-tomcat-8.0.53/webapps/ROOT/WEB-INF/classes

3.0 版本脱敏系统路径： /dm/core/apache-tomcat-8.0.53/temp

5       日志分析

在主日志及辅助日志中找出当天的 ERROR 级别错误，其余 WARN 级别日志均不需考虑

一般情况如下：

如遇到 java 字样，则是脱敏系统自身 bug

如遇到 sqlcode 、 ora 等字样是数据库报错

6       常见报错及问题解决

6.1    脱敏系统报错

   网络故障

n   新建文件脱敏数据源：设置的路径不正确或路径权限不足

n     新建数据分析任务：

u   源库中的模式配置不正确（在指定表时可查看是否有表）

u   正则匹配不正确（正则匹配与脱敏系统中存在的正则不相符）

u   文件脱敏时，分隔符与文件中的不一致

u   文件脱敏时，在文件存储路径下含有其他格式的文件或者含有其他文件夹

n   新建数据处理：

u   分析结果集中含有小写字母或者空格

u   分析结果集中的正则表达式名称与脱敏系统中的不相符

u   文件脱敏时，分析结果集中的字段与数据库中的字段不相符

u   数据源与目标路径或配置不正确

   初始化错误

n   将原任务删除，重新创建处理任务，再次执行

n   将报错表 ktr 取出，提供给技术工程师

   网页无法打开

n   将浏览器关闭，重新打开浏览器

n   使用兼容性较高的浏览器（火狐、谷歌、 360 等）

n   查看 tomcat 是否启动，如未启动请到 dm 下执行 ./run.sh

6.2    数据库报错

6.2.1 DB2 数据库

   SQLCODE=-964  SQLSTATE=57011

此错误代码为数据库日志已满

n   解决方案：

在目标数据库 db2 命令行执行如下命令 :

db2 update db cfg for dbname  using    LOGFILSIZ 1000– 日志文件大小

db2 update db cfg for dbname  using    LOGPRIMARY 20    – 主日志

db2 update db cfg for dbname  using    LOGSECOND 10      – 辅助日志

执行完如上命令需重启数据库，命令如下：

启动数据库： db2start

停止数据库： db2stop 或 db2stop force application all 

n   说明：

dbname是数据库实例名，后三个（ LOGFILSIZ 、 LOGPRIMARY 、 LOGSECOND ）参数大小根据实际情况而定。

数据库日志大小计算公式：数据库事务日志的最大大小 = （ LOGPRIMARY + LOGSECOND ）* LOGFILSIZ * 4KB

   SQLCODE=-204, SQLSTATE=42704

此错误代码为未定义名称的标识对象

n   解决方案：

查看目标库是否有表，且表名是否于源库一致（如没有需重新建表）

   SQLCODE=-551, SQLSTATE=42501

此错误代码为用户权限不足

n   解决方案：

需要对用户进行授权，赋予权限根据实际情况而定

   SQLCODE=-4229, SQLSTATE=null

此错误代码为数据库中出现重复数据，一般出现在 db2 同库脱敏

n   解决方案一：

1)      重新创建处理任务

2)      找出报错表的 ktr 文件，将 use_batch 参数的 Y 改为 N

3)      监控日志，使用 tail –f catalina.out

4)      运行处理任务（不可再对处理任务执行编辑等操作）

5)      查看后台报错信息，找到报错出现的数据，分析导致报错的数据找到相应的字段

6)      查看报错字段特殊性，根据实际情况解决

n   解决方案二：

将该报错表的分析结果集中的字段逐一删除进行脱敏，直到脱敏成功为止

n   说明：分析结果集中删除一个字段进行脱敏一次

   SQLCODE=-803,SQLSTATE=23505

此错误代码为违反唯一性约束

n   解决方案：

将处理任务重新编辑，勾选（临时禁用目标库约束、删除索引、重建索引），再次执行

n   说明：如目标库有数据请勾选清空目标库或截断目标库（ 2.0 为清空目标库， 3.0 为截断目标库）

6.2.2 Oracle 数据库

   ORA-00001

此错误代码为违反唯一性约束

n   解决方案：

将处理任务重新编辑，勾选（临时禁用目标库约束、删除索引、重建索引），再次执行

n   说明：如目标库有数据请勾选清空目标库或截断目标库（ 2.0 为清空目标库， 3.0 为截断目标库）

   ORA-01653

此错误代码为无法扩展表空间

n   解决方案一：

 alter tablespace 表空间名称 add datafile 表空间存放路径   size 表空间大小 autoextend on next 增长的大小 maxsize 空间最大值 ( 如果不限制空间最大值就用 unlimited)

n   解决方案二：

alter database datafile 表空间文件路径  AUTOEXTEND （自动扩展） ON NEXT 表空间满后增加的大小

n   说明：方案一为扩展表空间（该表空间不是自增长表空间，还有可用空间需使用该方法），方案二为增加表空间数据文件（该表空间已满，没有可用空间扩展，增加数据文件达到扩展表空间的目的）

7       回退方案

n   在 /home/webapp/ 下创建回退文件夹，每次替换文件都会存放在指定（以日期命名）文件夹中

n   在 /home/webapp/dm/ 路径下执行 ./stop/sh 脚本停止运行脱敏软件，并把回退夹中的文件替换回，再执行 ./run.sh 脚本，可回退之前版本

8       更新及替换步骤

1)      停止服务，在 dm 目录下，执行 ./stop,sh

2)      备份 key 、 license

2.0 版本文件所在位置 /dm/core/apache-tomcat-8.0.53/webapps/ROOT/WEB-INF/classes

3.0 版本文件所在位置 /dm/core/apache-tomcat-8.0.53/temp

3)      删除 /dm/core/apache-tomcat-8.0.53/webapps/ 下面的所有文件

4)      将需要更换的 ROOT.war 上传至 /dm/core/apache-tomcat-8.0.53/webapps/

5)      启动服务，在 dm 目录下，执行 ./run,sh

6)      将备份的 key 、 license 上传至

2.0 版本 /dm/core/apache-tomcat-8.0.53/webapps/ROOT/WEB-INF/ classes/ 下

3.0 版本 /dm/core/apache-tomcat-8.0.53/temp 下