ITPub博客

首页 > 数据库 > Oracle > 一次解决DB2接口文件到Oracle无法导入问题的经历

一次解决DB2接口文件到Oracle无法导入问题的经历

原创 Oracle 作者:bq_wang 时间:2014-02-11 07:58:03 0 删除 编辑
前几天触点营销平台出了点问题,请同事帮忙处理,结果两天过去了,还是没定位到问题。
临近春节,还是要把问题解决掉的,今天忙碌了一上午总算解决这个问题
DB2主机往Oracle主机发送接口文件,接口文件的数据总是缺失一部分,导致CRM系统无法看到相应的营销活动。
于是你说我没传接口文件,我说你没法处理接口文件,其实也很容易处理,关键是一个扯字,呵呵,看下接口文件是否在服务器上以及是否与两端的数据库一致即可。
好不容易厘清了接口文件问题,又扯到接口文件本身内容的问题,从接口机上看到的文件部分内容是乱码,且存在回车换行问题。
又开始了新一轮的测试,其实两端都应该测试接口文件能否正常入库,在DB2上测试数据的导出和导入都是正常的,那接口主机上看到的乱码是什么情况呢?估计数行字节太长,导致无法全部展示,所以系统把部分中文字符给分割了,导致看到的文件内容是乱码。
在DB2上的测试很简单,导出数据,加载数据,展示数据即可。
export to u:/IW3001test0001.AVL of del modified by coldel0x01 nochardel striplzeros decplusblank
select * from hnwangbq.yingxiaoan;
create table hnwangbq.test
(
sale_act_id varchar(20),
sale_act_name varchar(50),
act_begin_date varchar(20),
act_end_date varchar(20),
data_time varchar(20),
sale_act_script varchar(500),
sms_script varchar(500),
sale_act_type varchar(20)
);
import from u:/IW3001test0001.AVL of del modified by coldel0x01 nochardel decplusblank
insert into hnwangbq.test;
select * from hnwangbq.test;
在DB2上处理的一切都很正常,接下来测试在Oracle上的导入。
没办法只得重新安装了一下Oracle和PL/SQL Developer,创建新表。
create table hnwangbq.test
(
sale_act_id varchar2(20),
sale_act_name varchar2(50),
act_begin_date varchar2(20),
act_end_date varchar2(20),
data_time varchar2(20),
sale_act_script varchar2(500),
sms_script varchar2(500),
sale_act_type varchar2(20)
);
通过PL/SQL Developer的Text importer进行导入测试,发现报错是字段行太短,接下来继续查看发现Oracle把几条记录给合并到一条记录中了
为什么出现这种情况呢,发现行中存在"双引号情况,Oracle把"双引号作为列的Quote character,所以把两个"双引号中的内容作为一个字段了
于是通过replace函数把"双引号改为'单引号,再次测试,搞定
不过在生产环境的测试又出现问题了,还是出现错误,经过阅读shell脚本发现Oracle是通过SQLLDR进行接口文件加载的,我也通过SQLLDR进行了测试,控制文件如下:
LOAD DATA                                                         
INFILE 'd:\IW3001test0001.AVL'                                      
REPLACE INTO TABLE test         
FIELDS TERMINATED BY X'01'  OPTIONALLY ENCLOSED BY '"'   
trailing nullcols                                                  
(SALE_ACT_ID   ,                                                   
SALE_ACT_NAME  ,                                                   
ACT_BEGIN_DATE ,                        
ACT_END_DATE   ,                        
DATA_TIME      ,                        
SALE_ACT_SCRIPT ,                                                   
SMS_SCRIPT     ,                                                   
SALE_ACT_TYPE                                                      
)  
发现也是报错误,错误的原因在加载日志中,错误信息如下:
记录 1: 被拒绝 - 表 TEST 的列 SALE_ACT_SCRIPT 出现错误。
数据文件的字段超出最大长度
记录 3: 被拒绝 - 表 TEST 的列 SMS_SCRIPT 出现错误。
数据文件的字段超出最大长度
记录 8: 被拒绝 - 表 TEST 的列 SMS_SCRIPT 出现错误。
数据文件的字段超出最大长度
记录 11: 被拒绝 - 表 TEST 的列 SMS_SCRIPT 出现错误。
。。。
记录 42: 被拒绝 - 表 TEST 的列 SMS_SCRIPT 出现错误。
数据文件的字段超出最大长度
表 TEST:
  27 行 加载成功。
  由于数据错误, 15 行 没有加载。
  由于所有 WHEN 子句失败, 0 行 没有加载。
  由于所有字段都为空的, 0 行 没有加载。
通过百度搜索了一下,发现其他人也有同样的问题,问题的原因在Oracle的SQLLDR在缺省的情况下对字符串的处理是CHAR(255),而部分字段的列显然超过了255个字节,于是修改了一下控制文件。
LOAD DATA                                                         
INFILE 'd:\IW3001test0001.AVL'                                      
REPLACE INTO TABLE test         
FIELDS TERMINATED BY X'01'  OPTIONALLY ENCLOSED BY '"'   
trailing nullcols                                                  
(SALE_ACT_ID   ,                                                   
...                       
SALE_ACT_SCRIPT char(2000),                                                   
SMS_SCRIPT   char(2000),
其实解决方案不外乎两个,一个方法是在数据源侧上进行控制,一个方法是在加载侧进行不停的测试和完善。

问题的解决之道无它,无非是测试+测试而已,有时候看似解决了一个问题,另外一个问题又出来了,问题的根源在于不停的探索。
其实探索也是一种乐趣。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/6517/viewspace-1079229/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2007-12-07

  • 博文量
    412
  • 访问量
    1116710