ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 海量数据处理_表结构变更

海量数据处理_表结构变更

原创 Linux操作系统 作者:redhouser 时间:2011-05-31 09:21:35 0 删除 编辑

问题:
随着应用的演变,需要对大表结构进行调整,这里主要讨论删除列、增加列两种情况。

注意:对于大表,进行较大的维护操作后,需要对表进行重构,对索引重构,重新收集统计信息。

1,删除列
1.1对于大表(3000万记录),直接删除列(alter table t drop column)耗时比较长,可能存在中断恢复问题。使用checkpoint(alter table t drop column ...checkpoint ),增加提交次数。如果失败,处于不可用状态,需要使用DROP COLUMNS CONTINUE。
alter table users drop(
  LOGIN_NAME,
  USER_TYPE,
  PASSWORD,
  STATUS,
  LOGIN_STATUS,
  LOGIN_DATE,
  CHANGE_PASSWORD,
  LOGIN_ERROR,
  ERROR_TIMES,
  ERROR_DAYS,
  REG_TYP
) checkpoint 10000;

--Elapsed: 00:26:44.95


1.2使用set unused可以很快完成逻辑删除,在系统空闲时,使用drop unused columns物理删除。
alter table users set unused(
  LOGIN_NAME,
  USER_TYPE,
  PASSWORD,
  STATUS,
  LOGIN_STATUS,
  LOGIN_DATE,
  CHANGE_PASSWORD,
  LOGIN_ERROR,
  ERROR_TIMES,
  ERROR_DAYS,
  REG_TYP
);
alter table users drop unused columns checkpoint 100000;

2,增加列
如果新增加列有缺省值,需要较大的回滚段,处理时间也较长。
测试中,在记录1000万行时,需要回滚段大概1G。可以分步处理:
--增加列
alter table payee add(FIXED_ACT varchar2(1));

--设置新增行的缺省值
alter table payee modify(FIXED_ACT default '0');

--设置已有行的缺省值
alter session enable parallel dml;
update /*+ parallel(t 8) */ payee t set fixed_act='0' where fixed_act is null;
commit;
alter session disable parallel dml;

 

 

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/18922393/viewspace-696734/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2011-05-26

  • 博文量
    211
  • 访问量
    876668