ITPub博客

首页 > Linux操作系统 > Linux操作系统 > oracle10g的全文索引

oracle10g的全文索引

原创 Linux操作系统 作者:prt 时间:2009-04-30 09:56:15 0 删除 编辑

http://hi.baidu.com/lichangzai/blog/item/fe7fc90176b41807728da543.html
http://www.oracle.com/global/cn/oramag/oracle/04-sep/o54text.html
http://yangtingkun.itpub.net/post/468/228849

在对海量的文本数据进行搜索时,建议使用全文检索功能。
创建全文索引环境

1.在sysdba权限下验证是否有ctxsys用户和ctxapp角色:
sql>select username from all_users;
如果没有该用户,则需要打开dbca工具中选择configrue database options,然后选择所有数据库组件安装即可。

2.用在sysdba权限下或ctxsys用户下授予prt用户执行ctx_ddl的权限
sql>grant execute on ctx_ddl to prt;

3.prt用户下创建分词
sql>conn prt/prt
sql>exec ctx_ddl.create_preference ('PRT_CHINESE_LEXER', 'chinese_vgram_lexer');

4.在某个字段上创建全文索引
create index idx_ctx_movie_desc on movie(desc) indextype is ctxsys.context parameters('LEXER PRT_CHINES_LEXER');

5.定期同步优化全文索引

/*索引建好后,由于对表所发生的任何DML语句,都不会自动修改索引,因此,必须定时同步(sync)和优化(optimize)索引,以正确反映数据的变化,所以要定期同步和优化全文索引。*/
create or replace procedure p_lexer_movie is
begin
 ctx_ddl.sync_index('IDX_CTX_MOVIE_DESC');
 ctx_ddl.optimize_index('IDX_CTX_MOVIE_DESC','FULL');
end;

var i number;
begin
dbms_job.submit(:j,'p_lexer_movie;',sysdate,'sysdate + 1/48');
commit;
end;
/

全文索引的作用包括:1.提高查询速度,2.切词,3.针对所有数据类型(包括blob等)进行全文检索,4.可以对超过150种文件类型(如doc,txt,pdf,xml)进行检索

1.提高查询速度
select * from movie where containts(desc,'探险')>0;
查看执行计划走的是domain index:IDX_CTX_MOVIE_DESC

在数据量很大的情况下比如下sql速度提高n倍
select * from movie where instr(desc,'探险')>0;

经过测试,在5600万条记录的表中,查询出符合条件的117条记录,用全文索引只需要2.391s,而用第二种方法,则需要99.515s才能出结果。

2.实现切词功能(yangtingkun):
create or replace function f_split_chinese(as_input in varchar2)
  return varchar2 as
  pragma autonomous_transaction;
  v_return varchar2(32767);
begin
  begin
    execute immediate 'drop table t_temp_table purge';
  exception
    when others then
      null;
  end;

  execute immediate 'create table t_temp_table (str varchar2(4000))';
  execute immediate 'insert into t_temp_table values (:1)'
    using as_input;
  execute immediate 'create index ind_t_temp_table_str on t_temp_table(str) indextype is ctxsys.context
                            parameters(''lexer SMS_CHINESE_LEXER'')';
  execute immediate 'select max(ltrim(sys_connect_by_path(token_text, '',''), '',''))
                      from
                      (
                      select token_text, row_number() over(order by token_text) rn
                      from dr$ind_t_temp_table_str$i
                      )
                      start with rn = 1
                      connect by prior rn + 1 = rn'
    into v_return;
  execute immediate 'drop table t_temp_table purge';
  return v_return;
end;

SQL> select f_split_chinese('优化你的文本检索') from dual;
f_split_chinese('优化你的文本?
-----------------------------------------
本检,的文,化你,检索,你的,索,文本,优化

sql>exec ctx_ddl.drop_preference('PRT_CHINESE_LEXER');
sql>exec ctx_ddl.create_preference('PRT_CHINESE_LEXER', 'CHINESE_LEXER');

SQL> select f_split_chinese('优化你的文本检索') from dual;
F_SPLIT_CHINESE('优化你的文本?
---------------------------------
检索,你的,文本,优化

 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/559237/viewspace-592339/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2008-05-09

  • 博文量
    61
  • 访问量
    181969