ITPub博客

首页 > 数据库 > Oracle > sql where in list问题

sql where in list问题

Oracle 作者:oraclesuperman 时间:2015-07-16 17:10:15 0 删除 编辑




ITPUB技术丛书 剑破冰山 170页

Where in list问题还是挺常见的。
前台可能传过来一系列参数,JAVA可能将其拼接在In列表里面.
比较典型的场景是前台页面有一堆复选框,系统需要显示用户勾选的数据
这时,后台很可能将其拼接为一个包含in列表的SQL
不过,这种做法有两个缺陷
1.Oracle In列表的数目有限制(1000)
2.不能复用执行计划,每次几乎都是硬解析.
3.In拼接可能存在SQL注入的风险

创建一个实验表
create table t as select rownum id,'name'||rownum name from dual connect by level<5000;

部分结果如图

加入前台将Id传递过来,JAVA将其拼接为In列表
假设前台传来(10,20,25),先将其转为一个表
var str varchar2(200);
exec :str:='10,20,25';

SELECT REGEXP_SUBSTR(:str, '[^,]+', 1, LEVEL) AS value_str
FROM DUAL
CONNECT BY LEVEL <= LENGTH(TRIM(TRANSLATE(:str, TRANSLATE(:str, ',', ' '), ' '))) + 1;



然后使用in就可以取得正确的结果
SELECT *
FROM t
WHERE id IN (SELECT REGEXP_SUBSTR(:str, '[^,]+', 1, LEVEL) AS value_str
    FROM DUAL
    CONNECT BY LEVEL <= LENGTH(TRIM(TRANSLATE(:str, TRANSLATE(:str, ',', ' '), ' '))) + 1);


或者采用如下方式也可以.
SELECT *
FROM t
WHERE id IN (SELECT REGEXP_SUBSTR(:str, '[^,]+', 1, LEVEL) AS value_str
    FROM DUAL
    CONNECT BY LEVEL <= length(:str)-length(replace(:str,',',''))+1);

如果没有正则表达式的支持,也可以使用如下方式
SELECT SUBSTR(inlist, INSTR(inlist, ',', 1, LEVEL) + 1, INSTR(inlist, ',', 1, LEVEL + 1) - INSTR(inlist, ',', 1, LEVEL) - 1) AS value_str
FROM (
    SELECT ',' || :str || ',' AS inlist
    FROM DUAL
)
CONNECT BY LEVEL <= LENGTH(:str) - LENGTH(REPLACE(:str, ',', NULL)) + 1

------------------------------------------------------------------------------------------------------
MySQL 处理这个问题需要增加数字辅助表
http://blog.itpub.net/29254281/viewspace-1362897/

  1. create table nums(id int not null primary key);

  2. delimiter $$
  3. create procedure pCreateNums(cnt int)
  4. begin
  5.     declare s int default 1;
  6.     truncate table nums;
  7.     while s<=cnt do
  8.         insert into nums select s;
  9.         set s=s+1;
  10.     end while;
  11. end $$
  12. delimiter ;


call pCreateNums(100000);

创建实验表
create table t 
select id,concat('name',id) name from nums where id<5000;

将逗号分隔值转成临时表
set @str='10,20,25';

select substring_index(substring_index(@str,',',b.id),',',-1) value_str
from 
nums b
where b.id <= (length(@str) - length(replace(@str,',',''))+1);




然后就明了了
select * from t where t.id in(
    select substring_index(substring_index(a.str,',',b.id),',',-1) value_str
    from 
    nums b,(select @str str from dual) a
    where b.id <= (length(a.str) - length(replace(a.str,',',''))+1)
);

因为MySQL参数化仅仅是替换了值(http://blog.itpub.net/29254281/viewspace-1151799/)
所以SQL的长度和In其实没有什么区别,但是使用子查询而非常量的方式,可以应用MySQL内连接的改写,在inList很大的情况下,可以提升效率.
虽然MySQL没有像Oracle一样有In的数量限制,但是他对SQL的总长度有限制,使用max_allowed_packet参数控制.

另外不要使用下面的写法处理 MySQL In List问题,因为他不能应用索引,效率很低
select * from t where find_in_set(id,@str);
或者
select * from t inner join
(select @str str from dual) a
on(instr(concat(',',a.str,','),concat(',',t.id,','))!=0);

MySQL where in List 问题和Oracle不同的是,
1.MySQL没有in列表数目的限制,只有SQL总长度的限制
2.MySQL都是硬解析

所以唯一的收获就是避免SQL注入攻击.
如果没有这个考虑,直接用in拼接,也是可以接受的吧。




/* Oracle Database 10g Release 10.2.0.1.0 */

CREATE OR REPLACE TYPE t_num_arr IS TABLE OF VARCHAR2(30);
/
CREATE OR REPLACE FUNCTION f_num_arr(str VARCHAR2) RETURN t_num_arr pipelined
IS
    l_start NUMBER := 1;
    l_end NUMBER;
BEGIN
    l_end := INSTR(str,',',l_start);
    WHILE l_end >0 loop
        pipe ROW(SUBSTR(str,l_start,l_end-l_start));
        l_start:=l_end+1;
        l_end := INSTR(str,',',l_start);
    END loop;
    pipe ROW(SUBSTR(str,l_start));
end;
/
-- build a test string that has 1001 fields
CREATE OR REPLACE FUNCTION f_test_str RETURN VARCHAR2
IS
l_str VARCHAR2(32767);
BEGIN
    FOR i IN 1 .. 1000 LOOP
        l_str := l_str || i || ',';
    END loop;
    l_str := l_str || '1001'
    RETURN l_str;
end;
/
SELECT dummy
FROM dual
WHERE dummy IN (SELECT column_value FROM TABLE(f_num_arr(f_test_str)));

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/29313086/viewspace-1735380/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2015-03-20

  • 博文量
    178
  • 访问量
    422838