oracle数据库限制返回的记录数问题
今天yxg提了一张bug单中提到oracle的环境下告警查询非常慢,连上去看了一下发现是非常慢(十多秒钟),开始怀疑是setMaxRow没有生效,导致进行了全表查询,但是在页面确认返回的结果确实是set过的500条,但是如果在语句里直接加入rownum<500不用QueryHelper.setMaxRow方法来限制查询条数的时候查询速度确是正常的(毫秒级),是不是jdbc的setMaxRow这个方法在性能上有些不足?
re:
setMaxRow的作用是限制最终的返回记录数,这个限制返回和sql执行的速度是基本没有什么关系。
你需要了解一下sql的运行机制,你可以set showplan on来看看sql的执行计划。
上面红色的最终意思是:数据库已经处理好返回的结果,然后从这些结构中获取指定的返回记录数。
特别是一些带有order by的操作,如果没有用到索引,则需要将查询结果放到临时表中进行排序,然后再从排序结果中返回指定的记录数。这个创建临时表和排序的过程也非常消耗数据库的cpu的。
setMaxRow作用主要是避免应用服务器这段需要处理过多的记录而导致出现IO的性能问题。
我们的web开发主要都是围绕数据库的开发,sql的性能直接影响系统的稳定性。sql的编写通常都需要一些经验和技巧的,关于这块开发中心可以考虑进行一次培训。
re:
我觉得这个接口只能限制你返回的数据,而不能限制你查出来多少数据,限制查出来多少条还是要程序自己控制。
想在这个接口里面控制查出来的结果集有难度。
以oracle为例,我就有个深刻教训。
从97接口表中查询1000条待处理数据,按照SO_NBR,ACT_TYPE排序,原来是这样写的
select * from interface_97 where STS='D' and rownum<=1000 order by SO_NBR,ACT_TYPE
这个语句是在oracle里是有问题的,虽然是排序了,也只返回了1000条,但是SO_NBR不连续了,因为oracle只是从STS='D'的数据中抽取了1000条进行排序(抽取的规则不详,虽然大多数情况下没问题)
后来改成这样就没问题了
select * from (
select * from interface_97
where STS='D' order by SO_NBR,ACT_TYPE
)
where rownum<=1000
order by rownum asc
上面举的例子只是想说明,要想在setMaxRow里面把你想做的都做了,实现起来肯定有难度,而且可能和你的预期不一致,所以最好还是在你的代码中控制数据量。
re:
嗯,这个让 QueryHelper 来加或替换 set rowcount 或 rownum 或 top,随意性太大,甚至象魏巍这个例子一样,导致结果可能不是你想要的。
在DBA中,限制查询数据的返回条数,大家都写死 select maxrow=1000, * from table
然后 DBA对应 Sybase翻译成 set rowcount 1000,Oralce翻译成 rownum < 5000,自定义的一套SQL规则。比较土 :)
QueryHelper,仅仅是在 java.sql.* 上简单的包装了一层,做了日志和时间统计过程。和其名字相称,仅仅是一个简单的helper。
大家有没有什么比较好的,又不是太重量级的咚咚,来屏蔽这种数据库层面的差异?
做出来show show,大家都觉得好的话,肯定会加到openEAP上去。
呵呵,openEAP是大家的EAP,是open的....
就如老汤说的,目前用QueryHelper这个层面,很难把数据库的SQL差异给屏蔽掉:
如很常用的日期类型,很多查询中都会用到,如果不加 todate 函数,Oracle不会执行的,而Sybase则不需要。
Sybase用条件查询有 case,Oracle用 decode ...