海量数据库查询优化及分页算法(五)

日期: 2008-08-06 作者:晴穹 来源:TechTarget中国 英文

 得出以上速度的方法是:在各个select语句前加:declare @d datetime


  set @d=getdate()


  并在select语句后加:


  select [语句执行花费时间(毫秒)]=datediff(ms,@d,getdate())


  2、只要建立索引就能显著提高查询速度


  事实上,我们可以发现上面的例子中,第2、3条语句完全相同,且建立索引的字段也相同;不同的仅是前者在fariqi字段上建立的是非聚合索引,后者在此字段上建立的是聚合索引,但查询速度却有着天壤之别。所以,并非是在任何字段上简单地建立索引就能提高查询速度。


  从建表的语句中,我们可以看到这个有着1000万数据的表中fariqi字段有5003个不同记录。在此字段上建立聚合索引是再合适不过了。在现实中,我们每天都会发几个文件,这几个文件的发文日期就相同,这完全符合建立聚集索引要求的:“既不能绝大多数都相同,又不能只有极少数相同”的规则。由此看来,我们建立“适当”的聚合索引对于我们提高查询速度是非常重要的。


  3、把所有需要提高查询速度的字段都加进聚集索引,以提高查询速度


  上面已经谈到:在进行数据查询时都离不开字段的是“日期”还有用户本身的“用户名”。既然这两个字段都是如此的重要,我们可以把他们合并起来,建立一个复合索引(compound index)。


  很多人认为只要把任何字段加进聚集索引,就能提高查询速度,也有人感到迷惑:如果把复合的聚集索引字段分开查询,那么查询速度会减慢吗?带着这个问题,我们来看一下以下的查询速度(结果集都是25万条数据):(日期列fariqi首先排在复合聚集索引的起始列,用户名neibuyonghu排在后列)






(1)select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>’2004-5-5’ 

  查询速度:2513毫秒 







(2)select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>’2004-5-5’ and neibuyonghu=’办公室’ 

  查询速度:2516毫秒







(3)select gid,fariqi,neibuyonghu,title from Tgongwen where neibuyonghu=’办公室’ 

  查询速度:60280毫秒


  从以上试验中,我们可以看到如果仅用聚集索引的起始列作为查询条件和同时用到复合聚集索引的全部列的查询速度是几乎一样的,甚至比用上全部的复合索引列还要略快(在查询结果集数目一样的情况下);而如果仅用复合聚集索引的非起始列作为查询条件的话,这个索引是不起任何作用的。当然,语句1、2的查询速度一样是因为查询的条目数一样,如果复合索引的所有列都用上,而且查询结果少的话,这样就会形成“索引覆盖”,因而性能可以达到最优。同时,请记住:无论您是否经常使用聚合索引的其他列,但其前导列一定要是使用最频繁的列。


  (四)其他书上没有的索引使用经验总结


  1、用聚合索引比用不是聚合索引的主键速度快


  下面是实例语句:(都是提取25万条数据)







select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=’2004-9-16’ 


  使用时间:3326毫秒 







select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid<=250000 

  使用时间:4470毫秒


  这里,用聚合索引比用不是聚合索引的主键速度快了近1/4。


  2、用聚合索引比用一般的主键作order by时速度快,特别是在小数据量情况下 








select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by fariqi 


  用时:12936






select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by gid 

  用时:18843


  这里,用聚合索引比用一般的主键作order by时,速度快了3/10。事实上,如果数据量很小的话,用聚集索引作为排序列要比使用非聚集索引速度快得明显的多;而数据量如果很大的话,如10万以上,则二者的速度差别不明显。


  3、使用聚合索引内的时间段,搜索时间会按数据占整个数据表的百分比成比例减少,而无论聚合索引使用了多少个







select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>’2004-1-1’ 

  用时:6343毫秒(提取100万条)







select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>’2004-6-6’ 

  用时:3170毫秒(提取50万条)






select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=’2004-9-16’ 

  用时:3326毫秒(和上句的结果一模一样。如果采集的数量一样,那么用大于号和等于号是一样的)







select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>’2004-1-1’ and fariqi<’2004-6-6’ 


  用时:3280毫秒


  4 、日期列不会因为有分秒的输入而减慢查询速度


  下面的例子中,共有100万条数据,2004年1月1日以后的数据有50万条,但只有两个不同的日期,日期精确到日;之前有数据50万条,有5000个不同的日期,日期精确到秒。






select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>’2004-1-1’ order by fariqi 

  用时:6390毫秒







select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi<’2004-1-1’ order by fariqi 

  用时:6453毫秒


  (五)其他注意事项


  “水可载舟,亦可覆舟”,索引也一样。索引有助于提高检索性能,但过多或不当的索引也会导致系统低效。因为用户在表中每加进一个索引,数据库就要做更多的工作。过多的索引甚至会导致索引碎片。


  所以说,我们要建立一个“适当”的索引体系,特别是对聚合索引的创建,更应精益求精,以使您的数据库能得到高性能的发挥。


  当然,在实践中,作为一个尽职的数据库管理员,您还要多测试一些方案,找出哪种方案效率最高、最为有效。


  二、改善SQL语句


  很多人不知道SQL语句在SQL SERVER中是如何执行的,他们担心自己所写的SQL语句会被SQL SERVER误解。比如:







select * from table1 where name=’zhangsan’ and tID > 10000 

  和执行:







select * from table1 where tID > 10000 and name=’zhangsan’ 



  一些人不知道以上两条语句的执行效率是否一样,因为如果简单的从语句先后上看,这两个语句的确是不一样,如果tID是一个聚合索引,那么后一句仅仅从表的10000条以后的记录中查找就行了;而前一句则要先从全表中查找看有几个name=’zhangsan’的,而后再根据限制条件条件tID>10000来提出查询结果。


  事实上,这样的担心是不必要的。SQL SERVER中有一个“查询分析优化器”,它可以计算出where子句中的搜索条件并确定哪个索引能缩小表扫描的搜索空间,也就是说,它能实现自动优化。


  虽然查询优化器可以根据where子句自动的进行查询优化,但大家仍然有必要了解一下“查询优化器”的工作原理,如非这样,有时查询优化器就会不按照您的本意进行快速查询。


  在查询分析阶段,查询优化器查看查询的每个阶段并决定限制需要扫描的数据量是否有用。如果一个阶段可以被用作一个扫描参数(SARG),那么就称之为可优化的,并且可以利用索引快速获得所需数据。


  SARG的定义:用于限制搜索的一个操作,因为它通常是指一个特定的匹配,一个值得范围内的匹配或者两个以上条件的AND连接。形式如下:


  列名 操作符 <常数 或 变量>


  或


  <常数 或 变量> 操作符列名


  列名可以出现在操作符的一边,而常数或变量出现在操作符的另一边。如:


  Name=’张三’


  价格>5000


  5000<价格


  Name=’张三’ and 价格>5000


  如果一个表达式不能满足SARG的形式,那它就无法限制搜索的范围了,也就是SQL SERVER必须对每一行都判断它是否满足where子句中的所有条件。所以一个索引对于不满足SARG形式的表达式来说是无用的。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者

晴穹
晴穹

相关推荐