MongoDB智能查询优化的问题

日期: 2012-03-14 作者:nosqlfan 来源:TechTarget中国 英文

  自动查询优化是MongoDB一个专门设计的功能。简言之,这个功能就是通过对查询进行分析,从而判断出更有利的索引使用策略。而这个智能的功能,实际潜伏着一些问题。

  传统的查询优化是通过对语句进行语义分析来进行索引使用的预判,而MongoDB使用了一种更简单粗暴的方式,对查询的实际执行情况进行分析,它同时执行多条查询,每一条查询使用不同的索引,当其中一条返回时,终止其它的查询,并记录这次的结果,以后会优先使用返回更快的索引。直到类似的查询又变得慢了,它再进行新的测试得出新的索引使用方式。

  最近在工作中遇到这样的问题,一个collection偶尔出现大量的慢查询,通过对慢日志进行分析,这些慢查询的nscan都很高,但是按正常的索引使用逻辑,这些查询都能够直接使用索引,不会导致这么高的慢查询。通过我们在事后的测试也能证实这一点。那倒底发生了什么,导致MongoDB不走正确的索引呢?

  后来通过测试发现,每个我们执行几个特别大的skip后,后续一段skip不大的查询也都会不使用正确的索引。于是我们想到是智能索引优化的问题。

  而这个问题最终在于,MongoDB的智能查询优化并没有那么智能。它的判断粒度为query条件,而skip和limit都不在其判断之中(见此)。也就是说,如果你使用了正常索引,但是由于很大的skip需要跳过很多条记录,从而进一步导致查询变慢,MongoDB可能会对所有此query的查询都弃用此正常索引。

  这样的结果就是,我们几次比较大的skip查询后,后续小的skip查询也用不到索引了。因为几次大的skip会导致MongoDB重新进行查询优化,重新检测合适的索引。而这时候可能它测试时使用的也是一个skip过大的查询,就导致它放弃了对正确索引的使用。

  而为什么它又慢慢恢复了呢,因为后续的查询操作由于用不到索引,会有很多慢查询,MongoDB发现这种情况后会再次进行查询优化检测,这次它发现使用正确索引后会更快,于是它又开始选择正确的索引。所以,当你发现你的慢日志里有些查询并没有用到你希望用到的索引时,可能你遇到这种问题了。

  情况就是这么简单,那么,如何规避这种影响呢。主要有两件事情需要做:

  第一就是放弃这种所谓的智能,让一切可掌控。具体方法就是在查询时添加hint调用,强制MongoDB使用我们指定的索引。这能解决一半问题,就是skip较小的情况下总是能使用合适的索引。但是skip很大的情况下依然会很慢。所以还有下面的优化。

  第二是优化查询方式,在我们的业务中,大的skip主要来自于用户直接访问最后一页或几页,这时候通过skip来获取经常需要skip几十万条数据。所以我们通过对获取记录在总记录中的位置进行判断,如果需要的数据更接近于列表末尾,那么就使用相反的sort条件,从后往前获取数据,这样skip就大大减小了。对应的nscan(扫描行数)也大大减少。原来导致MongoDB需要重新测试的情况也就自然消失了。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者

nosqlfan
nosqlfan

相关推荐