有了存储就会牵扯到查询,虽然用普通的方式也可以进行查询,但今天要介绍的是如何使用MONGODB中提供的MapReduce功能进行查询。
今天介绍如何基于sharding机制进行mapreduce查询。在MongoDB的官方文档中,这么一句话:
Sharded Environments
In sharded environments, data processing of map/reduce operations runs in parallel on all shards.
即: map/reduce操作会并行运行在所有的shards上。
下面我们就用之前这篇文章中白搭建的环境来构造mapreduce查询:
首先要说的是,基于sharding的mapreduce与非sharding的数据在返回结构上有一些区别,我目前注意到的主要是不支持定制式的json格式的返回数据,也就是下面方式可能会出现问题:
return { count : total };
注意:上面的情况目前出现在了我的测试环境下,如下图:
就需要改成 return count;
下面是测试代码,首先是按帖子id来查询相应数量(基于分组查询实例方式):
public partial class getfile : System.Web.UI.Page { public Mongo Mongo { get; set; } public IMongoDatabase DB { get { return this.Mongo[“dnt_mongodb”]; } } /// /// Sets up the test environment. You can either override this OnInit to add custom initialization. /// public virtual void Init() { string ConnectionString = “Server=10.0.4.85:27017;ConnectTimeout=30000;ConnectionLifetime=300000;MinimumPoolSize=512;MaximumPoolSize=51200;Pooled=true”; if (String.IsNullOrEmpty(ConnectionString)) throw new ArgumentNullException(“Connection string not found.”); this.Mongo = new Mongo(ConnectionString); this.Mongo.Connect(); } string mapfunction = “function(){n” + ” if(this._id==’548111′) { emit(this._id, 1); } n” + ”};”; string reducefunction = “function(key, current ){” + ” var count = 0;” + ” for(var i in current) {” + ” count+=current[i];” + ” }” + ” return count ;n” + ”};”; protected void Page_Load(object sender, EventArgs e) { Init(); var mrb = DB[“posts1”].MapReduce();//attach_gfstream.files int groupCount = 0; using (var mr = mrb.Map(mapfunction).Reduce(reducefunction)) { foreach (Document doc in mr.Documents) { groupCount = int.Parse(doc[“value”].ToString()); } } this.Mongo.Disconnect(); } } |
下面是运行时的查询结果,如下:
接着演示一下如何把查询到的帖子信息返回并装入list集合,这里只查询ID为548110和548111两个帖子:
string mapfunction = “function(){n” + ” if(this._id==’548110’|| this._id==’548111′) { emit(this, 1); } n” + ”};”; string reducefunction = “function(doc, current ){” + ” return doc;n” + ”};”; protected void Page_Load(object sender, EventArgs e) { Init(); var mrb = DB[“posts1”].MapReduce();//attach_gfstream.files List postDoc = new List(); using (var mr = mrb.Map(mapfunction).Reduce(reducefunction)) { foreach (Document doc in mr.Documents) { postDoc.Add((Document)doc[“value”]); } } this.Mongo.Disconnect(); } |
下面是运行时的查询结果,如下:
上面的map/reduce方法还有许多写法,如果大家感兴趣可以看一下如下这些链接:
http://cookbook.mongodb.org/patterns/unique_items_map_reduce/
http://www.mongodb.org/display/DOCS/MapReduce
当然在mongos进行map/reduce运算时,会生成一些临时文件,如下图:
我猜这些临时文件可能会对再次查询系统时的性能有一些提升(但目前未观察到)。
当然对于mongodb的gridfs系统可使用它搭建分布式文件存储系统,我之前已介绍过,我也做了测试,但遗憾的是并未成功,它经常会报一些错误,比如:
Thu Sep 09 12:09:29 Assertion failure _grab clientparallel.cpp 461
看来mapreduce程序链接到mongodb上时,会产生一些问题,但不知道是不是其自身稳定性的原因,还是我的机器环境设置问题(内存或配置的64位系统mongos与32位的client连接问题)。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
相关推荐
-
MongoDB与Cassandra数据库对比
MongoDB和Cassandra都属于NoSQL数据库系列,它们也恰好都是开源,但是,它们的相似之处仅此而已 […]
-
OpenWorld18大会:Ellison宣布数据库的搜寻和破坏任务
在旧金山举行的甲骨文OpenWorld 2018大会中,甲骨文首席技术官(CTO)兼创始人Larry Elli […]
-
eHarmony公司利用Redis NoSQL数据库进行热存储
虽然关系型数据库不会消失,但关系型数据库管理系统有时仅在会话管理、推荐引擎和模式匹配等关键Web应用程序中担当 […]
-
ObjectRocket着力发展Azure MongoDB服务
MongoDB吸引了微软公司的注意力,微软公司计划针对运行于该公司2017年发布的Azure Cosmos D […]