大数据新技术中Hadoop关注度最高

日期: 2011-08-15 作者:Beth Stackpole翻译:孙瑞 来源:TechTarget中国 英文

接上文:大数据给RDBMS带来大挑战   思维模式转变的催化剂是大量新技术的诞生,它们能够处理大数据分析所带来的3个V的挑战。新技术运动的核心就是大规模并行处理(MPP)数据库技术:在处理大型的数据集时,它能够将数据库工作负载自动地分配到多个商业服务器当中,然后并行地运行这些任务,从而获得更高的性能提升。   在MPP技术基础之上诞生了新的列式数据库,与传统的行式数据库相反,它将数据以列的方式进行存储,大大节省了存储空间,数据库查询速度也相应提升。针对大型分析BI工作负载设计的数据库内分析也是值得我们深入研究的一项新技术,除了提升数据查询速度之外,在成本方面也有着很大的竞争优势。

当然,软硬件集……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

接上文:大数据给RDBMS带来大挑战

  思维模式转变的催化剂是大量新技术的诞生,它们能够处理大数据分析所带来的3个V的挑战。新技术运动的核心就是大规模并行处理(MPP)数据库技术:在处理大型的数据集时,它能够将数据库工作负载自动地分配到多个商业服务器当中,然后并行地运行这些任务,从而获得更高的性能提升。

  在MPP技术基础之上诞生了新的列式数据库,与传统的行式数据库相反,它将数据以列的方式进行存储,大大节省了存储空间,数据库查询速度也相应提升。针对大型分析BI工作负载设计的数据库内分析也是值得我们深入研究的一项新技术,除了提升数据查询速度之外,在成本方面也有着很大的竞争优势。当然,软硬件集成的平台产品也是受到了越来越多的关注,从存储到数据仓库再到服务器、网络集成在一起,并进行必要的调优,集成设备可以满足大数据应用管理的需求。

  这些新技术对RDBMS的统治地位造成了极大的挑战,除以上所介绍的技术之外,另一个大家都比较熟悉的技术在大数据分析领域也扮演了重要的角色——Hadoop。扎根于开源社区,Hadoop已经是目前大数据平台中应用率最高的技术,特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。除分布式文件系统之外,伴随Hadoop一同出现的还有进行大数据集处理MapReduce架构、可扩展的NoSQL数据库Cassandra以及Hive数据仓库等。

  大数据应用 Hadoop关注度最高

  根据最新名为《Hadoop与信息管理》的Ventana基准测试报告显示,有半数以上的受访者都在使用或者在评估Hadoop技术来作为大数据平台的标准。这部分用户希望能够更加深入地对数据进行分析,特别是大数据分析。然而,抛去对新技术近乎于偏执的狂热不谈,我们应该看到Hadoop技术的成熟度还处在相对较低的阶段,而且相关的开源工具集也较少。

  尽管新技术能够为企业解决许多难题,但是也给现有的数据仓库从业者带来了挑战。目前大数据分析真正的问题已经不是数据量,而是如何为你的企业带来更多的分析能力。来自Gartner的高级分析师Yvonne Genovese表示:“数据量的问题已经存在多年,但是这并不是极限数据真正关注的。企业IT人员应该更多地关注如何将数据转化为有用的信息,以及如何将有用信息转化为更好的决策。”

翻译

孙瑞
孙瑞

相关推荐