SQL-on-Hadoop引领开源架构走向主流

日期: 2014-06-12 作者:Jack Vaughan翻译:孙瑞 来源:TechTarget中国 英文

为Hadoop数据架构添加SQL能力,这是许多厂商在做的一件事,其背后的原因很简单。

尽管Hadoop分布式文件系统(HDFS)为大数据带来并行廉价服务器集群的处理能力,但如果企业能够使用SQL来对查询进行交互的话,那么它就可以达到更好的效果。

早期的Hadoop应用普遍需要十分专业的技术人员(数据科学家)来对查询进行管理。查询运行的时间非常长,整体的交互也做的不好。Apache Tez架构(针对Hive的Stinger查询加速器)以及Spark分析引擎正是为了弥补这一不足而诞生的技术。

在刚刚结束的Hadoop峰会2014上,知名零售企业塔吉特(Target)的架构师Anu Jain在谈到他们的Hadoop项目时表示:“对于我们来说,确保用户能够访问交互查询是非常重要的。有了Tez,我们就能够将这种能力带给业务用户,他们可以将并行Hadoop的应用探索融入现有的工作流,这对于充分利用Hadoop是非常关键的一步。我们的目标就是确保在正确的平台上提供正确的数据,同时有效地控制成本。”

逐渐进入主流

SQL-on-Hadoop技术是Hadoop近几年发展中最典型的创新。Gartner分析师Merv Adrian表示,人们在熟悉Hadoop的批量处理方式之后,接下来就希望能够做交互的查询了。

Gartner也对多个SQL-on-Hadoop产品进行了描述,在今年早些时候的一次调查中,Gartner发现用户最常见的使用方式就是让厂商提供HBase,占到32%。另外有27%的用户表示会通过Hive来自己创建SQL查询,23%的用户表示会使用特定的Hadoop发行版SQL工具,比如Cloudera的Impala,Pivotal的HAWQ等。

新的时代已经开启。大多数早期用户并不关心与SQL的结合,但随着Hadoop的应用逐渐走向主流,情况也发生了变化。Adrian表示,事实上SQL-on-Hadoop的崛起也让传统厂商的长处得以发挥,他们对SQL是非常熟悉的。

Hadoop也许会披上SQL的外衣,但也有人认为是由于编程语言的变迁,SQL被Hadoop化了。TrueCar公司的平台运营副总裁John Williams就是持这样的观点,他认为数据开发的方法正在经历变革,因为数据集的规模已经是非常大了。传统SQL并不能胜任这样的负载,我们需要其他的编程环境。事实上,在大数据集方面SQL的执行速度是非常慢的,与此同时随着Yarn,Tez等技术的出现,SQL-on-Hadoop的速度已经得到了大幅的提升。

然而,执行速度并不是唯一的衡量标准。Williams更关心应用上线时间。对于他们来说,SQL开发的周期太长了。他表示,使用SQL开发需要学习数据,构思模式,标准化,创建索引和查询。如果应用中发生变更,这些工作都需要推到重来一遍。因此现在新的非结构化数据应用更多的技术开发是集中在Java、Python语言上的。

不同类型的企业也许需要不同的方式来拥抱SQL-on-Hadoop。但在很多情况下,SQL的加入会使得Hadoop更靠近企业应用的主流。Ovum分析师Tony Baer表示,Hadoop未来的突破点就将存在于SQL-on-Hadoop之上。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

翻译

孙瑞
孙瑞

相关推荐