Azure数据湖分析从U-SQL中获得提升

日期: 2017-02-09 作者:Jack Vaughan 来源:TechTarget中国 英文

大数据的发展已经让许多精通SQL的数据专业人员不知所措。微软的U-SQL编程语言试图让这些人回归数据查询游戏。 大数据的一个小秘密是,长期的数据专业人员经常无可奈何。Hadoop,Spark和大数据的相关应用程序框架更多地依赖于Java编程技能,而更少地依赖SQL技能,从而让许多SQL专业人员无所适从。

在继续推进针对Hadoop,Hive,Spark,R等的Azure云支持的同时,Microsoft也在寻求使T-SQL用户也能够加入大数据体验。 它的答案是U-SQL,一种T-SQL的方言意味着处理不同的数据,同时支持C#扩展,反过来,.NET库。 它目前作为微软的Azure数据湖分析云服务的……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

大数据的发展已经让许多精通SQL的数据专业人员不知所措。微软的U-SQL编程语言试图让这些人回归数据查询游戏。

大数据的一个小秘密是,长期的数据专业人员经常无可奈何。Hadoop,Spark和大数据的相关应用程序框架更多地依赖于Java编程技能,而更少地依赖SQL技能,从而让许多SQL专业人员无所适从。

在继续推进针对Hadoop,Hive,Spark,R等的Azure云支持的同时,Microsoft也在寻求使T-SQL用户也能够加入大数据体验。

它的答案是U-SQL,一种T-SQL的方言意味着处理不同的数据,同时支持C#扩展,反过来,.NET库。 它目前作为微软的Azure数据湖分析云服务的公众预览的一部分,去年10月首次发布。

U-SQL是一种旨在支持对各种数据的查询的语言,而不仅仅是关系数据。 它只专注于对SQL SELECT语句的增强,它会自动部署代码以并行运行。 微软本周在亚特兰大的Ignite 2016会议上举行的数据科学峰会上详细介绍了U-SQL。

超越Hive和Pig

Hadoop社区已经通过添加面向SQL的查询引擎和语言(例如Hive和Pig)来解决这个问题。 但是,有一种更类似于熟悉的T-SQL的需求,据英国伯明翰Purple Frog Systems有限公司数据咨询公司的创始人Alex Whittles和微软MVP所说。

“许多大数据工具 - 例如MapReduce - 来自Hadoop背景,并且他们倾向于需要[高级] Java编码技术.Hive和Pig等工具是尝试弥合这一差距,以使其更容易 为SQL开发人员,“他说。

但是,在功能和心态,工具来自于编程世界,并不适合那些工作与数据库密切合作的人,“Whittles说。

这是向更多数据专业人员开放微软大数据系统的重要方式,他说。

“U-SQL给数据人员访问大数据平台,而不需要太多的学习,”他说。 这可能是重要的,他补充说,作为Hive-SQL开发人员仍然是一个小组,与较大的SQL军队相比。

根据华盛顿Chaves,SQL Server的主要顾问,在渥太华的Pythian集团公司和一个微软MVP,U-SQL是Azure Data Lake Analytics的一个区别。

“我从数据库管理员那里得到的反馈是,大数据看起来很吓人,需要您部署和管理Hadoop集群,并学习许多工具,如Pig,Hive和Spark。 其中一些问题由Microsoft的Azure云部署处理 - 其他由U-SQL处理。

“使用U-SQL,在任何SQL - 不只是T-SQL - 工作的人的学习曲线是更小的,”他说。 “它进入门槛低。

他补充说,微软的云分析定价方案也是其使用的激励。 他指出,Azure Data Lake本身分为单独的分析和存储模块,用户只需在调用分析处理资源时支付费用。

更多在商店

虽然它寻找其传统的T-SQL开发人员基础,但Microsoft还在Azure Data Lake中追求Hive的增强功能。

本周在纽约的Strata + Hadoop世界会议上,技术合作伙伴Hortonworks Inc.使用LLAP或Live Long和Process发布了其Apache Hive更新版本,该版本使用内存和其他架构增强功能来加速Hive查询。 这意味着与微软的HDInsight,一个基于Hortonworks的Hadoop和大数据平台,Azure数据湖分析家庭的另一个成员。

同时,U-SQL还有更多的存储空间。 例如,在微软的数据科学峰会上,U-SQL驱动力微软的主要项目经理Michael Rys向与会者展示了如何扩展U-SQL,重点是如何将R语言的查询暴露给U -SQL。

R语言在微软自从2015年收购Revolution Analytics后,获得了越来越多的支持。虽然R程序员大大延迟了SQL程序员的人口数量,但R在新的分析应用程序中使用,包括以机器学习为中心的应用程序。

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。

相关推荐