大数据的发展已经让许多精通SQL的数据专业人员不知所措。微软的U-SQL编程语言试图让这些人回归数据查询游戏。 大数据的一个小秘密是,长期的数据专业人员经常无可奈何。Hadoop,Spark和大数据的相关应用程序框架更多地依赖于Java编程技能,而更少地依赖SQL技能,从而让许多SQL专业人员无所适从。
在继续推进针对Hadoop,Hive,Spark,R等的Azure云支持的同时,Microsoft也在寻求使T-SQL用户也能够加入大数据体验。 它的答案是U-SQL,一种T-SQL的方言意味着处理不同的数据,同时支持C#扩展,反过来,.NET库。 它目前作为微软的Azure数据湖分析云服务的……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
大数据的发展已经让许多精通SQL的数据专业人员不知所措。微软的U-SQL编程语言试图让这些人回归数据查询游戏。
大数据的一个小秘密是,长期的数据专业人员经常无可奈何。Hadoop,Spark和大数据的相关应用程序框架更多地依赖于Java编程技能,而更少地依赖SQL技能,从而让许多SQL专业人员无所适从。
在继续推进针对Hadoop,Hive,Spark,R等的Azure云支持的同时,Microsoft也在寻求使T-SQL用户也能够加入大数据体验。
它的答案是U-SQL,一种T-SQL的方言意味着处理不同的数据,同时支持C#扩展,反过来,.NET库。 它目前作为微软的Azure数据湖分析云服务的公众预览的一部分,去年10月首次发布。
U-SQL是一种旨在支持对各种数据的查询的语言,而不仅仅是关系数据。 它只专注于对SQL SELECT语句的增强,它会自动部署代码以并行运行。 微软本周在亚特兰大的Ignite 2016会议上举行的数据科学峰会上详细介绍了U-SQL。
超越Hive和Pig
Hadoop社区已经通过添加面向SQL的查询引擎和语言(例如Hive和Pig)来解决这个问题。 但是,有一种更类似于熟悉的T-SQL的需求,据英国伯明翰Purple Frog Systems有限公司数据咨询公司的创始人Alex Whittles和微软MVP所说。
“许多大数据工具 - 例如MapReduce - 来自Hadoop背景,并且他们倾向于需要[高级] Java编码技术.Hive和Pig等工具是尝试弥合这一差距,以使其更容易 为SQL开发人员,“他说。
但是,在功能和心态,工具来自于编程世界,并不适合那些工作与数据库密切合作的人,“Whittles说。
这是向更多数据专业人员开放微软大数据系统的重要方式,他说。
“U-SQL给数据人员访问大数据平台,而不需要太多的学习,”他说。 这可能是重要的,他补充说,作为Hive-SQL开发人员仍然是一个小组,与较大的SQL军队相比。
根据华盛顿Chaves,SQL Server的主要顾问,在渥太华的Pythian集团公司和一个微软MVP,U-SQL是Azure Data Lake Analytics的一个区别。
“我从数据库管理员那里得到的反馈是,大数据看起来很吓人,需要您部署和管理Hadoop集群,并学习许多工具,如Pig,Hive和Spark。 其中一些问题由Microsoft的Azure云部署处理 - 其他由U-SQL处理。
“使用U-SQL,在任何SQL - 不只是T-SQL - 工作的人的学习曲线是更小的,”他说。 “它进入门槛低。
他补充说,微软的云分析定价方案也是其使用的激励。 他指出,Azure Data Lake本身分为单独的分析和存储模块,用户只需在调用分析处理资源时支付费用。
更多在商店
虽然它寻找其传统的T-SQL开发人员基础,但Microsoft还在Azure Data Lake中追求Hive的增强功能。
本周在纽约的Strata + Hadoop世界会议上,技术合作伙伴Hortonworks Inc.使用LLAP或Live Long和Process发布了其Apache Hive更新版本,该版本使用内存和其他架构增强功能来加速Hive查询。 这意味着与微软的HDInsight,一个基于Hortonworks的Hadoop和大数据平台,Azure数据湖分析家庭的另一个成员。
同时,U-SQL还有更多的存储空间。 例如,在微软的数据科学峰会上,U-SQL驱动力微软的主要项目经理Michael Rys向与会者展示了如何扩展U-SQL,重点是如何将R语言的查询暴露给U -SQL。
R语言在微软自从2015年收购Revolution Analytics后,获得了越来越多的支持。虽然R程序员大大延迟了SQL程序员的人口数量,但R在新的分析应用程序中使用,包括以机器学习为中心的应用程序。
相关推荐
-
探索Hadoop发行版以管理大数据
Hadoop是一种开源技术,它也是数据管理平台,现在它通常与大数据分布相关联。它的创建者在2006年设计了原始 […]
-
SQL Server 2019改进Linux、容器支持
紧随其SQL Server 2016和2017版本后,微软正在准备发布SQL Server 2019,该公司在 […]
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
SQL Server 2019预览版向DBMS引入Hadoop、Spark和AI
微软本周继续改进其SQL Server数据库平台,从关系数据进一步扩展到各种数据类型。 近日该公司发布SQL […]