Teradata Aster:平台加速创新 推动大数据落地

日期: 2014-08-12 作者:孙瑞 来源:TechTarget中国

由于扩展性、快速数据加载以及低成本等特性,开源Hadoop在大数据时代受到了许多企业的青睐。然而任何一项技术都无法解决所有的问题,企业围绕大数据存在着各种各样的需求,从结构化、非结构化数据的存储、管理、分析再到行动,企业需要不同的技术与平台来驾驭大数据。

对此,Teradata大中华区大数据事业部总监孔宇华表示,传统的数据仓库主要是利用SQL来解决结构化数据的问题,通过单一数据源(交易系统)分析来指导行动。而大数据的出现不仅产生了多结构数据的需求,同时也需要新的算法来挖掘大数据中隐藏的价值。无论传统数据仓库平台,还是Hadoop、数据发现与数据挖掘,Teradata提供了最完整的平台,能够以最低的成本帮助企业满足大数据存储、应用以及分析的各方面需求。

大数据分析的“瑞士军刀”

大数据概念的提出给传统数据仓库厂商带来了巨大的冲击,市场中有不少之前风生水起的数据仓库厂商只能选择以“抱大腿”的方式来完成大数据时代的转型,比如Greenplum被EMC收购Netezza被IBM收购Vertica被惠普收购等。而作为数据仓库时代的老大,Teradata在大数据方面的布局从很早以前就已经开始了。在巩固传统数据仓库业务之外,Teradata积极寻找Hadoop合作伙伴,完成Hadoop平台的搭建并不断完善之。更关键的是,Teradata在2011年收购了Aster Data公司,以最快的速度将Aster的技术融入到自身平台当中,并提出了统一数据架构(UDA)的理念。至此,集Teradata数据仓库、Hadoop和Aster数据探索平台的大数据三平台策略浮出水面。 


Teradata天睿公司大中华区大数据事业部总监孔宇华

据了解,Aster目前已经并入了Teradata的大数据事业部。作为统一数据架构中的关键一环,Aster能够汇聚不同的数据源并提供了多种的分析方法,让大数据的价值得到充分释放。孔宇华介绍,Aster的背后是基于传统数据仓库,数据分析师可以利用最熟悉的SQL语言来实现大数据分析,同时它还提供了丰富的算法,包括MapReduce、文本分析、图形分析等,能够对不同类型的数据做各种各样的分析,同时可以对平台进行不断的扩展,比如添加R语言等工具。

“可以说,Aster就是大数据分析的瑞士军刀。同Hadoop相比,利用Aster探索平台进行大数据分析会更方便(基于SQL,SAS, 或R的界面),而且数据永远存在一个地方,进行不同的分析时只需要调用不同的工具就可以完成,避免了数据在不同位置间的移动。”孔宇华说。

在大数据时代,从数据获取、准备、分析到最后的展现,企业需要更快地完成整个数据探索的流程和迭代。然而无论从技术角度还是人员层面来看,企业距离这一目标还存在一段距离。对此孔宇华表示,大数据时代下速度代表一切,Aster数据探索平台的优势就是能够帮助企业把握每一个环节,快速进行大数据分析,快速获得回报。

孔宇华介绍,Aster提供了丰富的数据接口,能够连接到Hadoop、数据仓库以及其他提供API的数据源,使得数据无需转换到特定格式即可以进行调用分析,节省了大量数据转换与适配的时间。与此同时,Aster还提供了大量分析模块与可视化模块,能够进行文本分析、图形分析以及关联分析等,而目前Aster已经支持了上百种的MapReduce函数。此外,由于Aster提供了基于SQL运算引擎的支持,因此也可以连接到其他主流的商业智能(BI)工具,获得丰富的可视化功能。

持续创新:Teradata Aster展示研发成果

除上述功能之外,孔宇华还向TechTarget中国记者展示了Teradata在Aster平台以及Hadoop技术方面的最新成果。其中Teradata在年初发布了最新的SNAP Frameworks(无缝网络分析处理框架),实现了分析引擎和文件存储的无缝和同步集成,能够执行并优化跨分析引擎和文件存储的查询。SNAP Frameworks就像是大数据的粘合剂,将数据存储与数据分析更加紧密地联系起来,同时提升了系统的易用性和性能。

Teradata SNAP Frameworks

孔宇华介绍,SNAP Frameworks的底层将支持行存储、列存储以及文件存储等多种形式,而在分析层除了传统的SQL、MapReduce引擎之外,还引入了最新的图形分析引擎。它能够处理大规模分析图表查询以及预建图形功能,并可以应用到客户流失、产品关联性、欺诈侦测以及推荐引擎等分析场景。孔宇华表示,Aster图分析引擎与其他图形数据库存在本质性区别,像Neo4j等其他产品是属于导航型的图形数据库,而Aster图形分析引擎属于分析型,能够根据不同的节点对数据进行分类分析。

此外,今年Aster数据探索平台还添加了对R语言的支持,这是Aster最重要的功能整合之一。由于R语言在大数据时代开始受到越来越多的数据分析师的青睐,包括SAS、IBM SPSS以及StatSoft等数据分析市场的主流厂商都开始提供R语言的支持。孔宇华表示,开源R正在以非常快的速度普及,但在真实的业务环境中,开源R的大规模并发性表现非常不好,Teradata Aster R就是实现开源R的大规模并发,帮助客户应对这一难题。而Aster R已经提供了与SNAP Framework实现紧密集成,数据分析师可以采用单一的框架就可以使用企业级的R功能。

在Hadoop方面,孔宇华明确表示,Teradata不会自己研发Hadoop发行版,开源社区的力量永远比单一厂商要大,因此Teradata选择了与Hortonworks合作,为客户提供Hadoop的相关平台与工具。而在其他层面,Teradata也尽可能为企业提供更好的Hadoop解决方案,比如刚刚发布的QueryGrid产品。孔宇华介绍,QueryGrid在整合Teradata三平台(数据仓库、Hadoop、Aster)方面起到了重要作用,它在开源基础之上实现了统一数据架构的整合。关于QueryGrid的具体功能,可以参考:Teradata QueryGrid:大数据时代的“指挥家”

除研发之外,孔宇华介绍,Teradata在近期还收购了两家大数据分析公司Revelytix和Hadapt。其中Revelytix提供了丰富的元数据管理功能,能够管理Hadoop数据的复杂性。而Hadapt主要做的是SQL on Hadoop,提供从单一环境访问所有数据的能力。孔宇华表示,通过两家公司的收购,Teradata将进一步完成对Hadoop的更好的整合。而未来在Teradata的统一数据架构中,Hadoop将主要作为数据获取和整合平台,Aster主要作为数据挖掘和分析平台。

平台、人员、流程:大数据要从小做起

实现大数据的落地企业需要从三个方面来把握,即平台、人员与流程。孔宇华认为,大数据真正的价值源自于分析而不是存储,并不是把各种结构化数据域非结构化数据都收集起来,放到一个地方进行统一存储就能够把大数据做好。企业并不一定需要收集PB级别的数据,或部署上百台服务器才能够做大数据。大数据应该从小做起,可以从一个小的应用或需求入手,得到实在的价值产出。孔宇华表示,通过Teradata Aster数据探索平台,企业可以在很短的时间内,利用原有的技能进行大数据分析,让管理者看到大数据背后的真正价值。这是Aster平台的价值所在。

孔宇华介绍,Teradata统一数据架构能够不断添加新的功能,将更好的开源能力以及合作伙伴的产品融入平台当中。而结合Teradata统一数据架构的优势,目前Teradata Aster在全球范围内已经积累了大量的成功案例,涉及到各行各业。从传统的优势行业电信、金融、保险,到电商、医疗、制造与零售,Teradata Aster能够对各种场景进行深入分析,并通过丰富的可视化形式展现,如电商的点击流分析、临床数据分析、零售业供应链预测以及电信行业客户流失分析等。

据了解,目前Teradata在中国的研发团队主要负责平台、数据库与分析函数的开发。孔宇华介绍,Teradata与许多其他跨国IT厂商相比的一个优势在于,本土研发团队可以根据中国客户的真实需求快速开发新的功能,无需再将需求反馈给总部进行总体的把控,加速了开发进程。比如中文语义的分析函数,就是由中国的研发团队确定需求并快速开发完成的。除此之外,孔宇华介绍,Teradata在中国还拥有优秀的大数据实施团队与实施合作伙伴,能够帮助客户更加轻易地呈现大数据的价值,让大数据更加平民化、大众化。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者

孙瑞
孙瑞

相关推荐