IT部门通常是以一个个“孤岛”的方式组织起来的,包括数据库管理员、网络工程师、系统管理员以及存储管理员等。Oracle Exadata由于其软硬件集成的架构方式,使得传统的企业IT运营将发生一些变化,同时存在着一定的挑战。
用不了多久,客户就会了解到Exadata需要一个统一的团队来负责整个机器的管理与运维。而随着越来越多客户使用Hadoop来支撑大数据项目,他们也会面临着同样的困境。
传统IT运营孤岛使得团队无法有效协作,效率低下,这与Oracle所倡导的简化IT理念是背道而驰的。取而代之,大多数采用Exadata的客户为了简化运营,都选择了建立或者外包一个专门的Exadata管理团队或者数据库一体机管理(DMA)团队(参考链接:集成系统改变IT员工角色 DBA如何转型DMA?)。作为预集成的系统,Exadata内部虽然包含了管理以及自动化软件,但它需要的知识储备远比普通DBA要多,这其中包括核心的数据库技能以及网络和存储等硬件技能。
Hadoop作为大数据的核心技术之一,也同样给企业IT部门造成了挑战,它所需的技能要比Exadata还要更专业,包括深度的硬件、网络、存储和Linux知识,还需要核心的数据管理技能用来构建和运营Hadoop集群。除此之外,成功的大数据项目需要运营团队与开发团队、数据科学家以及业务部门更紧密地协作。
之所以需要一个特定团队来支撑大数据项目,是因为大数据会涉及到IT系统中的所有组件,并高效运行。我们这里所讨论的是上千个节点以及上万个处理器的规模,即使是10%的效率低下都会造成很严重的影响,近电力能源消耗可能就会让一个企业吃不消。
把Hadoop集群想象成一个数据超级计算机。Hadoop的组件需要彼此协作以达到最高效,因为即使一个组件出现问题,那么它就会成为整个系统的瓶颈,最终拉低系统的整体性能。更重要的是,团队的职责不仅仅是Hadoop运维,还包括一系列的数据管理以及外部系统整合工作等。
大数据仍然处于初级阶段。在可以预见的未来,大数据核心技术以及应用仍将以飞快的速度不断变化。数据仓库项目通常包含业务逻辑分析、数据建模、ETL开发、报表开发、数据集市开发以及运营支持等阶段。但一个基于Hadoop的大数据项目不仅包含上述的阶段,还要持续同步地进行,团队成员需要紧密协作。为了大数据项目的最终成功,企业IT部门需要成立一个综合的团队,能够应对大数据每个方面所带来的挑战。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
相关推荐
-
探索Hadoop发行版以管理大数据
Hadoop是一种开源技术,它也是数据管理平台,现在它通常与大数据分布相关联。它的创建者在2006年设计了原始 […]
-
SQL Server 2019改进Linux、容器支持
紧随其SQL Server 2016和2017版本后,微软正在准备发布SQL Server 2019,该公司在 […]
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
SQL Server 2019预览版向DBMS引入Hadoop、Spark和AI
微软本周继续改进其SQL Server数据库平台,从关系数据进一步扩展到各种数据类型。 近日该公司发布SQL […]