编者按:本系列文章将为您解读Oracle大数据策略。其中本文是第一部分,我们将基于商用硬件或廉价服务器与一体机的大数据平台进行对比,分别介绍它们的优缺点。 很多企业正在努力应对大数据的问题,他们正寻找解决方案来管理和分析海量信息。目前主要有两种方法应对大数据难题:第一个就是建立一个很大程度上依赖于廉价服务器和开源软件的内部设施。
第二个则是更多的偏向Oracle大数据策略的核心,即购买一个包含有所有必需软硬件的一体机来实现大数据。两种方法的核心都是Apache Hadoop,并围绕Hadoop架构进行设计。 Hadoop和基于廉价服务器的方法 Hadoop是一个典型的在集群Linux服务器上实现……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
编者按:本系列文章将为您解读Oracle大数据策略。其中本文是第一部分,我们将基于商用硬件或廉价服务器与一体机的大数据平台进行对比,分别介绍它们的优缺点。
很多企业正在努力应对大数据的问题,他们正寻找解决方案来管理和分析海量信息。目前主要有两种方法应对大数据难题:第一个就是建立一个很大程度上依赖于廉价服务器和开源软件的内部设施。第二个则是更多的偏向Oracle大数据策略的核心,即购买一个包含有所有必需软硬件的一体机来实现大数据。两种方法的核心都是Apache Hadoop,并围绕Hadoop架构进行设计。
Hadoop和基于廉价服务器的方法
Hadoop是一个典型的在集群Linux服务器上实现的主/从架构。每个集群都包含一个主节点和多个从节点。主节点管理从节点和所有在这些节点上与数据文件处理和访问相关的任务。而从节点则管理数据文件和处理对这些文件的读写请求。在大型集群中,还包括一个命名节点用以管理Hadoop分布式文件系统HDFS的命名空间并调节对数据文件的访问。HDFS提供了存储,管理和访问文件所必需的结构。在小型集群中,命名节点的功能通常在主节点上实现。
Hadoop的一个重要组件是MapReduce框架。此框架与HDFS协作将大型数据分割为可管理块以分配给数以千计的计算机并在集群中加以复制来确保容错性。MapReduce框架还可以在从节点间均衡负载以实现高效的并行操作,例如查询数据,处理复杂客户请求以及处理深度分析。
Hadoop,HDFS和MapReduce框架是为廉价服务器进行设计的。此硬件通常是由基于PC的且其组件共享一个公共架构的计算机所组成的,包含开放式标准和兼容性接口,这都使得系统之间进行数据交换变得容易。这些计算机的价格要远远低于那些大数据平台的高端定制服务器。这一事实可能与Oracle的大数据策略正好相反,他们希望卖给你大型而昂贵的服务器硬件。
在廉价服务器上实现Hadoop似乎很具有吸引力,还能让企业省下更多成本。它已经被谷歌、雅虎之类的互联网企业所证实。其中谷歌每天要在廉价服务器集群上处理超过20千万亿字节的数据。在Hadoop上建立大数据平台所涉及的不仅仅是下载软件和建立一个大型集群。大数据项目必须将配置Hadoop所必要的资源和时间考虑进去,实现支持软件,建立网络设施,连接Hadoop到其他系统,开发客户代码,实现分析,以及在一个正在进行的基础上管理系统和数据。因此你需要一个有相当水平,并且理解大数据方方面面技术的专家。同时你还需要大量的时间和精力。
大数据一体机的崛起
尽管廉价服务器易于使用并有开源软件的支持,但是实现一个大数据平台并不是一个简单的任务。Oracle大数据策略旨在吸引企业来购买专门的系统,例如Oracle Big Data Appliance,它包含所有要实现大数据所必须的软硬件。但是一体机并不只是一堆服务器和现成软件。所有组件都紧密捆绑到一个进行过充分测试并做好交付准备的预制包中。
Oracle Big Data Appliance,有18个Sun Microsystems计算和存储节点,多个Infiniband交换机和电缆,充足的电力分配单元,以及备用存储磁盘。在软件方面,一体机是用Oracle Enterprise Linux搭建的,Cloudera Hadoop发行版,它包含Cloudera Manager,Oracle NoSQL Database,Oracle R以及Oracle Big Data Connectors。Oracle的一体机提供超过600 TB的原始存储容量,预制有Hadoop集群以准备接受非结构化数据。同时提供了软硬件维护的高级支持。
因为企业都希望尽可能快速、方便的实现大数据,一体机看起来可以是完美的答案。但是它并不便宜。例如,满配的Oracle Big Data Appliance售价45万美元,还有5.4万美元的年度系统支持费用和另外3.6万美元的年度操作系统支持费用。用这些钱你可以购买很多廉价服务器。但是对于那些没有要搭建自己系统所必需的内部资源和专家的企业来说,一体机应该是不错的选择。
一体机 vs. 廉价服务器
基于廉价服务器和基于一体机的方法都有它们各自的优缺点,选择其一并不容易。你所要考虑的不仅是实现和管理一个大数据平台的花费,而且还有对于这样一个系统的长期期望。在此系列的第二篇文章中,我们将会深度挖掘在决定是自己搭建还是购买成品时所要考虑的一些问题。
翻译
相关推荐
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
Azure数据湖分析从U-SQL中获得提升
大数据的发展已经让许多精通SQL的数据专业人员不知所措。微软的U-SQL编程语言试图让这些人回归数据查询游戏。
-
进入机器学习时代,数据库何去何从?
Vertica之前就已经能够对Hadoop数据进行访问,但Vertica8.0分析引擎则能够与Hadoop数据适当协作,如此一来就能减少数据迁移。
-
NoSQL——未来数据库家族的一员
NoSQL是对数据库由内而外的全方位改造,从而创造出一个高容量、高速度和高可变性的架构。然而,NoSQL供应商在可变性部分却正在遭遇失败。