Oracle数据仓库的实时数据采集

日期: 2012-09-12 作者:Frank Ohlhorst翻译:曾少宁 来源:TechTarget中国 英文

在使用数据仓库软件时,最常见的约束之一是源系统数据批量提取处理时的可用时间窗口。通常,极其耗费资源的提取流程必须在非工作时间进行,而且仅限于访问关键的源系统。   低影响实时数据整合软件可以释放系统的批处理时间。当提取组件使用非侵入式方法时,如通过读取数据库事务日志,只会捕捉发生变化的数据,不会对源系统产生影响。

因此,数据提取流程可以在任意时段全天候执行,即使用户在线也可以。   当以实时方式提取数据时,虽然必须改变数据采集流程中各个元素支持实时数据的方式,但是这些数据可以带来不一般的业务价值。而且,这些数据必须得到有效的保护,同时也很难针对这些不停变化的数据应用灾难恢复和备份技术。   但是……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

在使用数据仓库软件时,最常见的约束之一是源系统数据批量提取处理时的可用时间窗口。通常,极其耗费资源的提取流程必须在非工作时间进行,而且仅限于访问关键的源系统。

  低影响实时数据整合软件可以释放系统的批处理时间。当提取组件使用非侵入式方法时,如通过读取数据库事务日志,只会捕捉发生变化的数据,不会对源系统产生影响。因此,数据提取流程可以在任意时段全天候执行,即使用户在线也可以。

  当以实时方式提取数据时,虽然必须改变数据采集流程中各个元素支持实时数据的方式,但是这些数据可以带来不一般的业务价值。而且,这些数据必须得到有效的保护,同时也很难针对这些不停变化的数据应用灾难恢复和备份技术。

  但是,在数据仓库中应用实时数据整合的技术也可以进一步保护数据。毕竟,实时移动数据的技术也可以实时操作数据,从而形成一个数据保护技术入口。但是,变化数据的速度和效率可能会受制于数据保护流程的延迟。

  这意味着,在转到整合数据仓库的主动数据采集模式时,首要考虑的问题之一是数据经过IT系统的流程和可能产生的延迟。换而言之,实时数据整合要求理解变化的数据,以及促进或妨碍这种变化的组件。

  显然,企业希望保护他们的数据。然而,随着数据容量需求的增长,存储技术也成为业务持续性依赖的重要业务资产。而且,随着实时分析成为业务流程的一部分,它也归入到业务持续性的范畴之中。实现数据安全性和持续性的最基本方法是硬件或软件复制,它会自动保存第二个关键数据副本。此外,自行创建或基于开源软件创建的备份方法也不存在。

  企业级数据管理应用主要涉及5个重要领域:灾难恢复、高可用性、备份、数据处理性能和更高级数据库移植。这促使IT不停地追寻先进技术,如实现数据整合及其相关基础架构元素。此外,这些战略投资能够提供符合预算的资源,在加快实时技术应用的同时,提高投资回报和修正实时数据整合项目的商业提案。

  然而,一定要将这些投入领域与实时数据整合系统的非现金元素相对应,这样有助于全面理解构成系统的组件,以及各种组织数据需求对这些组件的驱动作用。这些需求包括:

  • 数据容量(数据规模与更新数量)
  • 数据移动频率
  • 转换需求
  • 中断时间和业务持续性

  这些因素决定了产品的选择,以建立一个实时数据集成的高级架构。但是,在加入数据采集技术之后,“实时”这个术语就附加了不一样的含义。有一些技术关注于商业智能(BI)的“适时”概念。这个术语表示最终用户的不同智能应用需求,而且它也体现了不同用例的不同需求。

  但是,对于运营性数据仓库而言,这项技术不应该依赖于适时模式,而应该交付真正的实时功能,然后让业务用户选择访问数据的正确时间(适时)。然而,有一些公司可能会发现适时BI概念的价值,这里涉及到一个问题:“企业应该在什么时候使用实时数据整合技术?”

  在现实中,许多企业都使用来自多个供应商的混合IT架构(通常源于企业的传统历史)。在选择一个实时数据整合技术时,它一定要能够方便整合各种数据库和应用平台的信息。这是取得成功的最关键因素。

  整合平台是实时数据的基础,而跨产品兼容性也是它的核心功能之一。但是,找到一个能够组合这些元素、支持实时处理、不增加使用难度的平台也是一种挑战。

  Oracle推出的这种平台产品是GoldenGate,它支持Oracle数据库和其他同行产品。目前还有一些其他的实时平台,它们都必须在一些考虑应用实时数据整合的特定场景中进行检测:

  高可用性。GoldenGate能够将应用程序临时数据自动生成一个在线远程副本。这样,您的业务应用程序就可以在灾难恢复过程中进行故障处理,切换到二级存储,从而减少停机时间。

  在线迁移。生产系统的升级、迁移或维护通常都会造成停机。在理想情况下,实时数据整合平台可以实现零停机迁移,所以新系统可以在不停机的前提下接收所有旧系统数据。

  异质系统的整合。您的应用程序主要依靠Oracle、Microsoft SQL Server、Sybase、DB2系统。实时数据整合平台可以将它们运行在同一个平台上,只需要最小的整合就可以实现数据共享。

  增长企业的兼并、收购和IT整合。在设计最终的统一架构之前,必须使用一种变化数据捕捉技术,快速整合来自各个分公司和部门的数据。(顺便提醒一下,我们都知道不存在所谓的“最终架构”。)

  查询卸载。在多个数据集市之间共享重复数据存在一个有意思的副作用,即改进OLTP性能和可用性。多个服务器并发处理查询,可以更快速生成报表,从而提高执行速度。

  Oracle客户还提供了其他加强实时数据整合流程的选择。如果源数据和副本数据都基于相同的Oracle版本和数据模型,那么非常适合使用诸如Oracle主动数据防护(Oracle Active Data Guard)的产品。同时,如果副本极为相似,那么也可以使用Oracle实时应用集群(Oracle Real Application Clusters),实现透明的应用故障恢复。最后,由于基础架构即服务(Infrastructure as a Service, IaaS)模型在价格和弹性方面具有很大的市场优势,所以您可以在一个远程云上保存关键业务数据的二级副本。

翻译

曾少宁
曾少宁

TechTarget中国特约技术编辑,某高校计算机科学专业教师和网络实验室负责人,曾任职某网络国际厂商,关注数据中心、开发运维、数据库及软件开发技术。有多本关于思科数据中心和虚拟化技术的译著,如《思科绿色数据中心建设与管理》和《基于IP的能源管理》等。

相关推荐