为实现企业数据仓库的实时数据集成,Oracle提供了一些软件工具,用户利用这些工具可以搭建一个跨系统平台,用以支持多个系统间的实时数据移动,同时还能够保障数据的安全性。本文共分两个部分,分别介绍Oracle GoldenGate和Oracle Data Integrator and Data Profiling 11g工具。 Oracle GoldenGate 11g 首先我们来了解一下 Oracle GoldenGate 11g for Real-Time Data Warehousing工具。在最初收购GoldenGate公司的时候,Oracle就是看中了其使用基于日志的实时变化数……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
为实现企业数据仓库的实时数据集成,Oracle提供了一些软件工具,用户利用这些工具可以搭建一个跨系统平台,用以支持多个系统间的实时数据移动,同时还能够保障数据的安全性。本文共分两个部分,分别介绍Oracle GoldenGate和Oracle Data Integrator and Data Profiling 11g工具。
Oracle GoldenGate 11g
首先我们来了解一下 Oracle GoldenGate 11g for Real-Time Data Warehousing工具。在最初收购GoldenGate公司的时候,Oracle就是看中了其使用基于日志的实时变化数据捕获(CDC)功能,通过CDC可以实现连续的数据捕获,在OLTP系统和数据仓库之间获取最新发生变化的数据。这样介绍起来未免有些冗长复杂,但是它最好地诠释了GoldenGate工具的特点。
简言之,GoldenGate使用推送的方式,提供了交易、实时数据捕获、路由、转换以及交付等功能。当监测一个新的数据库交易在源系统中提交时,就会触发GoldenGate工具,然后数据被立刻捕获(通过数据库交易日志)并移动到数据仓库中,以便BI系统进行使用。
Oracle GoldenGate最初设计用来进行基础的行级转换,对于实时的数据集成来说,GoldenGate提供了一个很好的初始选择。然而,使用GoldenGate也有一定的限制,对于那些转换需求较多的环境而言,我们可能还需要其他的一些工具来辅助进行数据集成。
针对这些环境,Oracle GoldenGate 11g可以与Oracle Data Integrator Enterprise Edition (EE) 11g进行集成以提供更好的数据仓库服务。使用这种工具组合,GoldenGate将交易数据放到数据仓库的一个暂存区,用来进行数据库内部的转换(in-database transformations);同时Data Integrator EE提供ETL架构的支持。此外,GoldenGate还可以将数据转移到一个现有的ETL服务器中。简而言之,GoldenGate消除了对批处理窗口的需求,同时可以将对系统的影响降到极低。它支持海量数据的移动,在数据库发生故障时能够提升更好的数据恢复能力,同时根据参照完整性来移动读一致性数据。
GoldenGate产品的一大特点就是对多平台的支持,Oracle GoldenGate基于日志的CDC功能适用于不同的数据库产品,包括Oracle数据库、SQL Server、DB2 OS/390以及LUW、Sybase ASE、Enscribe、SQL/MP SQL/MX以及Teradata,操作系统支持包括Linux、Unix、Windows、Oracle Solaris以及HP NonStop。如此广泛的兼容性使得GoldenGate成为大型公司并购之后进行数据集成的首选工具。
在被Oracle收购之后,GoldenGate的兼容性进一步得到了加强,目前它可以为多种数据仓库交付信息,比如SQL Server并行数据仓库、Teradata、Netezza、Greenplum、HP Neoview等任何符合开放数据库连接标准的数据仓库。另外,针对Oracle自身产品,GoldenGate还通过了Exadata的认证,可以对 Oracle Exadata Storage Server进行数据捕获和交付。GoldenGate还可以同Oracle GoldenGate Application Adapters一同部署,用来捕获或者交付消息系统。
Oracle Data Quality for Data Integrator 11g与Oracle Data Profiling 11g
除GoldenGate之外,Oracle还提供了其他的数据集成工具,比如Oracle Data Quality for Data Integrator 11g和Oracle Data Profiling 11g。这两款产品在进行数据数据集成方面提供了一个各自的优势。Oracle的数据质量产品为转换过程提供了功能上的加强,包括针对任何数据域的数据质量鉴定、改进以及管理功能。理论上来说,该产品可以用来检查客户与产品数据,并将风险最小化。也就是说它能够阻止“坏数据”进入转换流程当中,从而保证了数据的价值。其他功能包括数据归档、数据清洗、匹配以及监控等,Oracle Data Quality还增强了产品的易用性,能够帮助企业处理实时数据,保证数据的有效性和合规性。
Oracle Data Profiling 11g是一款数据调查和质量监控工具,能够使业务用户访问数据质量并监控其发展变化。针对实时数据转换,Data Profiling 11g在数据进入到BI流程之前,通过使用经验总结对数据进行清洗,提供了更加准确的数据转换功能。
毫无疑问,在数据仓库中实现实时数据集成在今天已经不再是一件无法完成的任务。包括Oracle在内的许多软件厂商都提供了一系列的工具,来降低实时BI与分析的难度,所有产品都无需进行笨拙的批量处理。Oracle提供了一个完整的产品组合,能够帮助用户更加轻松地完成数据集成工作。在进行数据仓库整合的时候,特别是大型公司并购之后的系统合并,我们所介绍的产品是个不错的选择。