使用导出和导出方法复制到数据仓库

日期: 2008-08-20 作者:Ian Abramson翻译:April 来源:TechTarget中国 英文

问:我现在为一所大学工作,我们已经为存档数据建立了数据仓库和两个数据集市。目前我们在使用导入和导出程序将联机系统复制到我们的测试数据仓库。下面是有关系统信息:数据库是Oracle9i、操作系统是Sun Solaris上运行的Unix。2007年将会换成ODS。

  我们想决定是否每晚都该进行增量更新和插入而不是复制产品系统。我知道增量表更新速度要快得多,但是有没有对该程序持反对意见的呢?有没有可能让文件脱离sync?   你使用导出/导入方法更新你的数据仓库吗?   你每天都执行增量更新吗?   更新你的数据仓库/数据集市需要多长时间?   你创建任何概要数据/物化示图了吗?   进行备份需要……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

问:我现在为一所大学工作,我们已经为存档数据建立了数据仓库和两个数据集市。目前我们在使用导入和导出程序将联机系统复制到我们的测试数据仓库。下面是有关系统信息:数据库是Oracle9i、操作系统是Sun Solaris上运行的Unix。2007年将会换成ODS。

  我们想决定是否每晚都该进行增量更新和插入而不是复制产品系统。我知道增量表更新速度要快得多,但是有没有对该程序持反对意见的呢?有没有可能让文件脱离sync?

  你使用导出/导入方法更新你的数据仓库吗?

  你每天都执行增量更新吗?

  更新你的数据仓库/数据集市需要多长时间?

  你创建任何概要数据/物化示图了吗?

  进行备份需要多长的时间?

  如何进行注册?

  增长率如何?它怎样影响你的系统?

  你是在什么平台上运行的?

  谢谢。

  答:哇,这是一个很长的问题,涉及到架构决策类型的多个方面。通常在创立和维护数据仓库时,我们会考虑到这些问题还有是否将导入/导出作为复制方法的基本问题。

  我们从把导入和导出当作复制方法说起吧。首先我可以告诉你那样做可行,和你的目标是相符的。然而,在不知道你的数据库有多大的情况下,这种方法不可取。考虑到一个仓库有一到两个千兆字节,那么导入/导出方法就不可取。我们使用的方法取决于必备的条件。例如,一个企业的数据仓库,我们就用一个系统层级上的方法。我们使用Oracle便携式的表空间或者使用EMC快速拷贝磁盘。这两种方法都行之有效,因为它们能减少对数据库的影响,但是更适合更大型的数据仓库。另外一种方法就是复制,但我一般不会将它用在test数据库上。因为你表示你关注记录更新,我对此表示理解,现在你需要建立一个ETL架构用于更新你的test数据库。通常我会认为我们没有必要复制。

  至于我运行数据仓库的类型,目前有一种将多个业务流程融合在一起的企业仓库。仓库是目前有多个TB,并在过去已看到显着的增长,然而它还属于有EMC的阵列的惠普12-way Itanium。我们通过Informatica执行了所有的下载程序,所以我们用直接的数据库访问和批量下载的方法,这取决于我们需要处理的事情。我们所有的处理都是三角形式的处理。从原始资料中我们了解到了数据变化,然后将它们传送给数据仓库,现在我们的下载窗口根据日常工作量大约要花5-8个小时下载。至于备份,我没有时间花在它上面因为我已经把它留给操作系统了。至于更新开发和test数据库,首先我们进行导入/导出,这一过程序要花费三天的时间。然后将它移入简单的Informatica解决方案,这一过程也需要12小时。

  我希望这能对你有所帮助。如果你还有其他问题,请你告诉我,很高兴为您解答。

翻译

April
April

相关推荐