根据模型的设计和源数据的情况,有四种数据ETL模式:完全刷新、镜像增量、事件增量、镜像比较。
完全刷新:数据仓库数据表中只包括最新的数据,每次加载均删除原有数据,然后完全加载最新的源数据。这种模式下,数据抽取程序抽取源数据中的所有记录,在加载前,将目标数据表清空,然后加载所有记录。为提高删除数据的速度,一般是采用truncate清空数据表。如本系统中的入库当前信息表采用此种模式。
镜像增量:源数据中的记录定期更新,但记录中包括记录时间字段,源数据中保存了数据历史的记录,ETL可以通过记录时间将增量数据从源数据抽取出来以附加的方式加载到数据仓库中,数据的历史记录也会被保留在数据仓库中。
事件增量:每一个记录是一个新的事件,相互之间没有必然的联系,新记录不是对原有记录数值的变更,记录包括时间字段,可以通过时间字段将新增数据抽取出来加载到数据库中。
镜像比较:数据仓库数据具有生效日期字段以保存数据的历史信息,而源数据不保留历史并且每天都可能被更新。因此,只能将新的镜像数据与上次加载的数据的镜像进行比较,找出变更部分,更新历史数据被更新记录的生效终止日期,并添加变更后的数据。大多数源数据中需保存历史信息的维表。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
相关推荐
-
中小企业如何做好BI项目管理
中小企业的IT部门通常小而精,做事也更有效率,可以比较大的公司消耗更低成本。但是他们也有自己的局限。
-
选择ETL工具时的三个注意事项
在数据库管理技术中,提取、转换、加载(ETL)操作扮演了一个非常重要的角色。根据实际的操作需求,DBA可以通过ETL手段对客户数据有一个全方位的掌控。
-
中小企业商业智能需要避免的问题和陷阱
如果各种规模的公司不够小心,商业智能(BI)项目死一千回都不多:有很多种出错的机会,有大的也有小的。
-
数据仓库市场:挑战与机遇并存
在本文中,我们将纵览目前数据仓库领域中所存在的一些挑战与问题,并对未来的发展趋势做一个展望。