转换OLTP数据使其在OLAP系统中提供可接受的性能,这种转换需要执行下列过程:
合并数据
必须能够将特定项目(产品、顾客、职员)的全部相关信息从多个OLTP系统合并到一个OLAP系统。合并过程必须解决不同OLTP系统间的编码差别问题。例如,一个系统可能为每个职员指派一个ID,而其它系统没有职员ID。合并过程必须能够匹配两个系统中的常用职员数据,这多半可通过比较职员姓名和地址实现。合并过程还必须能够将各 OLTP 系统中使用不同数据类型存储的数据转换成在某个OLAP系统中使用的单一数据类型。您也必须选择OLTP系统中的哪些列与OLAP系统无关,并将这些列排除在合并过程外。
为OLAP系统提供输入数据的系统并不局限于传统的、位于中央位置的OLTP系统。重要的信息可以存储在多个遗留位置上,有些情况下甚至可以在文件共享上存储相对较小的数据源,如Microsoft® Excel电子表格。
清理数据
将OLTP数据合并到数据仓库中后,便提供了一个清理数据的机会。您可能会发现不同的OLTP系统以不同的方式拼写项目,或者合并过程可能没有覆盖以前不知道的拼写错误。还可能发现其它的不一致,例如同一商店、职员或顾客的地址不同。在可以将数据装载到数据仓库中供OLAP系统使用之前,必须找出这些不一致。
聚合数据
OLTP数据记录所有的事务详细信息。OLAP查询通常需要汇总数据或是已以某种方式聚合的数据。例如,如果数据库只包含显示每种产品每天或每小时销售额的汇总行,则查询只用检索过去一年中每种产品的月销售总额,这比必须扫描过去一年中每个事务的详细记录要快得多。
对数据仓库内数据的聚合程度取决于许多设计因素,如OLAP查询的速度要求和分析所要求的粒度级。例如,如果将销售额详细信息汇总到每日汇总中,而不是每小时汇总中,OLAP查询将会运行得更快,但是只有当不需要分析每小时的销售额时才可以这么做。
将数据组织到多维数据集中
关系OLTP数据的组织方式增加了分析处理的难度且很耗时。当将OLTP数据移入数据仓库时,必须对其结构进行转换,使之能够更好地支持决策支持分析。生成数据仓库的过程涉及将存储在关系表中的OLTP数据重组为存储在多维数据集中的数据。
转换阶段和数据仓库组件
通过OLAP应用程序使数据可用的过程一般经过下列三个阶段:
将数据从OLTP或遗留数据源析取到中间存储区域中。
将数据转换为更适合在OLAP系统中使用的格式。这涉及数据清理和聚合等操作。
将数据装载到数据仓库或数据集市中。
从OLTP和遗留数据源中析取数据并将其转换到仓库服务器中的过程称为ETL过程,通常定期运行,如每周一次或每月一次。
一旦将数据装载到数据仓库中,OLAP系统的一个重要职能便是为决策者提供在数据仓库和数据集市中访问和分析数据的便利。
数据源
OLTP数据库和其它遗留数据源,其内包含的数据必须转换为数据仓库和数据集市中的OLAP数据。
中间数据存储
组合的数据存储区和对OLTP数据进行存储、清理并转换为有用的OLAP数据的过程。
仓库服务器
仓库服务器是运行包含数据仓库和数据集市数据的关系数据库的计算机,以及运行管理OLAP数据的服务器的计算机。
业务智能
用于查询OLAP数据并向企业决策者提供报表和信息的成套工具和应用程序。
元数据
不同OLAP组件中的数据和应用程序的结构模型。元数据描述OLTP数据库中的表、数据仓库和数据集市中的多维数据集这类对象,还记录哪些应用程序引用不同的记录块
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
相关推荐
-
超越RDBMS:数据仓库与数据湖、数据集市
现在企业从各种来源收集的大量数据已经远远超出传统关系学数据库可处理的范畴。这引发数据仓库与数据湖的问题:何时使 […]
-
对SAP HANA数据库涉嫌知识产权盗窃的指控存疑
Enterprise Applications Consultin公司负责人Joshua Greenbaum表 […]
-
数据货币将决定企业成败
在2017年3月McKinsey公司对500多名高管的调查显示,越来越多的企业使用数据和分析来推动增长,但目前 […]
-
在HANA上实施SAP BW要做哪些准备?
在HANA上实施SAP BW可以帮助公司利用到HANA的速度和性能优势。不过,CIO及技术团队首先要注意一些关键问题。