三、ETL日志、警告发送

　　1、ETL日志

　　ETL日志分为三类。一类是执行过程日志，这一部分日志是在ETL执行过程中每执行一步的记录，记录每次运行每一步骤的起始时间，影响了多少行数据，流水账形式。一类是错误日志，当某个模块出错的时候写错误日志，记录每次出错的时间、出错的模块以及出错的信息等。第三类日志是总体日志，只记录ETL开始时间、结束时间是否成功信息。如果使用ETL工具,ETL工具会自动产生一些日志，这一类日志也可以作为ETL日志的一部分。记录日志的目的是随时可以知道ETL运行情况，如果出错了，可以知道哪里出错。

　　2、警告发送

　　如果ETL出错了，不仅要形成ETL出错日志，而且要向系统管理员发送警告。发送警告的方式多种，一般常用的就是给系统管理员发送邮件，并附上出错的信息，方便管理员排查错误。

　　ETL是BI项目的关键部分，也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为BI项目后期开发提供准确的数据。

　　四、补充对ETL的理解：

　　1、数据收集：

　　a）收集位置多样：不同服务器上，不同位置上;

　　b）收集数据形式多样：不同存储文件，不同存储格式;

　　2、分析转换统一数据形式：

　　a）分析解析不同文件和不同数据格式;

　　b）将不同格式数据转换为统一格式;

　　c）合并收集的数据;

　　3、将统一格式数据导入数据仓库。

　　如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，这是国内外从众多实践中得到的普遍共识。

　　目前，ETL工具的典型代表有:微软SSIS（取代了原来的DTS）、Informatica、Datastage、ORACLE的OWB和ODI、另外，Sun也有一套完整的ETL工具。开源的工具有eclips的etl插件。

　　ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。

　　为了能更好地实现ETL，建议用户在实施ETL过程中应注意以下几点：

　　第一，保证集成与加载的高效性，可以分布式分析然后汇总;

　　第二，增强可控性，主动收集数据不要被动推送数据;

　　第三，应制定流程化的配置管理和标准协议;

　　第四，制定关键数据标准和非关键数据标准。

　　四种数据ETL模式：

　　1）完全刷新：数据仓库数据表中只包括最新的数据，每次加载均删除原有数据，然后完全加载最新的源数据。这种模式下，数据抽取程序抽取源数据中的所有记录，在加载前，将目标数据表清空，然后加载所有记录。为提高删除数据的速度，一般是采用Truncate清空数据表。如本系统中的入库当前信息表采用此种模式。

　　2）镜像增量：源数据中的记录定期更新，但记录中包括记录时间字段，源数据中保存了数据历史的记录，ETL可以通过记录时间将增量数据从源数据抽取出来以附加的方式加载到数据仓库中，数据的历史记录也会被保留在数据仓库中

　　3）事件增量：每一个记录是一个新的事件，相互之间没有必然的联系，新记录不是对原有记录数值的变更，记录包括时间字段，可以通过时间字段将新增数据抽取出来加载到数据库中。

　　4）镜像比较：数据仓库数据具有生效日期字段以保存数据的历史信息，而源数据不保留历史并且每天都可能被更新。因此，只能将新的镜像数据与上次加载的数据的镜像进行比较，找出变更部分，更新历史数据被更新记录的生效终止日期，并添加变更后的数据。大多数源数据中需保存历史信息的维表。