SQL Server 2012快速跟踪数据仓库(Fast Track Data Warehouse, FTDW)定义了一个用于建立高性能SQL Server数据仓库的参考架构,它基于多家微软合作伙伴的预认证硬件,其中包括惠普、戴尔、IBM和思科。FTDW项目代表了微软与这些公司的合作,它给出了一个全面且还有详细步骤的指南,其中定义了一个用于实现一个基于对称多处理器(SMP)的SQL Server数据库系统的平衡资源配置模型。 微软FTDW网站正式发布的文档“SQL Server 2012快速跟踪数据仓库参考指南”讲述了这个项目的主旨,你可以免费下载阅读。这个文档概括介绍了建立能够平衡SQL S……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
![TechTarget微信公众号二维码](/wp-content/uploads/res/images/spriteimg/ttweixin.jpg)
TechTarget
官方微博
![TechTarget中国官方微博二维码](/wp-content/uploads/res/images/spriteimg/ttweibo.jpg)
TechTarget中国
SQL Server 2012快速跟踪数据仓库(Fast Track Data Warehouse, FTDW)定义了一个用于建立高性能SQL Server数据仓库的参考架构,它基于多家微软合作伙伴的预认证硬件,其中包括惠普、戴尔、IBM和思科。FTDW项目代表了微软与这些公司的合作,它给出了一个全面且还有详细步骤的指南,其中定义了一个用于实现一个基于对称多处理器(SMP)的SQL Server数据库系统的平衡资源配置模型。
微软FTDW网站正式发布的文档“SQL Server 2012快速跟踪数据仓库参考指南”讲述了这个项目的主旨,你可以免费下载阅读。这个文档概括介绍了建立能够平衡SQL Server数据处理和硬件组件吞吐量的数据仓库平台的组件架构和方法。FTDW方法定义了实现和维护适用于各种数据仓库工作负载基线性能的最低系统架构要求。
平衡需求的数据仓库实现方法
图1:平衡FTDW平台的组件
一个FTDW数据仓库平台由许多的硬件和软件元素构成。其中,硬件必须至少包含一台服务器、一个存储系统及连接两者的网络组件。软件则必须包含操作系统和数据库管理系统——这里是指Windows Server和SQL Server,以及支持这些组件通信所需要的软件。
本文提供了一个部署FTDW的基本方法,其中包含一个平衡且支持数据仓库工作负载的软硬件配置。每一个组件都经过优化,能够与其他组件协作实现最大的吞吐量。其目标是在硬件资源和SQL Server处理上实现有一种高效的平衡。
硬件配置定义包含一个特殊工作负载和一组核心配置、验证及数据库最佳实践。在这个方面,FTDW提供了基于实时并发工作负载的详细基准,还有通过验证的详细硬件规范,它主要着眼于实现一个平衡数据库功能和硬件资源的组件架构。这个参考指南提供了一个高效且平衡数据仓库平台各个关键组件的实践框架。
数据仓库工作负载
在不同的应用程序上,一个数据库负载可能会出现明显差别。例如,一个支持在线事务处理(OLTP)的数据库通常需要支持小查询和数据修改请求。这种数据库通常需要创建大量的索引,才能支持相对较少记录的低延迟查询。然而,这种工作负载可能需要频繁地执行磁头动作,从而产生随机的I/O扫描模式。
另一方面,数据仓库操作通常会产生大量集中扫描请求。在这种情况下,使用顺序磁盘扫描及提高吞吐量就有可能让系统受益。FTDW方法考虑了数据仓库工作负载的特殊需求,着重实现一个能够提供稳定高I/O扫描速度的平衡组件架构,而不关注于传统OLTP数据库评估时采用的单位时间操作数。
因为FTDW将数据库和配置与高效磁盘扫描(而不是查询)相关联,因此可以减少处理特定工作负载所需要的磁盘数量。在优化硬件和软件组件时,FTDW方法优先考虑磁盘扫描性能。同时,它强调使用聚簇索引和范围分区来支持高效且基于扫描的磁盘I/O,同时减少使用非聚簇索引,因为后者会降低数据仓库工作负载的性能。
数据仓库配置
FTDW指南详细说明了实现一个平衡组件架构所需要的硬件和软件配置。在硬件方面,这个指南基于一些专用的存储配置,如交换存储区网络或直通串口SCSI。在单独使用时,专用存储附件及其处理器有利于提高磁盘I/O吞吐量。然而,另一个考虑是所使用的服务器内存数量,它应该基于基准测试结果。其目标是平衡最大吞吐量和CPU使用率。
FTDW提出的应用配置主要关注于SQL Server安装环境。这些指南解决了这样一些问题,例如在启动SQL Server时应该启用哪些启动选项,应该给SQL Server分配多少内存,以及如何创建Resource Governor。此外,这些指南还提供了关于构成一个典型数据库环境的三个存储和文件系统层次的详细配置规范:物理磁盘阵列、操作系统卷分配和实际的数据库。
数据仓库最佳实践
FTDW文档介绍了许多优化系统中数据仓库工作负载处理的最佳实践方法,特别是关于数据架构规划、数据碎片管理和数据加载等方面。
例如,数据架构最佳实践涉及了堆和聚簇表结构、表分区、页压缩和索引。这些指南着重介绍了字段存储索引,解决了管理内存及区分规范化数据模式与多维数据模型等问题。
此外,FTDW文档还提供了许多与文件系统碎片相关的最佳实践方法,其中特别关注于页分配和扩展分区管理。然而,它还解决了索引碎片和文件组设置的问题。对于数据加载,这些最佳实践方法介绍了堆与聚簇表的增量加载和数据迁移。
FTDW项目
FTDW项目提供了大量关于创建数据仓库的指南。除了前面介绍的指南,这个文档还包含用于设计和实现FTDW参考架构的详细过程,其中主要关注于基线硬件和数据库验证。此外,文档附录包含了关于FTDW System Sizing工具的内容,同时还详细介绍了工作负载测量和用户自定义FTDW平台的验证方法。另外,FTDW网站提供了每一个参与项目的硬件供应商的详细硬件参考架构的链接地址。
如果您计划部署一个SQL Server 2012数据仓库,那么最好从FTDW开始。即使不准备采用本文的方法,您也可以找到一些有用的资料,帮助您更好地理解如何规划一个高效的数据仓库平台。
翻译
TechTarget中国特约技术编辑,某高校计算机科学专业教师和网络实验室负责人,曾任职某网络国际厂商,关注数据中心、开发运维、数据库及软件开发技术。有多本关于思科数据中心和虚拟化技术的译著,如《思科绿色数据中心建设与管理》和《基于IP的能源管理》等。
相关推荐
-
超越RDBMS:数据仓库与数据湖、数据集市
现在企业从各种来源收集的大量数据已经远远超出传统关系学数据库可处理的范畴。这引发数据仓库与数据湖的问题:何时使 […]
-
对SAP HANA数据库涉嫌知识产权盗窃的指控存疑
Enterprise Applications Consultin公司负责人Joshua Greenbaum表 […]
-
数据货币将决定企业成败
在2017年3月McKinsey公司对500多名高管的调查显示,越来越多的企业使用数据和分析来推动增长,但目前 […]
-
在HANA上实施SAP BW要做哪些准备?
在HANA上实施SAP BW可以帮助公司利用到HANA的速度和性能优势。不过,CIO及技术团队首先要注意一些关键问题。