数据仓库负担不断提升 厂商寻求解决之道

日期: 2010-04-18 作者:Jeff Kelly翻译:冯昀晖 来源:TechTarget中国 英文

十年前,大部分数据仓库只被预期产生少量报表,只是每天或者甚至每周以批量形式加载数据,有时也处理少部分用户发起的偶尔性的临时查询。

  现在,除了更常见的批量加载工作之外,更先进的数据集成工具已经使得用数据仓库近乎实时地整合数据成为可能。由于有更多易用的前端商业智能工具,更多的用户可以访问数据仓库。同时,进出数据仓库的数据量在冲天猛涨,而且并没有显示出来减缓的迹象。

  Gartner的分析师Donald Feinberg认为,这样一来工作负载管理就变得非常重要了。实际上,在他最新针对数据仓库的“魔力象限”报告中,Gartner公司声称,混合性的工作负载性能确实是数据仓库中唯一最重要的性能问题,“将来也会是这样。”

  Feinberg说,对于客户来说,好消息是几乎所有数据仓库供应商都具备一些负载管理能力,尽管其中一些比另外一些更优秀。他选出Teradata公司作为数据仓库供应商中具备最先进,最全面负载管理工具的供应商,尽管他表示Oracle公司,IBM公司和微软公司的产品也差的不太远。

  然而,具备最先进工作负载管理能力的供应商也是最大的企业客户,这一点并不奇怪。工作负载管理在大型的集中式企业数据仓库环境中是最关键的,这种数据仓库会被整个大公司的用户访问。

  在这种情况下,数据仓库被期望处理更多流量和查询,比多个部门在更分布式的环境中分设数据仓库和数据集市需要处理的负载量要多得多。

  Randy Lea是Teradata公司产品和服务市场的负责人,她说:“你的数据越集中,负载管理对你的环境就越关键。

  按照Lea的观点,Teradata公司对负载管理采取了双管齐下的做法。首先,该供应商的Teradata活动系统管理(TASM)应用程序支持客户实现基于预定义业务规则的负载优先次序管理。

  例如:许多Teradata公司的客户给公司高层主管的查询比其他员工的查询分配更高的优先级。其他人在特定的时间给特定的部门分配更多的带宽,这取决于使用模式。例如:如果市场部门在上午八点到十点之间要做大量复杂查询,我们就可以给那两个小时里分配更高的优先级。

  另外,数据仓库工作可以基于访问数据量大小和复杂度分配优先级。例如,需要在庞大的数据集上运行的更大的查询可以被设置避开使用高峰,这样可以避免使整个系统性能变慢。

  Lea说:“不是每一个查询都是一样重要的。”

  Teradata活动系统管理还支持DBA们快速对优先级计划做出变更,以便在出现瓶颈时可以迅速调整优先级策略。

  但是,Kobielus说,即便是更小的数据仓库供应商也提供工作负载管理功能。Aster Data公司就是一个例子,该公司“有特殊强大的工作负载管理功能来管理MapReduce任务”。

  Phil Francisco是一家数据仓库设备供应商的副总裁,该公司总部位于美国马萨诸塞州马尔堡。按照他的观点,Netezza公司还提供完整功能的负载管理功能。

  除了预先设置和邻近备用设备工作负载优化的能力,Netezza公司还给客户提供对CPU执行小型分割分配的机会,这可以被用来快速处理他们遇上的简短的临时查询。

  Francisco解释道,正如Netezza公司给这种功能起的名字“小查询偏爱”,它“允许更小的查询”快速进出系统,即便我可能在机器上还运行着其他东西。这有点像食品杂货店购买货物较少的快速结账通道。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐