亚马逊云数据库Redshift解决集群难题

日期: 2014-05-11 作者:Dan Sullivan 来源:TechTarget中国 英文

Amazon Redshift是一个由Amazon Web Services(AWS)提供的数据仓库服务,它可能有其吸引人的地方,但是需要注意它与内部部署版本的不同之处。作为一个内部部署数据仓库的替代品,Redshift有许多可取之处,如果你了解此服务的鲜明特点并能加以利用,它便可成为你的优势所在。

Amazon Redshift让数据仓库走进了PaaS(平台即服务)层。此服务是基于PostgreSQL的一个自定义版本,它是一个开源的关系型数据库,它拥有可以与商业关系型数据库管理系统相媲美的功能。关系型数据库很多年前就可以支持服务器集群,但是早期版本是难于实施和管理的。

数据库集群给DBA(数据库管理员)带来了不小的挑战,很多问题解决起来既浪费时间,又让人心烦意燥,而Redshift设计的初衷就是为了缓解这一状况。DBA使用Amazon控制面板可以创建多达16个计算节点的集群,每个节点都可以永久存储2TB到16TB不等的数据。

Redshift的存储成本更低

Redshift是一个列式的数据存储,所以存储在磁盘中的数据是按列式而非行式进行存储的。这样可以在选择基于某些列值数据的时候降低I/O操作的数量 – 例如选择上月销售量大于一千个单元的所有产品 – 并且这样也能实现更有效的数据压缩,最终让用户的存储成本变得更低。

和所有合理的销售报价一样,AmazonRedshift也给出了吸引眼球的承诺,即运行数据仓库的费用为每年每TB1,000美元。我们来研究一下这个报价。每年每TB1,000美元是运行一个2TB节点的最低报价。如果你使用的是一个小型数据仓库,那么你可能就只需要一个单节点的数据仓库。众所周知的dw.hs1.xlarge服务器是一个只有2TB的实例,它可用在一个单节点配置中;而像dw.hs1.8xlarge这种16TB的实例是用于集群情况的。

除了用于存储数据和执行查询的计算节点,你还需要一个领导节点。领导节点从客户那边接收查询,创建执行计划,发送查询给计算节点并汇总结果。Amazon只对计算节点收费;它并不对领导节点收费。

报价是基于虚拟机的大小给出的。2TB节点的点播率是每小时$0.85,而16TB节点则是每小时$6.80。在美国东部,美国西部和欧盟(爱尔兰),都可以使用Amazon Redshift提供的服务。

保留实例可以削减成本,但直接从AWS购买时,Amazon需要一个一年或三年的承诺。企业还可以在AmazonMarketplace上通过其他客户购买实例。客户对他们所出售的实例进行定价并决定在市场中提供的机器实例类型。

由于AmazonRedshift相对来说是新近推出的,现在可能还没有很多数据仓库实例。对于出售合同上任何未用的和不必要的时间,你都可以自由定价出售,这样一来你就购买一个保留实例。

数据仓库节点的价格包括在计算节点上的存储成本,还有在AmazonSimple Storage Service(S3)上进行备份的等量存储。如果你的存储超过了数据仓库的容量,那么标准S3就会对超额存储进行收费。

用AmazonRedshift进行数据库维护

Redshift的性能与并行操作相一致。查询可以分配给集群中的各个节点,因此每个节点都承担了总工作负载中的一部分。组织需要注意的是,不要利用分配数据给节点的功能让工作负载不均衡。默认情况下,Redshift会用一个循环算法分配数据到集群中的所有节点。如果你选择基于表中的某个关键字来分配数据,那么就需要慎重选择以避免节点子集中的瓶颈。

所有的数据库都需要某种程度的维护,而Redshift则执行了某些最为常见的工作,包括执行备份和为软件打补丁。DBA们仍需要监视数据库设计和数据加载相关的性能。Redshift通过删除已存在记录和添加新纪录到一个表来执行更新操作。这样可以协助改善运行时性能,但是也会导致存储碎片。DBA们需要定期运行VACUUM命令来回收未使用的空间。DBA们应该熟悉用于检查查询执行计划的ANALYZE命令,这是理解查询为什么执行缓慢的一项关键技术。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者

Dan Sullivan
Dan Sullivan

Dan Sullivan是一名作家、系统架构师和顾问,拥有超过20年关于先进的分析、系统架构、数据库设计、企业安全、商业智能的IT从业经验。他的从业范围广泛,包括金融服务业、制造业、医药、软件开发、政府、零售、天然气和石油生产、发电、生命科学和教育。

相关推荐