在当今日益复杂的市场环境中,竞争逐渐演变成为一场规模空前、永无休止的数据大战。激烈的市场竞争要求企业和机构必须不断根据可用的信息进行快速、准确以及更深入地理解与分析,以便做出正确的决策,从而赢得更有价值和利润的市场与客户。然而,数据规模的不断膨胀和数据产生速度的空前增长,给公司和机构带来了与日俱增的压力,尤其是在更大存储空间以及更快速、更深入、更全面地分析数据方面。
事实上,面对呈指数级别增长的信息数量和速度,传统的数据存储和分析技术显然已经力不从心——因为为操作型(而不是分析型)应用设计的运行环境一直无法满足数据存储与分析的诸多要求,比如大数据集、大量并发用户、复杂查询和即席查询等等。然而,Sybase专门为数据仓库系统设计的一种存储和管理的列式数据库——Sybase IQ完全能够满足企业的以上需求,它目前已经成为那些需要分析而获得成功的企业的首选智能方法。
Sybase IQ简介
Sybase IQ是世界领先的、基于列的分析服务器,它包含了许多特殊的技术以专门满足数据仓库应用的诸多需求,如:数据的快速加载、灵活高效的查询和访问、无限的并发用户支持、高效的存储和数据压缩等等。
Sybase IQ是唯一能够基于企业的全部信息,按照任意条件,面向所有用户,提供更快速、更准确分析的分析服务器。凭借基于列的核心架构和创新功能,Sybase IQ从多个层面提供了灵活性和可扩展性,能够为最大的数据集、最为复杂的分析任务以及快速增长的BI用户群,提供非凡的查询性能。
作为一款高度优化的分析型服务器,Sybase IQ不仅可以实现出色的数据压缩,还拥有良好的查询性能和闪电般的加载速度。凭借Sybase IQ独特的压缩能力,全球最大的数据仓库仅用160TB的存储空间即可成功存储1PB的原始数据,其中包括电子邮件、文档、多媒体资源等非结构化数据,创造了全球最大的数据仓库吉尼斯世界纪录。
Sybase IQ将卓越的速度和灵活性与低总体拥有成本结合在一起,让企业能够实现以前无法实现、难以实现或成本昂贵的关键业务分析和报表功能。
Sybase IQ不仅具备以上快速查询、高度可扩展性与灵活性、节约存储成本/数据压缩、降低维护成本、加快部署等系列优势,最新版本Sybase IQ 15.2还具备全文检索、联合查询、Web分析及实时加载四大功能,同时Sybase IQ 15.2也是业界第一个以列式分析方式提供全文检索和联合查询的数据库;另外,Sybase IQ还在非集群Linux?和x86系统中,创造了1 TB级别2 TPC-H?基准的最佳数据仓库性能。
除了以上系列优势,针对最具挑战性的高级分析环境,Sybase IQ还拥有着性能卓越的五大选项,能够帮助企业提升高级分析环境的性能与功能,实现数据资产价值最大化。这五大选项分别为:数据库内分析选项,多路并发网格选项,大对象管理选项,超大规模数据库选项以及高级安全选项。
Sybase IQ五大选项之一——“数据库内分析”,提升高级分析环境性能与功能
在目前高度竞争的市场环境下,为了能够成功实现如投资管理、赢得客户与保持客户、扩大市场份额、增加利润等业务目标,就需要企业能够尽可能快速与精确的进行数据分析, 而有效地预测与分析则要求企业必须拥有快速与洞彻处理大量数据的能力。
传统分析方法无法满足新需求
对于传统的分析方法来说,如何在大数据量、吞吐量与准确性之间维持平衡一直都是巨大的挑战。而当数据量、准确性、处理时间全部成为成功的关键因素时,传统的分析方法总是只能 “满足其二(或其一)”。原因之一就是传统的方法在进行数据分析时要求将数据从数据库中移出然后再进行分析,这种数据移动占用了整个分析进程75%以上的时间,对所提交业务所需的结果带来了严重的限制。
Sybase IQ数据库内分析功能从根本上重建分析,提升业务性能与可扩展性
Sybase IQ新增了数据库内分析功能,这一功能使其能够提供一个同时实现所有三个目标的分析平台。对于业务来说,这不仅意味着企业可以对未来业务风险与机会进行更好的预测、同时能够在基于更即时的结果的前提下做出更明智的决策,还意味着能够更及时的捕捉趋势与异常,使运营决策更有效、更经济。
数据库内分析可以立即提升业务性能与可扩展性。通过使用该机制,数据在结果被过滤和处理之前不会离开数据库,也就是说,数据分析在数据库内可以即时完成,这就大大节省了数据移动所占用的大量的时间;同时通过将数据保持在数据库内,还大大提高了数据安全的级别。更进一步的好处还在于分析代码与模型在整个企业中共享,允许即席分析,并且可以应用于最当下的数据集。
Sybase IQ可以通过三种方式实现数据库内分析:
第一种方式,提供丰富的内建数学与分析函数的库,包括数据转换,它们驻留于Sybase IQ内,即时可用,这极大地扩展了Sybase IQ数据库内分析的能力。这些分析函数可基于标准进行访问,只要熟悉SQL,即可对数据库内逻辑进行扩展;
第二种方式,内建的ANSISQL扩展允许对大数据集进行聚合分析,为诸如相关与协方差的计算快速生成结果;
第三种方式,其产品经过Sybase IQ数据库内分析功能认证的统计与数据挖掘软件合作伙伴所提供的新的可插拔的分析算法库,将全面的统计和预测分析能力带入Sybase IQ。比如通过内嵌的经过认证的Fuzzy Logix的据库内分析的库DB Lytix,提供了丰富的函数,从描述性统计到高度复杂的Monte Carlo仿真以及模式识别。这些函数支持大量的业务应用,包括:
- 电信—客户流失分析与价格优化
- 保险—暴露评估,保险理赔 与客户保持
- 银行—投资组合分析,风险管理与客户保持
- 医疗卫生与生命科学—预防保健与药物试验分析
- 市场营销—活动分析与方案评级
这些用例均可进行审核,而且可被快速部署到生产环境中。另外,这些库可为特定的应用场景快速提供额外的分析解决方案。
Sybase IQ五大选项之二——多路并发网格选项,实现分析环境新级别的可扩展性、功能与性能
Sybase IQ Multiplex是一个高度可扩展的共享磁盘多路并发网格技术,这项技术允许基于独立的数据处理节点的并行数据加载和查询。事实上,因为拥有着其他方法无与伦比的巨大优势,Sybase IQ Multiplex已经成为部署强大功能和高性能报表或分析环境的首选技术,它的优势包括:
可扩展性:利用Sybase IQ Multiplex技术,企业可以随着分析环境的扩张而不断增加所需的节点。也就是说,可以不断扩展Sybase IQ环境以支持数以万计的用户和并发的混合负载任务,而无需担心数据加载速度减慢或查询性能变差。
灵活性:利用Sybase IQ Multiplex技术,企业可以使用一个友好的图形化用户管理界面或命令行接口快速轻松地配置Sybase IQ Multiplex环境。
高可用性:利用Sybase IQ Multiplex技术,任何节点发生故障都不会影响到其他节点的查询任务。因为这一技术可以轻松地监控、检测并管理发生故障的任一节点,并可将失败的任务转移到其他节点。
Sybase IQ Multiplex支持每CPU多个用户,该架构允许服务器的增加独立于存储容量的增加。即服务器相对于CPUs的数量可以是异构的,不同的服务器可以包含不同数量的CPU。通过利用这一选项,还可以通过动态设定读、写节点提升环境的灵活性和功能。
图1:利用Sybase IQ Multiplex技术,可以根据需要从一个服务器开始增加CPU和内存或增加服务器和CPU,不影响(或者几乎不影响)可扩展性。也可以将TB级的硬盘增加到SAN,对性能也没有明显的影响。
经济性:Sybase IQ Multiplex允许使用适合企业的资源部署一个强大的报表或分析解决方案,包括低成本的硬件和操作系统。从而,企业无须购买另外的、第三方的“集群”软件。
Sybase IQ Multiplex支持混合集群架构,它为永久的Sybase IQ数据使用共享存储,为目录元数据、临时数据和事务日志使用独立的节点存储。该架构允许使用多个节点管理大量的工作负荷。使用Sybase IQ Multiplex,可以通过多个写节点加载数据,并允许共享的数据库目标被一个用户写入的同时,可以被多个用户查询。
更强大更灵活:Sybase IQ多路并发网格选项使企业可以逐步扩展并行查询任务、加载任务或者同时扩展这两个任务。该选项允许企业在多个服务器中指定Sybase IQ服务器作为读节点或写节点,这些服务器通过高速互联的方式连接到一个共享磁盘阵列。指定读节点或写节点的功能使企业可以灵活的按照需要扩展分析环境。
该选项为企业的分析环境提供了线性增长的扩展性。而且当企业使用低成本的服务器进行部署时,企业仅需付出相当于大型对称多处理器(SMP)的很小一部分成本,却能在性能和扩展性上获得巨大的价值。同时,这种可扩展性也不会带来很高的管理成本。
Sybase IQ五大选项之三——大对象管理选项,实现非结构化数据的存储、检索与分析
不论是处理事务、生成报表或者驱动高性能的分析应用,企业的数据管理系统都需要执行广泛的功能以保证企业平稳运行。但是,另人惊讶的是,即使是在提供了最高级别的性能的数据管理系统下,也有很大一部分企业数据是从未被接触到的。事实上,没有被接触的数据可能高达80%。而这些数据就是非关系型或者非结构化的数据——常常是膨胀速度非常快非常有价值的事务关键型信息。它们以不同的格式如电子邮件、媒体文件以及各种文档类型可能存储在文件系统中或者数据库之外的其他地方,使得基于标准的数据管理解决方案根本无法访问或难于访问。
面对这80%极有价值的信息,Sybase IQ 的大对象(LOB)管理选项提供了一种存储与检索非结构化数据对象的方法,该方法将关系型和非结构化数据在单一的空间中进行管理,使企业可以使用相同的应用和界面访问两种类型的数据。另外,Sybase IQ还可以按照需要独立的管理包含TB级甚至PB级的LOBs,这些都是业务分析领域的重大进步(LOB数据包括图片、地图、文档(文本文件、Word文件、PPT文件等)、声音、视频以及XML文档等)。
能够从两种类型数据的联合中获益的应用例子将包括:
- 电子邮件归档以遵循合规性
- 法律数据保护以遵循合规性
- 多媒体数据银行
- 拥有360度客户视角的CRM系统
- 保险理赔处理
当使用Sybase IQ管理结构化和非结构化数据的时候,数据库管理员发现他们可以全面控制应用所使用的数据,而不仅仅是结构化数据。这不仅消除了那些“管理文件系统中的非结构化数据”的系统管理员对数据流动的复杂安排,同时还消除了文件系统发生故障或停机时文件不可访问的风险。事实上,集中式的数据访问意味着一个更稳固和更安全的系统,Sybase IQ LOB管理选项为管理非结构化数据提供了一个全面而强大的企业级DBMS功能。
飞速加载、检索、搜索与查询
众所周知,传统的文件系统在处理大量的排序文件时效率低下,而Sybase IQ支持并行和批量数据加载,通过降低磁盘I/O提升LOBs加载速度,这种数据加载方法比加载到传统文件系统速度快得多。将Sybase IQ独特的数据压缩技术应用到LOB对象,尤其是文本数据,企业还会得到比文件系统更加高效的数据存储。同时,数据压缩也使得非结构化LOB数据的检索速度显著提高。
Sybase IQ五大选项之四——超大规模数据库管理选项,最大化不断增长的数据资产价值
与日俱增、飞速增长的数据量对企业管理超大规模数据库的能力提出挑战,Sybase IQ超大规模数据库管理(VLDB)选项允许以值的范围对数据进行逻辑分区,从而提升超大规模数据集的可管理性。该选项也允许通过定义一个与特定查询集相关的可管理的子集来进行范围分区,从而在更大的粒度上管理分析环境中的数据。同时,该选项还可以以表空间对象作为逻辑组进行数据分区,以方便管理或者应对将某些数据从整个数据集中独立出去的情况。并可以将表空间定义为只读、读写、离线或在线,通过仅仅备份或恢复相关和需要的数据,来缩短备份和恢复周期。
通过Sybase IQ超大规模数据库管理(VLDB)选项的分区功能,企业可以将数据分组以满足设定的业务和企业需求,比如信息生命周期管理政策;企业可以对数据分区进行独立管理以达到备份和恢复的目的,还可以将不太关键的数据迁移到较为低廉的存储上。
利用VLDB选项进行信息生命周期管理
Sybase VLDB选项允许企业执行信息生命周期管理政策,并为企业带来巨大的好处。这些好处包括:
- 降低存储成本
- 减少用于备份的时间和资源
- 减少停机时间
- 减少损失的风险
图1显示了一个信息生命周期管理进程是如何工作的,使用数据分区将当前的数据与只读数据分离出来。
图2显示了这样一个进程如何使你随着数据的增长维持加载和查询的高性能,同时随着数据的老化而控制存储的成本。
Sybase IQ五大选项之五——高级安全选项,保护有价值的数据资产
目前,越来越多的关键业务系统运行在数据库平台上,数据信息的安全对企业运营来说至关重要,Sybase IQ高级安全选项为Sybase IQ环境提供了最高级别的安全性。对于静态数据,高级安全选项允许用户基于Kerberos服务器认证进行访问,支持FIPs 140-2认证算法,提供强大的与ASE兼容的在列、表、数据库级上的数据加密。对于数据的传输,该选项提供了客户-服务器通讯加密,并支持IPV6协议。
通过在列、表、数据库级上的数据加密保护静态数据
Kerberos是一种认证协议,它确保通过任何网络连接在客户端和服务器端的双向认证。换句话说,该功能允许对Sybase IQ连接、操作系统以及(或者)网络登录维护一个单一的登录ID。Kerberos证书可以用于连接到Sybase IQ,无需指定一个用户ID口令。有了Kerberos,Sybase IQ环境可以得到保护,免于窃听或其他恶意(或无意)的暴露或干扰。
FIPS 140-2认证意味着Sybase IQ提供了与联邦信息处理标准140-2认可的加密技术兼容的加密手段。由FIPS 140-2支持的非确定性的加密方法能够确保最高级别的安全,因为相同的输入数据以给定的键值加密每次都会生成不同的输出格式,然而它可以使用该键值进行解密。Sybase IQ高级安全选项在所有支持的平台上都支持FIPS兼容加密。
实际上,列加密在保证了高级的安全性的同时还增加了灵活性,它允许用户可以在单一的数据库内定制安全级别。该选项可加密一列或多个列的数据,这使有不同数据访问需求的多个用户群可以使用相同的数据库,而无需担心敏感数据会暴露给不应该访问该数据的用户。Sybase IQ通过使用ENCRYPT和DECRYPT函数支持现行的用户加密列,这些函数可以在应用内调用。
提供客户-服务器通讯加密保护数据传输
高级安全选项扩展了Sybase IQ对传输层安全(TLS)的支持。类似于安全套接层,TLS是一个位于网络协议栈中TCP/IP之上的一个加密协议。Sybase IQ企业版本身就提供了对TLS免费RSA的内在支持,高级安全选项增加了FIPS认证的RSA。
对IPV6协议的支持在增加Sybase IQ环境安全性的同时,也增加了简便性和灵活性。IPV6更大的地址空间避免了地址空间的衰竭,消除了网络地址转换的必要。这大大简化了网络管理。更进一步,对IPV6的支持包括IPSEC,一个IPV6强制组件,它通过对数据流上的每个IP包进行认证和加密来保证互联网协议通讯的安全。
对于数据传输,FIPS传输层通过保证客户-服务器通讯的安全而保护企业数据,另外,高级安全选项对IPV6的支持,不但增加了灵活性,也为数据传输提供了额外的安全保证。对于静态数据,Kerberos认证允许安全的单一登录,列加密也增加了数据安全的灵活性和准确性。通过保护数据传输与静态数据,高级安全选项为Sybase IQ提供了更高级别的安全。
总结
目前,强大的列式分析型服务器Sybase IQ的系列优势已经得到了业界一致的肯定——Sybase在Gartner2010年数据仓库数据库管理系统魔力象限中以位于“领导者”象限的评选结果胜出;同时,全球超过1800名客户、3000多个项目、顶尖的行业分析师的支持、媒体的报导以及专家的文章和博客都表明着Sybase IQ正在全球广受认可与瞩目。
美国最大和发展最迅速的药品收益管理公司之一HealthTrans的系统运营副总裁Duane Green曾经高度赞赏Sybase IQ,“Sybase IQ可以让我们和客户将大量杂乱的数据转换为有意义、可使用的信息,而且速度、节约成本、低维护……无可挑剔,还有什么不满意的呢?”
今后,以上五大选项的卓越性能将使Sybase IQ如虎添翼,从而也将帮助全球企业应对最具挑战性的分析环境,最大化不断增长的数据资产价值,提升企业竞争力,助力企业赢占新市场及稳固客户。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
相关推荐
-
超越RDBMS:数据仓库与数据湖、数据集市
现在企业从各种来源收集的大量数据已经远远超出传统关系学数据库可处理的范畴。这引发数据仓库与数据湖的问题:何时使 […]
-
对SAP HANA数据库涉嫌知识产权盗窃的指控存疑
Enterprise Applications Consultin公司负责人Joshua Greenbaum表 […]
-
数据货币将决定企业成败
在2017年3月McKinsey公司对500多名高管的调查显示,越来越多的企业使用数据和分析来推动增长,但目前 […]
-
SQL Server 2016实时操作分析 你值得拥有
分析有助于提高商业运营的效率,SQL Server 2016允许用户在事务数据库的操作型数据上完成实时分析。