当大数据浪潮席卷全球,影响最为明显的便是银行系统。随着数据的集中和业务的发展,银行系统多年运行积累下来的交易数据(或称交易流水数据)及其相关的参照数据,如客户、帐户、产品、渠道等数据量正在急速增长,银行对历史交易数据的应用需要已经超越了传统的历史数据备份。作为业界领先的企业级软件公司赛贝斯(Sybase),SAP旗下的公司凭借在大数据管理与分析领域的领导地位,打造基于Sybase IQ 的银行历史库解决方案,为全球金融伙伴解决了历史数据管理与分析的难题。
银行历史库的应用需求
对于大多数银行系统来说,在实际的业务应用环境中,来自于各业务部门、各类客户和外部机构等第三方的对于详细历史数据的随机查询要求越来越多;另一方面,大量的历史数据保存在核心业务系统中,已经开始对业务处理的效率造成影响。因此,需要将业务系统中的历史数据移出,建立历史数据库,为前端柜员的历史数据查询提供支持;同时,历史库完整保留银行各业务系统交易流水的原始记录,满足规定时限(5-10年以上)历史交易数据查询和快速恢复的需要,包括但不限于:各业务系统的历史交易明细数据的实时查询,银行、公、检、法、工商、税务等即席查询,为审计和操作风险监控等内部控管类系统提供数据,历史数据提取和下载。
今天,银行对历史交易数据的应用需要已经超越了传统的历史数据备份,银行已经将历史交易数据视为宝贵的资产,用于内外部监管、合规和审计,以及反洗钱等,诸如典型的审计,帐务调查等都需要快速访问历史数据;此外,各业务系统(OLTP)对历史交易数据的查询和统计报表等都需要长期在线地访问历史交易数据。另一方面,银行希望通过对历史数据的充分利用实现对业务的有效支持,包括
· 业务管理,如业务创新、交叉销售、差异化服务等;
· 风险管理,如主动风险防范和控制,提高风险控制和管理能力;
· 成本管理,如信息资源、业务资源、客户资源和管理资源的最优配置和最大利用。
基于Sybase IQ的银行历史库系统
长期以来,Sybase一直是海量数据管理的技术领先者,基于Sybase IQ的银行历史库系统提供了一个统一的平台,集中管理银行各个业务系统积累下来的历史交易数据,并提供高性能的历史数据查询和访问功能。总体架构如下所示:
图一:历史数据管理和应用总体架构
所有业务系统的历史数据通过数据交换平台集中汇集到历史交易数据存储库HDS中,基于这个HDS建立历史数据查询访问平台,提供业务系统实时查询服务、批量检索服务、随机查询服务和数据下载服务等,进而形成一个完整的历史库系统。
银行的历史库系统逻辑架构如下图所示:
图二:银行历史库系统逻辑架构
在历史库系统逻辑架构中,历史交易数据存储HDS是核心,基于Sybase IQ数据库实施的历史数据存储采用多级存储体系,实现信息生命周期管理,从而提高了历史数据存储管理的效率,大大降低了总拥有成本。如下图所示:
图三:历史数据的多级存储体系
基于Sybase IQ的银行历史库系统采用开放的硬件架构,支持主流的服务器和操作系统,包括PC服务器,Unix服务器以及Windows, Linux和Unix。系统体系架构如下图所示:
图四:历史库系统体系架构
Sybase银行历史库解决方案包括如下基本组件:
· Sybase IQ:实现历史数据存储(历史库),满足海量数据的压缩、专利的索引、高效的并发查询、降低总拥有成本TCO等;
· PowerDesigner Enterprise:实现元数据管理,建立中央数据字典,集中管理;
· Bradmark Surveillance:IQ运行监控(可选组件);
· Sybase专业服务
Sybase银行历史库系统的强大功能
Sybase银行历史数据库系统提供了强大的功能,支持银行的历史数据存储管理、实施查询、即席查询和批量检索等应用。
1. 列式数据库提供高效存储,实现了高性能查询
· Sybase IQ能够有效存储大量数据(可高达几个 PB),其独有的压缩功能可将存储数据压缩到原始输入数据大小的30-50%。
· Sybase IQ执行即席查询的速度比基于行的传统关系数据库高出10到100倍。另外,Sybase IQ具有近线性的可扩展性,并支持大量用户并发使用。
2. 基于标准的访问
· Sybase IQ 采用 SQL 作为标准查询语言,并支持 JDBC、ODBC 标准。
· 借助这些标准,开发人员可以继续运用现有的技能,从而降低现行的维护成本。此外,基于标准的访问还便于第三方工具访问和集成数据。
3. 高可用性
· Sybase IQ的Multiplex(多路)配置为用户访问历史数据库提供了冗余。借助第三方存储解决方案,客户可以将连接在故障时转移到远程地点的其他 Sybase IQ副本。这种多层次的高可用性可防止数据因系统故障或各种灾难而丢失。
4. 快速实施
· 基于Sybase专业服务在多家大型商业银行的实施经验,Sybase银行历史库解决方案的实施周期在2-4个月之间。
Sybase银行历史库解决方案的客户实施收益
· 剥离全部业务系统历史交易数据,实现大集中,进而形成单一视图;
· 建立一个基础的数据存储层,实现海量历史数据的长期存储要求;
· 建立一个高性能的历史交易数据查询服务层,提供多种查询支持;
· 建立统一的中央数据字典,实现元数据的集中管理和共享;
· 建立安全访问控制和管理机制,实现历史交易数据安全使用和管理;
· 建立统一的数据备份和恢复机制;
· 历史数据实现了信息生命周期管理,有效降低了总拥有成本TCO。
基于Sybase IQ ,Sybase银行历史库解决方案为银行的历史数据管理和应用奠定基础。除此之外,Sybase数据管理与分析解决方案已经为全球的金融服务业务关键系统提供强劲动力。全球排名前25家银行中的24家、全球排名前50家银行及证券机构的50家,信赖并使用Sybase技术来进行当日的风险分析。每天,Sybase处理着几十万条从华尔街到东京、从香港到伦敦之间的金融实时交易数据。凭借在领先的技术与解决方案,Sybase 将继续在大数据分析与管理领域居于领导地位。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
相关推荐
-
探索Hadoop发行版以管理大数据
Hadoop是一种开源技术,它也是数据管理平台,现在它通常与大数据分布相关联。它的创建者在2006年设计了原始 […]
-
SQL Server 2019改进Linux、容器支持
紧随其SQL Server 2016和2017版本后,微软正在准备发布SQL Server 2019,该公司在 […]
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
SQL Server 2019预览版向DBMS引入Hadoop、Spark和AI
微软本周继续改进其SQL Server数据库平台,从关系数据进一步扩展到各种数据类型。 近日该公司发布SQL […]