据美国银行的企业信息架构执行官Ted Hills说,数据管理专家应该放弃“批处理方式”,转而采用实时数据处理和分析。
在上周的Data Virtualization Day 活动中,Hills表示一般的企业每天通过在线事务处理、零售批发销售、市场活动等方式收集数据。但是,大多数情况下,通过夜间运行批量任务作业的方式来处理信息,这种方式在如今快节奏的业务环境中已经不能满足需求了。
Hills表示:“数据的价值只有在刚刚产生时才是最大的,而且在数据刚一产生就对它进行移动、处理和使用才是最有意义的。”
Hills是美国银行的信息架构评审委员会的领导,他开发过批处理系统也开发过实时系统。他说,实时数据处理改进了全球财务服务公司的业务运作方式。例如,公司使用实时数据处理来跟踪突发事件进程,确保距离突发事件疏散路径较近的ATM机里有足够现金。
Hills回想起曾经震撼了世界经济的次贷危机刚开始时的情景。人们都以为次贷危机开始于2008年,但是Hills记得2007年8月的两天,当时,破产的房地产开发商Merill-Lynch已经无法卖出贷款抵押保证金了。
“所发生的事情是,这些保证金和保证金相关物品已经以无法预料的速度跌价,”他说:“如果当时他们能意识到市场正在发生什么情况,而不是在那天结束才去拆借资金,他们就能更快做出反应,这样Merill-Lynch也不会被美国银行收购。”
采用实时数据处理的原因
从批处理方式到实时处理的转换是一个具有挑战的过程,也许需要投入巨大的精力,但这是值得的,Hills说 。
其中一个原因是技术方面的迫切性。技术已经进步到人们能在Amazon定一本书,并且在24小时之内可以送到家。人们能买一部新的电话并在几分钟之内给世界上任何一个地方打电话。人们可以在几秒钟之内从Comcast订购一部电影并在自己的电视上播放。
所以,为什么一个CIO或CEO只能等到第二天才能看到自己组织里有价值的业务信息呢? Hills 说,这不行。
“我们技术人员已经帮助创建了一种文化,我们想立刻得到想要的信息,”他说:“我们应该期望一切信息都可以实时获取,因为技术已经可以让我们做到这样。”
实时数据处理也能最小化或完全排除“批处理瀑布”的机会。夜间运行的故障会引起瓶颈,导致更严重的延迟。这对需要处理不同时区业务的跨国集团尤其是个问题。
“如果这个故障没有被修复,而且批处理流程又很快被重启了,那么上一个批处理任务在第二天早上6点以前就不能完成,这样就会延迟24小时才能看到前一天的业务信息。”他说。
此外, Hills补充道,“夜间”的概念对如今的大部分业务没有太大意义。互联网上没有关门时间的概念,结果一天24小时都有有用的信息流进入组织。
克服实时数据处理的障碍
采用实时数据处理的一个最大障碍就是:大多数IT员工都熟悉批量处理方式,却很少有开发实时数据处理系统的技能和经验。
Hills认为,让IT人员改变他们对实时处理的态度,需要特别强调“只要记录改变或产生事务就要处理数据”的需求。
“批处理的方式代表我下午6点就开始处理,”Hills说:“实时处理方式怎代表每个数据变化时我都会处理。”
缺少必要技能和经验的组织应该考虑招募能马上开始工作的外部顾问或新员工。他们的目标应该是为组织注入实时思想,Hills说。
缺少采购执行是另外一个大的障碍。Hills说,这是管理专家向公司高层销售实时系统的时候了。
“你需要跟执行官谈谈实时处理的需求,让他接受并告诉其他的人,”他说:“这就是一种文化变革,而且将组织的文化价值转化为:让人们知道批处理系统是很好,但实时系统有更高的价值。”
另外一个选择实时或近实时系统的很大障碍是,实时系统比批处理系统更贵。对于采用非实时架构或技能的组织,实时数据处理会需要一大笔初期投入,但是,从长期看来,这笔投入会值得。
“一旦经过了学习曲线,实时系统和批处理系统的成本实际上是相同的,” Hills说:“而且如果你已经认识到实时系统能比批处理系统带来更大的价值,因为它能更快的交付数据,那为什么还要构建批处理系统呢?”
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
![TechTarget微信公众号二维码](/wp-content/uploads/res/images/spriteimg/ttweixin.jpg)
TechTarget
官方微博
![TechTarget中国官方微博二维码](/wp-content/uploads/res/images/spriteimg/ttweibo.jpg)
TechTarget中国
相关推荐
-
使用Amazon Kinesis进行实时数据处理
如果你想要在从多个数据源中以实时的方式来处理数据,那么Amazon Kinesis会是不错的选择。
-
数据虚拟化工具适合你吗?
IT专家和数据管理分析人士表示,当数据虚拟化工具对IT领域还是相对较新的话题时,它已经经历了“增长之痛”,组织也正在日益增加这种技术在公司的应用。
-
Forrester发布数据虚拟化工具市场报告
根据Forrester Research发布的一篇报告显示,Informatica是目前数据虚拟化软件领域的领军厂商,紧跟其后的是IBM、Composite Software和Denodo Technologies。
-
Composite软件CTO分析数据管理几大趋势
许多公司目前都会在内部部署多个数据仓库,与此同时,数据虚拟化、变更数据捕获(CDC)以及消息技术等都为用户提供了不同的信息整合选择。