[CTO俱乐部第51期]剖析数据挖掘在金融证券交易领域的应用

日期: 2011-07-28 来源:TechTarget中国

  7月28日晚,由CSDN旗下高级技术管理者大本营CTO俱乐部举办的“数据挖掘在金融证券交易领域的应用经验分享”主题沙龙活动在海淀桥车库咖啡馆成功举办,这是CTO俱乐部金融行业软件专业委员会成立以来的首场线下活动。

  本次活动邀请到凤凰网高级技术经理王允、和瑞网CTO巨建华、搜狐金融事业部高级工程师赵士昌、金融界技术主管吴旻等嘉宾,分享了在证券交易行情数据分析领域所涉及的经验和技术,并对数据挖掘在互联网相关领域的应用进行深入的沟通和探讨。活动现场火爆,有近百位行业内技术管理者来现场。

剖析数据挖掘在金融证券交易领域的应用

活动现场火爆

  和瑞网CTO巨建华介绍了国内证券交易行业的数据特点:全部是动态时间序列数据;每秒新增数据上千;21年历史数据;多个交易市场,多种证券类别;沪深两市每天原始数据量为2G;财务报表等数据为非结构化数据;历史数据永远不会发生变化。就数据清洗与去噪,他谈到了几个基本机制——编码标准化;单位标准化;入库检查规则制定;缺失数据处理机制。在数据仓库的构建——自定义文件数据库方面,巨建华分析了为何当前采用了NoSQL:因为磁盘的效率依然低下,因此采用了MongoDB,用内存来存储数据,4台服务器配备128G内存,实现了每秒27000条的写入速度。

剖析数据挖掘在金融证券交易领域的应用

和瑞网CTO巨建华

  在研发流程规划方面,他重点介绍了:产品规划(产品经理)-模型设计(金融工程师)-模型开发(开发团队)-回归测试(测试部)-实盘验证(产品经理)-模型监控(产品经理)的模式。

剖析数据挖掘在金融证券交易领域的应用

凤凰网高级技术经理王允

  凤凰网高级技术经理王允分享了自己对于数据挖掘在金融证券交易领域应用的未来展望——能否根据指标值给用户操作提示?能否提示用户K线图上出现的形态;能够从海量数据中自动分析得出操作提示;走势预测;套利机会(跨A|B|H|权证|基金|商品);按照特定模型分析财务数据;周易、占星等理论能否用在股票分析上。

剖析数据挖掘在金融证券交易领域的应用

互动问答(从左到右分别为:王允、赵士昌、吴旻、巨建华)

  现场听众提问,主要集中于几点:金融行业的数据分析如何跟自身业务结合;BS/CS(客户端)架构区别,各自的优劣;数据安全性;如何才能获得更优质的证券交易数据、数据传输、清理方式等问题。在谈到数据分析解决方案BS/CS架构区别时,金融界技术主管吴旻认为BS相对于CS来说会慢一点,数据量很大的时候可能不那么及时,可能会慢一两秒。普通客户觉得不重要,但是对于高端用户来说半秒都是很重要的。其次是证券交易数据的获取和使用都要合规,上交所深交所的规定都有不同的区别,很多网站因为拿不到牌照所以做不了,有些可以获取数据做分析但不能交易。再有,数据安全是另一个不容忽视的方面。

  对此,搜狐金融事业部高级工程师赵士昌并不赞同,他认为BS架构完全可以达到CS数据级别,搜狐技术部门做过测试,速度相差不会太多,一个级别的。CS架构的话,因为有客户端,可以在本地存储一些大量数据做分析,BS架构可能受限互联网的束缚,但是可以将数据拿到客户端处理,浏览器仅仅是显示一下处理结果就可以,技术上都已经很成熟了。

  总体来看,未来的金融证券行业数据服务,下一步的技术焦点将在如何为个人提供个性化的服务上,现场互动活跃,与会者提出了很多很好的需求和建议。

  更多精彩内容及CSDN CTO俱乐部的下期线下活动,请持续关注CSDN CTO俱乐部。

  CTO俱乐部是CSDN旗下面向广大技术管理者的网上大本营,采取采用了严格的邀请审核制,只有公司的高级技术管理者,如CTO、技术总监、开发总监、工程总监才能申请加入,现已超过10000多名会员。CTO俱乐部定期举行线下活动,就相关主题进行共同探讨,并便于会员们相互交流

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐

  • 使用Apache Hadoop挖掘现有数据

    本文介绍了如何使用Apache Hadoop挖掘您的数据,并将数据转换为可以轻松供给一个基于 web 的报表应用程序的数据。

  • 当业务分析师遭遇预测分析软件

    在刚刚发布的胜利指数报告中,Hurwitz & Associates公司对业界12家预测分析厂商进行了评定,从市场占有率和客户两方面,Hurwitz将IBM SPSS和SAS评为“胜利者”。

  • 数据科学家如何解决预测分析的难题

    TechTarget网站最近就关于数据科学家及将来他们如何使用预言分析探寻结果的问题采访了Metamarkets的首席技术官和Michael Drisoll。

  • 文本分析软件选型最佳实践

    挖掘email、博客文章及其他非结构化企业数据中有价值的信息需要依靠文本分析软件,但是有如此多的内容和情境分析工具,如何选择正确的软件也是一个很大的挑战。