根据咨询师和IT经理的观点,“大数据”分析的最大挑战可以简单地归结为两个方面:1、技术尚未成且用户体验不佳;2、缺乏相关领域的技术人才储备。 许多大数据技术(如Hadoop MapReduce)都来自开源社区,由致力于研究高效处理大容量信息的互联网志愿者进行开发,如Google和Yahoo,其中包括结构化和非结构化数据。因此,大多数技术在成熟度和可访问性方面都不及传统数据库和数据管理套件,而且可用于帮助数据仓库和分析人员熟悉这些环境的补充分析工具还很有限。 Ron Bodkin是大数据分析咨询公司Think Big Analytics的CEO,他指出,所有这些技术的学习曲线都不平坦,有……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
根据咨询师和IT经理的观点,“大数据”分析的最大挑战可以简单地归结为两个方面:1、技术尚未成且用户体验不佳;2、缺乏相关领域的技术人才储备。
许多大数据技术(如Hadoop MapReduce)都来自开源社区,由致力于研究高效处理大容量信息的互联网志愿者进行开发,如Google和Yahoo,其中包括结构化和非结构化数据。因此,大多数技术在成熟度和可访问性方面都不及传统数据库和数据管理套件,而且可用于帮助数据仓库和分析人员熟悉这些环境的补充分析工具还很有限。
Ron Bodkin是大数据分析咨询公司Think Big Analytics的CEO,他指出,所有这些技术的学习曲线都不平坦,有许多新技术和无文档的技术需要学习。大多数人都习惯于使用关系数据库管理系统,这是一种完全不同的数据存储和处理模式。
在管理和组织高度结构化的数据和SQL建模与报表制作上,虽然数据管理团队一般都具备良好的知识积累,但是这些常规技能并不适用于非结构化和扁平文件的大数据领域,其中命令行和NoSQL数据库技术 才是大多数新兴平台的核心构建模块。
comScore是一家Web分析提供商,近年来主要销售开发和实现大数据分析策略的智能服务。公司的软件工程副总裁Will Duckworth指出:“您必须着手准备。它现在还不是成熟的产品,还不能简单地购买、安装和运行在服务器上。您需要配备良好的系统管理员,以及掌握建立这些环境的实践方法。”
人才缺乏严重
大数据分析主要基于预言建模或未来趋势分析。但是,一般业务用户或者传统B数据分析师并不具备开发 预言分析应用程序模型的技能。此外,许多数据都处于原始形式,来源于Web活动日志或检测器等。因此,公司需要配备一些精通于统计和数学原理的骨干专家,他们要能够建立高级分析模型,发现趋势和隐藏的模式,使大数据真正发挥作用。
Forrester研究公司的首席分析师Brian Hopkins说:“您不仅需要能够实现价值的IT运营技能,而且我们现在最缺乏的大数据科学家——具备统计博士学位的人才。大部分数据是原始数据——它们不能直接读取和分析。处理这些原始信息的人员一定要具备一些特定的技能集,而且您需要在业务中引入这些人才。”
comScore公司的业务主要是通过大量的Web数据分析预测出客户趋势,许多分析用户都接受过预言建模培训,技术上足够理解特定查询对于整个系统性能的影响。然而,Duckworth指出,其他公司并不具备这样的条件。所以comScore在再次教育方面投入了许多时间和资金,帮助他们重新审视数据规模,而在他们建立模型和查询时投入时间考虑数据分区、负载规模等细节问题。
同时,公司还设计了考虑制衡的大数据系统。例如,如果有人试图运行可能破坏集群的查询,那么系统会发出提示,保证该用户完全知晓所执行任务的危害。Duckworth说:“基于规模效应,问题会传播得很快。”ComScore还引入了预打包应用程序,给它的Hadoop大数据分析环境增加了类似SQL的环境,因此它更容易被主流用户接受。
Zions Bancorporation是一家商业银行,它利用大数据技术对各种贷款业务进行建模和风险管理。在这家公司中,培训也是大数据分析策略的主要部分。但是,培训不仅仅是学习Hadoop技能,也不是统计学速成课。相反,要花费一定的时间和精力使技术团队成员适应新技术,使他们能够顺利过渡到全新的数据管理方式。
作为Zions的前任数据仓库、BI和分析高级副总裁,Clint Johnson指出:“这是一种传统且保守的IT部门不愿意实现的新技术。您的系统管理员或数据库管理员一直以来的工作都是围绕一个特定的技术集,而此时您突然给他们强加一种新技术,并要求他们学习这种新技术。您必须面对这项新模型支持所带来的文化挑战。”
翻译
TechTarget中国特约技术编辑,某高校计算机科学专业教师和网络实验室负责人,曾任职某网络国际厂商,关注数据中心、开发运维、数据库及软件开发技术。有多本关于思科数据中心和虚拟化技术的译著,如《思科绿色数据中心建设与管理》和《基于IP的能源管理》等。
相关推荐
-
探索Hadoop发行版以管理大数据
Hadoop是一种开源技术,它也是数据管理平台,现在它通常与大数据分布相关联。它的创建者在2006年设计了原始 […]
-
SQL Server 2019改进Linux、容器支持
紧随其SQL Server 2016和2017版本后,微软正在准备发布SQL Server 2019,该公司在 […]
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]
-
SQL Server 2019预览版向DBMS引入Hadoop、Spark和AI
微软本周继续改进其SQL Server数据库平台,从关系数据进一步扩展到各种数据类型。 近日该公司发布SQL […]