职业玩家和高级计算机程序员对GPU并不陌生,但很多人可能并不知道,这个曾经的专用芯片在大数据科学领域也能发挥很大作用。最近NoSQL数据库和机器学习服务方面的新发展也印证了这一点。 GPU技术能够处理有着复杂依赖的大型数据集,基于这一点,Blazegraph决定开发Blazegraph GPU,它是一款运行在NVIDIA系列GPU上,面向NoSQL的图形数据库。谷歌在不久前对其TensorFlow机器学习引擎进行了GPU支持,Blazegragh紧随其后。
Blazegraph(原名Systap)估计,运行在由64个NVIDIA K40 GPU组成的集群上的软件,其吞吐量相当于每秒320亿次边……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
GPU技术能够处理有着复杂依赖的大型数据集,基于这一点,Blazegraph决定开发Blazegraph GPU,它是一款运行在NVIDIA系列GPU上,面向NoSQL的图形数据库。谷歌在不久前对其TensorFlow机器学习引擎进行了GPU支持,Blazegragh紧随其后。
Blazegraph(原名Systap)估计,运行在由64个NVIDIA K40 GPU组成的集群上的软件,其吞吐量相当于每秒320亿次边遍历,这里的边指的是节点之间的连接。
图形数据库被用来映射应用中的关系,这些应用范围广泛,从社交媒体到国家安全应用程序都包括在内。这是一个庞大的图。由于过于庞大,所以经常遇到性能问题,GPU技术可以帮助解决这些问题。
在保护古迹方面的应用
大英博物馆ResearchSpace项目的技术专家表示,采用这种方法可以减轻一些计算任务的负担,ResearchSpace 项目使用了图形数据库,协助文化遗产研究人员的工作。
大英博物馆ResearchSpace项目的开发经理Barry Norton表示,他们在2015年6月就开始在项目中使用Blazegraph了。第一个目标是提高古代器物的管理能力,这些古物来自位于Cyprus的古希腊城Salamis,我们将这一部分工作称之为Gravitate。
在博物馆中,古物被进行3D扫描。3D数据和其他来自不同集合和记录的数据一起,被被合并放入一个图形数据库,该图形数据库以资源描述框架的形式存在。这种方法与过去关系数据库技术的不同之处在于,它不需要固定的模式就可以开始工作,Norton说道。
ResearchSpace一直在使用Blazegraph软件的开源版本。“有些任务,我们更愿意尝试使用GPU技术,”他说,“这些任务通常是离线任务,需要大量的计算时间。”
据Norton所述,互相参照、粗略地比较图形实体和对象,这样的对象实体在大英博物馆的收藏中有“数十万数百万”之多,GPU技术在这里能够发挥很大的作用,GPU技术还可以应用到“一致性计算”,以解决那些描述同一对象的不同术语问题。
减少图缓存换页中断的发生
为什么GPU在一些图形数据库任务上的潜力要高于CPU呢?其原因可能是,虽然图形数据库能够提供一个十分有用的结构来表示事物之间的相关性,但它们还必须处理未知数量的数据点建立这些关系。
随着图的体量变大,处理数据点的问题变得更加繁重。在这些情况下,通用CPU内核的内存带宽相对较慢,Blazegraph CEO,Brad Bebee警告说。
随着图变得越来越大,内存可能会频繁的换页。而此时,CPU只能等待。这就是Bebee所说的“图缓存换页中断”。
“GPU的好处是具有更高的内存带宽,允许对图形进行更好的并行操作,”Bebee说道。
GPU的优势已经被游戏领域的许多玩家证明了,用Bebee的话说,“现在是GPU在图形数据库上大显身手的时候了。”这属于机器学习,目前是大数据范畴内一个热门的科学领域。
TensorFlow让GPU大放异彩
GPU技术的使用是一些机器学习应用的前沿和核心,IT市场研究公司IDC的分析师David Schubmehl表示。Facebook,百度,亚马逊和其他一些公司正在使用的GPU集群来研究深层神经网络相关的机器学习应用程序。这些应用程序包括图像识别、分类等等。
去年Google有限开源的TensorFlow机器学习库使得GPU让人眼前一亮。Schubmehl认为,TensorFlow在学习和生产模式下都用到了GPU。
“对具备深度学习和认知能力的应用程序的需求,以及分析的广泛应用,驱动着大规模高性能计算服务集群的不断发展,”Schubmehl说道。这种类型的集群更加依赖GPU,与传统的服务器集群相比,它需要更少的服务器。
他提到了Facebook的开源Big AI硬件设计也使用了GPU,Schubmehl将其作为GPU支持机器学习的一个更能得到广泛认可的例子。Facebook的这一行动,可能预示着在未来一年,GPU在大数据科学领域将得到更加广泛的应用。
翻译
TechTarget特邀编辑。北京邮电大学计算机科学与技术专业硕士。熟悉软件开发流程,对系统管理,网络配置,数据库应用等方面有深入的理解和实践经验。现就职于IBM(中国)投资有限公司,从事IBM服务器相关软件的开发工作。业余时间喜欢游泳登山,爱健身,喜欢结交朋友。
相关推荐
-
初创公司Dgraph Labs增强图形数据库技术
通过风险融资的现金注入,Dgraph Labs公司将增强其图表数据库技术。 该公司成立于2015年,旨在推动图 […]
-
探索Hadoop发行版以管理大数据
Hadoop是一种开源技术,它也是数据管理平台,现在它通常与大数据分布相关联。它的创建者在2006年设计了原始 […]
-
SQL Server 2019改进Linux、容器支持
紧随其SQL Server 2016和2017版本后,微软正在准备发布SQL Server 2019,该公司在 […]
-
Cloudera-Hortonworks合并或将减少Hadoop用户的选择
近日大数据领域两家顶级供应商达成交易协议,这可能会影响Hadoop和其他开源数据处理框架,并使大数据用户的技术 […]