Alluxio将数据目录引入数据编排平台

日期: 2020-03-16 作者:Sean Michael Kerner翻译:邹铮 来源:TechTarget中国 英文

数据编排供应商Alluxio公司发布其同名平台新版本2.2,其中集成了新的数据目录和转换服务,以帮助企业改善数据管理。

目前Alluxio 2.2已经正式发布,提供开源社区版和企业版。这家位于加利福尼亚州圣马特奥的供应商将其新功能归类为“结构化数据服务”,并扩展了现有的Alluxio平台功能,以更好地实现数据管道。现在数据目录功能已成为企业越来越重要的功能,他们试图提供不同的数据集以用于分析和商业智能用例。

451 Research分析师Paige Bartley说,考虑到多云和混合架构的趋势,去耦计算和存储的效率并不总是易于优化。

Bartley说:“我们看到越来越多的情况是,数据并没有存储在计算发生的地方,而是存储在不同的地方。尽管这提供灵活性,但也会导致某些效率低下。”

Bartley补充说,Alluxio结构化数据服务旨在应对这一挑战,其目标是抽象化。她说,通过利用结构化的数据目录提供更统一的元数据层,可以更好地优化查询,从而帮助企业跨各种IT架构执行数据见解计划。

Alluxio数据目录可改进数据编排

根据Alluxio公司首席执行官Steven Mih的说法,数据存储和SQL查询框架(例如Apache Spark和Presto)并不一匹配。他解释说,SQL查询框架依赖于数据库模式、行和表,而数据存储通常只是提供以最低成本保存数据的能力。Alluxio旨在作为数据存储和SQL框架之间的中间层,以帮助彼此连接,从而实现数据编排。

Mih说,他的公司已经有多个组件来实现数据编排,包括数据管理和缓存功能,以帮助移动数据。通过使用新的数据目录,现在还可以连接到数据的元存储,例如Apache Hive或AWS Glue。

Mih说:“现在通过Alluxio数据目录,你只需连接到Alluxio,该目录就可以连接所有数据。”

Alluxio工程副总裁Aseem Rastogi表示,数据目录反映了元数据存储中可用的内容,并确保它们保持同步。因此,他补充说,任何SQL查询都可以通过Alluxio访问最新数据,就像直接将其连接到元数据一样。

转换服务使数据更有用

Alluxio还添加了数据转换服务。根据Mih的说法,该服务可以将任何格式存储的数据转换为SQL框架可用的格式,以便更轻松地进行查询和分析。

转换服务包括几个组件,其中包括将较小的数据文件合并为较大的文件以进行更优化的计算的服务。还具有处理CSV文件的功能,该功能通常用于电子表格。Mih表示,转换服务可以将CSV文件转换为Parquet格式,非常适合SQL查询框架和业务分析。

数据转换的想法通常与ETL技术相关联,尽管Alluxio并没有这样定位其服务。Rastogi说,通过传统的ETL,数据是根据业务逻辑进行转换,而Alluxio的重点是优化计算。

Rastogi说,该数据编排平台供应商将在未来版本中继续优化数据访问和可用性功能。

Rastogi说:“我们的想法是在计算框架需要时提供可用的数据,适当数量的数据。”

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

翻译

邹铮
邹铮

相关推荐

  • Java、JDBC和Postgres

    现在越来越多的企业开始部署PostgreSQL,为什么呢?当你看到这个许可开源数据库所提供的功能,你就不会对此 […]

  • 5个元数据管理最佳实践

    在数据驱动的环境中,元数据不仅仅是数据的副产品;还是综合数据治理战略的关键组成部分。企业需要适当的元数据管理, […]

  • Cockroach Labs增加矢量搜索,更新定价选项

    Cockroach Labs 近日推出矢量搜索功能,旨在使客户能够访问和操作非结构化数据,以训练生成式人工智能 […]

  • 如何使用数据治理成熟度模型

    如果没有强大的数据治理,数据就无法产生有价值的见解以及改善决策。数据治理成熟度模型可帮助企业评估当前的成就水平 […]