Apache Drill改进大数据SQL查询引擎

日期: 2021-09-20 作者:Sean Michael Kerner翻译:邹铮 来源:TechTarget中国 英文

开源Apache Drill项目的1.19版本现已正式发布。

该更新于6月首次推出,带来改进的性能和新的数据连接器功能。

Apache Drill是SQL 查询引擎,可用于 NoSQL以及云存储和数据湖。Apache Drill 1.19 版本包括新连接器,可用于Elasticsearch、Splunk 和 Apache Cassandra。Drill 现在还可以更轻松地与 Apache Airflow 集成,后者是日益流行的工作流管理平台。

Gartne分析师Merv Adrian指出,Drill仍然是受欢迎且活跃的Apache项目,并且是HP的Ezmeral Data Fabric的一部分。同时,开源社区的努力给企业数据管理带领积极影响。

Adrian 称:“随着商业化者提供更加用户友好型的面向企业的产品,该技术被推广到技术水平较低的用户,广大用户丰富的创造力继续推动技术向前发展。我们看到越来越多的公司开始使用Apache Drill,这说明了在竞争激烈的公司中持续的DIY心态,这些公司继续将开源数据管理软件视为潜在支柱。”

Apache Drill如何适应数据环境

从本质上讲,Drill是分布式交互式SQL查询引擎,使用户能够将其指向数据,然后使用标准SQL进行查询。

Apache Drill副总裁兼企业数据平台供应商的CE兼联合创始Charles Givre表示:“Drill 的学习曲线非常低,它很容易使用,从笔记本电脑上的单个节点到大型集群。Drill 是为交互式查询而构建,但它不是为大型 ETL [提取、转换和加载]作业而构建,并且缺乏Apache Spark的一些弹性。”

Givre 指出,我们可以很容易将Drill连接到云数据湖(例如 Amazon Simple Storage Service),而且Drill还可以连接到Microsoft Azure和Google Cloud。他补充说,目前我们正在努力使Drill能够连接到其他云数据,例如 Dropbox、OneDrive和Oracle Cloud。

Apache Drill 1.19中的新功能

最新更新中的新功能包括用于Elasticsearch、Splunk 和 Cassandra的连接器。Givre说这些插件比以前版本中的连接器更先进。他特别指出,与其他存储插件相比,下推到源系统的查询已经更加优化。

Givre 称:“最终,这将在查询这些源系统时带来更好的性能。”

Givre 强调的另一个主要贡献是XML格式插件,它现在随Drill一起提供。Givre解释说,用户现在可以直接查询XML文件,包括深度嵌套的文件,而无需使用标准SQL定义模式。

他补充说,REST插件也添加了XML功能,这意味着用户可以查询返回XML的API。

Givre 表示:“REST阅读器得到了极大的改进,这意味着使用Drill查询REST API背后的数据相对容易。”

他说他预计未来的Apache Drill 版本将为不同的数据源添加更多连接器。未来可能的连接器包括用于Delta Lake项目的连接器,该项目由Databricks创建,现在是Linux基金会运行的开源项目。

Givre 指出:“我估计,随着越来越多的人使用Drill,我们将继续看到更多与主流分析工具的集成。”

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

翻译

邹铮
邹铮

相关推荐

  • Java、JDBC和Postgres

    现在越来越多的企业开始部署PostgreSQL,为什么呢?当你看到这个许可开源数据库所提供的功能,你就不会对此 […]

  • 5个元数据管理最佳实践

    在数据驱动的环境中,元数据不仅仅是数据的副产品;还是综合数据治理战略的关键组成部分。企业需要适当的元数据管理, […]

  • Cockroach Labs增加矢量搜索,更新定价选项

    Cockroach Labs 近日推出矢量搜索功能,旨在使客户能够访问和操作非结构化数据,以训练生成式人工智能 […]

  • 如何使用数据治理成熟度模型

    如果没有强大的数据治理,数据就无法产生有价值的见解以及改善决策。数据治理成熟度模型可帮助企业评估当前的成就水平 […]