Snowflake拥抱开源 全力支持Iceberg

日期: 2025-04-25 作者:Eric Avidon翻译:邹铮 来源:TechTarget中国 英文

在4月8号,Snowflake宣布全面支持Apache Iceberg表,现在他们支持外部存储的Iceberg表使用相同的查询性能、数据共享和治理功能,原本这些功能仅用于存储在Snowflake平台上的数据。

Apache Iceberg是一种开源表格式,用于在开放数据湖和湖屋中存储大型数据集。由于它是表格格式(用于整理信息的数据结构),而不是文件格式,Iceberg可以在数据文件之上提供元数据层,使其更容易管理数据和发现相关信息,以告知分析和AI应用程序。

Snowflake此前就允许客户在其平台使用Iceberg表,然而,存在局限性。

到目前为止,只有某些Snowflake核心功能(例如治理和安全)可用于Iceberg表,这迫使用户做出选择:是选择使用开放表存储数据带来的灵活性,还是选择在Snowflake中存储数据,以使用Snowflake平台的全部功能。

Constellation Research公司分析师Michael Ni表示,鉴于Snowflake和Iceberg的共同用户不再需要做出这种选择,Snowflake对Iceberg表的额外支持很重要。

他说:“这是Snowflake在试图权衡开放和专有化。Snowflake一直在试图实现与Iceberg相同的功能。现在他们说你不再需要再做出选择。这不仅仅是一项功能更新。这表明,Snowflake在开放格式上全力以赴。”

Snowflake是一家数据云供应商,像很多数据管理专家一样,在过去两年中扩展到AI开发领域。

全面支持

随着去中心化数据架构(例如数据网格)变得流行,用于在不同域中连接企业的数据操作,开放表格格式也变得越来越受欢迎,它可以在不同的系统中操作,而不必强迫用户复制数据。

此外,由于企业担心供应商锁定,开源工具提供了一种开发数据基础设施的方法,而无需与任何数据管理提供商密切合作。

主流开源表格格式包括Iceberg、Delta Lake和Apache Hudi,其中Iceberg最受欢迎。因此,很多数据管理供应商正在增加对Iceberg的支持,该开放表格式由Netflix于2017年设计,并于2021年作为Apache项目发布。

例如,Dremio、SingleStore和Starburst都允许用户在Iceberg表中存储数据。甚至Snowflake的竞争对手Databricks也增加了对Iceberg的支持,它帮助开发了Delta Lake,并继续提高其能力。

Snowflake在2022年引入了对Iceberg表的部分支持。现在,通过该供应商的开源Polaris Catalog,用户可以将Snowflake的所有计算能力、查询性能改进、数据治理、数据共享、数据安全和灾难恢复功能应用于Iceberg数据,无论存储在哪里。

Ni称:“真正的胜利是自由,你不需要锁定在Snowflake的格式中来利用Snowflake的最佳功能。…这正是现代数据团队所要求的功能。”

ISG Software Research公司分析师Matt Aslett指出,Snowflake增加了对Iceberg表的全面支持,基本上将存储在Iceberg表中的数据提升到与存储在Snowflake中的数据相同的状态,同时提供相同的特性和功能。

因此,对于Snowflake和Iceberg共同用户来说,这是重要的更新。

Aslett说:“提供更多功能是Snowflake对Iceberg现有支持的增量改进,同时这也为Snowflake用户提供更大的灵活性,且降低复杂性。”

Snowflake公司高级产品经理Saurin Shah表示,关于扩大对Iceberg表支持,客户反馈是驱动因素。

他说:“很明显,客户想要开放性。这为他们提供成本效益、简单性,并且,在很多方面,为他们提供灵活性,以选择最适合其业务的功能,而无需担心供应商锁定。”

有些企业更喜欢将数据存储在Snowflake中,使用该供应商的原生表,因为这简化他们的数据架构。然而,Shah继续说,其他人更喜欢开源存储,这样他们就可以跨领域集中数据,并更好地实现跨系统的互操作性。

他表示:“我们的目标不是推动其中一个,而是为了赋予客户选择权,以便他们能够以最能满足他们需求的方式进行架构。”

虽然对Snowflake和Iceberg共同用户来说很重要,但将数据管理功能完全应用于Iceberg表和其他开源表格式并不是新鲜事。

Dremio和Starburst等供应商也与Iceberg密切相关,基本上在Iceberg湖屋顶部开发他们的平台,而Databricks则与Delta Lake密切合作。

Ni说:“Snowflake正加入市场其他领导者的行列,支持和拥抱开放格式。他们说,’我们不仅仅是一个仓库;我们是你们开放生态系统的一部分。’这就是市场现在的预期——默认开放。”

Aslett同样表示,在支持Iceberg表的数据管理供应商中,Snowflake并不独特。然而,供应商之间的支持各不相同,有些供应商提供部分支持(就像Snowflake到目前为止所做的那样),而另一些则提供更完整的支持。

Aslett称:“所有数据平台提供商都在增加对Apache Iceberg的支持,但可用支持的广度和深度确实各不相同。Snowflake属于更激进的提供商队列,他们将Iceberg表作为其平台的核心元素,与其原生表格格式并列。

下一步

Shah表示,Snowflake对Iceberg表的全面支持在于,该供应商试图使企业数据更容易用于分析和AI驱动分析。

Snowflake的年度用户会议将于6月2日至5日举行。在此次会议上,该供应商计划推出新功能,旨在使客户能够开发和维护在可信数据上训练的AI模型和应用程序。

Shah说:“我们专注于帮助企业最大限度地发挥其AI投资的潜力,从利用其所有数据来推动这些计划的能力开始。”

 

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

翻译

邹铮
邹铮

相关推荐