近日Confluent公司发布Confluent Platform 6,此次更新为这个开源Apache Kafka事件流平台带来新的功能。
在8月24日举行的Kafka Summit虚拟会议期间,这家流处理供应商发布了该更新,但并没有透露何时正式发布。
在该平台最新版本中,增强功能包括ksqlDB事件流数据库,该数据库于2019年11月首次引入。
Confluent还集成了一系列可扩展性改进,这些改进统称为Project Metamorphosis。作为其可扩展性功能的一部分,Confluent在更新中添加了群集链接功能,旨在使用户更轻松地连接不同的Kafka事件流数据实例。
Confluent Platform 6蜕变
IDC分析师Stewart Bond说,Confluent Platform 6.0是Project Metamorphosis的第一个成果,并且还会添加更多功能。
Bond说:“Confluent Platform 6.0在围绕Kafka添加功能,这将使开发人员更容易构建云原生数据应用程序,并增加对实时流处理工作负载的部署。其实业务一直是实时,但是过去的技术局限性限制了实时计算。”
Kafka集群链接
关于新的群集链接功能,Bond指出,在较高的层次上,群集链接可能看起来像基本联结,但在底层却不只如此。
Bond指出,集群链接会保留整个集群的偏移量。在独立集群中,偏移量用于管理顺序,即数据消息传递给使用者的顺序,并确保使用者不会获得同一消息的多个副本。
Bond说:“偏移量在水平扩展的环境中非常重要,其中多个进程实例可以同时运行,并读取同一集群。通过集群链接,多个集群可以联结,数据可以在集群之间共享,并且通过保留偏移量,进程也可以在集群之间共享。”
群集链接使用Kafka二进制协议。Confluent公司集团产品经理Addison Huddy指出,通过集群链接,企业可以链接在不同云提供商和不同部署运行的Kafka集群。
Huddy说:“集群链接允许软件架构师创建Kafka全局网格。”
ksqlDB现已可用于生产环境
该ksqlDB技术是专门为Kafka事件流而构建的数据库。Confluent公司首席产品经理Michael Drogalis表示,Confluent Platform 6.0开始提供ksqlDB的两个最强大的功能:查询层和连接器管理。该平台更新本身尚未正式发布。
Drogalis解释说,查询层提供了低延迟接口来询问时间点问题。而连接器管理功能使用户可获取和同步数据—通过Confluent的100多个数据源连接器产品组合。
Drogalis说:“在过去的一年中,通过持续使用–我们的客户和我们自己的云业务,这两项功能都已经得到强化。KsqlDB已被用于构建物化视图和流化ETL(提取、转换、加载)管道,这两者对于构建现代应用程序都至关重要。”
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
翻译
相关推荐
-
Java、JDBC和Postgres
现在越来越多的企业开始部署PostgreSQL,为什么呢?当你看到这个许可开源数据库所提供的功能,你就不会对此 […]
-
5个元数据管理最佳实践
在数据驱动的环境中,元数据不仅仅是数据的副产品;还是综合数据治理战略的关键组成部分。企业需要适当的元数据管理, […]
-
Cockroach Labs增加矢量搜索,更新定价选项
Cockroach Labs 近日推出矢量搜索功能,旨在使客户能够访问和操作非结构化数据,以训练生成式人工智能 […]
-
如何使用数据治理成熟度模型
如果没有强大的数据治理,数据就无法产生有价值的见解以及改善决策。数据治理成熟度模型可帮助企业评估当前的成就水平 […]