Neo4j增加矢量搜索以改善生成AI输出

日期: 2023-09-11 作者:Eric Avidon翻译:邹铮 来源:TechTarget中国 英文

Neo4j在其核心数据库功能中添加了矢量搜索和矢量存储,以帮助客户从语义搜索和生成AI应用程序中获得更好的结果。

此外,该供应商试图通过添加矢量搜索和存储作为核心功能,以减少人工智能“幻觉”,这是指人工智能产生的不准确和误导性反应。

矢量搜索是一种搜索非结构化数据(例如文本和图像)的方法,通过为这些数据分配数字表示以赋予其结构。当分配一个数值后,非结构化数据就可以用于语义搜索,因此用户可以使用近似最近邻算法找到类似的数据,并最终对类似的数据进行建模,为决策提供信息。

关键字搜索同样会尝试发现类似的数据。然而,根据Neo4j的说法,矢量搜索可提供更快更相关的结果。

此外,客户可以通过使用向量来索引以前的非结构化数据,从而提高生成 AI 模型和语义搜索的准确性。语言模型和语义搜索通常倾向于支持最近的数据,而用户可以应用这些索引数据来提高准确性,这些索引数据原本可能被生成AI模型和语义搜索忽略。

Neo4j总部位于加利福尼亚州圣马特奥,是一家图形数据库供应商,其平台使客户能够以不同于传统关系数据库的方式访问和使用数据。

图形数据库简化了数据点之间的连接,使它们能够一次连接多个其他数据点,以更快地发现和合并来自多个源的数据,并加快将数据转化为见解和操作的过程。而在关系数据库中,数据点一次只能连接到另一个数据点。

除Neo4j之外,TigerGraph也是图形数据库专家,而包括AWS和Oracle在内的科技巨头也提供图形数据库。

新功能

在6月,Neo4j推出了与谷歌Vertex AI的集成,使用户能够通过生成AI改进他们的知识图谱。

通过这个集成,Neo4j客户现在可以使用自然语言与知识图谱进行交互,而无需使用代码,还可以使用Vertex AI将非结构化数据转换为知识图谱,使用生成AI丰富现有知识图谱,并验证来自大型语言模型(LLM)的响应,以确保幻觉不会导致基于错误数据的决策。

基于通过与Vertex AI集成以及通过与OpenAI、微软和AWS的持续关系而添加的生成AI功能,Neo4j于8月22日在其核心数据库功能中添加了矢量搜索。

矢量搜索本身并不是一种生成AI功能。但它提高了生成式 AI 模型和语义搜索的准确性。

Constellation Research分析师Doug Henschen表示,出于这个原因,矢量搜索是Neo4j核心功能的重要补充。

他表示:“在数据库供应商和客户中,显然有一种广泛的意识,即在客户已经用来管理数据的数据库中,矢量搜索功能应该是其中中的一项功能。此功能将使Neo4j客户有机会了解和提高语义搜索和生成AI功能的准确性。”

然而,Henschen继续说道,Neo4j并不是唯一添加矢量搜索的供应商。

鉴于矢量搜索提高语义搜索和生成AI应用程序的准确性,并且LLM(例如ChatGPT和Google Bard)有时会产生幻觉并受到安全风险的影响,很多数据库供应商正在将矢量搜索作为核心功能。

Henschen指出,阿里巴巴、AWS、Cassandra、Cockroach Labs、DataStax和Dremio已经将矢量搜索添加到其数据库功能中,并且更多的供应商正在开发矢量搜索功能。

他表示:“Neo4j发布此功能意味着他们正加入这个快速扩张的数据库和数据平台公司阵营,这些公司最近已经或即将发布与矢量搜索相关的公告。”

该供应商的首席产品官Sudhir Hasbe表示,Neo4j必须做出的关键决策之一是,是使其现有数据库具有矢量搜索和存储核心功能,还是开发专门用于矢量搜索和存储的新数据库。

在认识到人们对生成式AI日益增长的兴趣后,Neo4j咨询了十几个主要客户,并征求他们关于如何整合生成式AI的意见。

Hasbe说,这些客户告诉该供应商,他们想使用自然语言来向他们的知识图谱提问题。他们希望Neo4j允许他们与生成AI供应商集成。他们希望他们的生成AI模型具有矢量存储提供的长期记忆,而不是仅使用最新数据进行训练。

他们希望这一切都集中在一个地方。

Hasbe 称:“我们需要确定的是,矢量数据库是否应该是不同的类别,还是它应该是现有数据库的功能。根据客户反馈,将矢量搜索作为我们数据库的功能之一是有意义的,你可以在其中获取显式关系和隐含的相似性,并将它们组合为单个用例。矢量数据库与现有数据库分布在不同的环境似乎不是正确的解决方案。”

未来计划

根据Hasbe的说法,在最近与Vertex AI集成并增加矢量搜索和存储之后,Neo4j计划继续添加生成AI功能。

矢量搜索和存储建立在与Vertex AI集成的基础上,通过添加相似性搜索和矢量存储到谷歌提供的非结构化数据转换功能,这可增强通过该集成新增的功能。

Hasbe指出,其主要目标之一是通过与OpenAI 的生成AI系统、Azure OpenAI和AWS Bedrock密切合作,保持平台不可知性,就像与Vertex AI一样。

他表示:“我们想让这些功能无处不在。”

Hasbe继续说道,另一个目标可能是开发一个文本到密码的工具。

Cypher是Neo4j的图形查询语言。正如Monte Carlo和Dremio等供应商已经构建文本到SQL工具,可将自然语言转换为SQL代码一样,Neo4j正在考虑开发一种将自然语言转换为Cypher代码的工具。

根据Hasbe的说法,除生成AI之外,Neo4j还专注于与所有主要的云数据平台集成。

他表示:“我们所有的客户都在迁移到云端,因此确保我们所有的产品都在所有云平台上,并与所有云提供商以及领先的数据平台完全集成是一个重中之重。”

与此同时,Henschen指出,多云焦点对Neo4j很重要。

具体来说,他说他希望Neo4j能够增加AuraDB的多云和跨云功能,AuraDB是该供应商完全托管的图形数据库服务。

此外,他指出,Neo4j继续为Graph Data Science(该供应商的机器学习工具)添加功能是明智的做法,以便更多地使用生成AI。

他表示:“对矢量搜索的支持是开始。但是,要利用生成式人工智能来支持开发、优化、分析等并使其民主化,还有更多工作要做。”

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

翻译

邹铮
邹铮

相关推荐