MongoDB最近宣布,在MongoDB Atlas上公开测试其嵌入与重排序API。这一新API使开发人员能够在托管式的云数据库中直接使用Voyage AI的搜索模型,从而让他们能够在同一个集成环境中创建语义搜索、人工智能辅助工具等功能,并实现统一的监控和计费机制。

这一功能将构建人工智能检索系统所需的所有组件整合到了一个平台上。据MongoDB称,这一新API与具体的数据库类型无关,可以集成到任何技术栈或数据库中。它专为那些致力于开发基于检索功能的人工智能系统的团队设计——无论是语义搜索、RAG系统,还是人工智能助手。MongoDB的高级技术产品营销经理Thibaut Gourdel和员工产品经理Wen Phan共同撰文指出:

“如今,构建人工智能检索系统意味着需要将各种数据库、向量搜索工具以及检索模型提供商结合起来使用,而这些工具每一项都会增加运营的复杂性。为了解决这个问题,我们推出了MongoDB Atlas上的嵌入与重排序API。”

MongoDB Atlas上的嵌入与重排序API

来源:MongoDB官方博客

旧金山举办的活动中,还有一个重要的公告:Voyage 4系列模型现已上市。该系列包括四种不同的模型:voyage-4-large、voyage-4、voyage-4-lite以及开放源代码的voyage-4-nano。与之前的嵌入模型不同,Voyage 4提供的文本嵌入模型使用相同的嵌入空间,因此团队可以使用voyage-4-large模型存储数据,然后使用任何一种Voyage 4模型来执行查询操作。

此外,在社区版中,向量搜索中的自动嵌入功能已经处于公开测试阶段;而MongoDB向量搜索的词汇预过滤器也正处于公开测试阶段。这些功能为开发人员提供了文本分析、地理分析工具,以及强大的向量搜索功能。Deepak Goyal在LinkedIn上评论道:……

昨天,我花了3个小时来调试我们向量存储系统中存在的12小时同步延迟问题。这种“同步延迟”几乎是目前每个AI团队都在面临的难题。如果你的数据已经过时了24小时,那么你的检索系统就根本算不上“智能”——它只不过是一个索引完善的档案库而已。通过整合各种数据处理流程,我们看到了明显的改进效果。专门的向量存储技术如今越来越像是AI领域中的“外部GPU”:虽然功能强大,但在90%的实际应用场景中,“集成式解决方案”在速度和便捷性方面仍然更具优势。

这些嵌入模型支持256到2048不等的不同维度,并且支持量化处理,这使得开发者能够根据实际需求在准确性、成本和速度之间进行平衡。除了通用模型之外,Voyage还提供了专为特定领域设计的功能选项,例如针对整篇文档的分析、多模态数据的处理,以及多步骤搜索系统中的重新排序功能。Gourdel和Phan指出,虽然MongoDB Atlas已经具备了内置的向量搜索功能,但新的API使得这些功能的使用更加简单方便。

这对于构建实际的AI系统来说至关重要。要扩展大语言模型应用程序的功能,就必须能够在适当的时间提供正确的上下文信息,而这意味着需要将运营数据与高性能搜索技术紧密地结合起来。

自从MongoDB在近一年前宣布收购Voyage AI以来,社区一直都在期待着Voyage AI的技术能够被集成到MongoDB Atlas中,同时也有人对此表示怀疑。目前,Voyage AI的功能已经成功整合到了MongoDB Atlas中。

目前,“嵌入模型”和“重新排序API”还处于测试阶段。“Voyage AI快速入门”教程以Python笔记本的形式发布在GitHub上,你可以通过这个链接访问它。

Comments are closed.