← 返回蜂巢洞察

面向初学者的向量数据库入门课程——嵌入技术、相似性搜索以及ChromaDB的使用方法

向量数据库将数据存储为被称为“嵌入向量的数字列表”,这种存储方式使得它能够根据数据的含义进行搜索,而无需精确匹配关键词。许多推荐系统、RAG应用程序以及AI代理的背后都离不开这一技术。 我们刚刚在freeCodeCamp.org的YouTube频道上发布了一门全面的课程,该课程将教你了解向量数据库的工作原理,内容从数学基础讲起,最终会让你完成一个实际的语义搜索项目。这门课程由codeEdx提供,其讲师拥有15年的软件工程经验,其中最近四年还担任过首席AI工程师。学习这门课程不需要任何先验知识。 在这门课程中,你将学到以下内容: 向量与相似性计算 了解什么是向量,以及余弦相似度和欧几里得距离是如

向量数据库将数据存储为被称为“嵌入向量的数字列表”,这种存储方式使得它能够根据数据的含义进行搜索,而无需精确匹配关键词。许多推荐系统、RAG应用程序以及AI代理的背后都离不开这一技术。

我们刚刚在freeCodeCamp.org的YouTube频道上发布了一门全面的课程,该课程将教你了解向量数据库的工作原理,内容从数学基础讲起,最终会让你完成一个实际的语义搜索项目。这门课程由codeEdx提供,其讲师拥有15年的软件工程经验,其中最近四年还担任过首席AI工程师。学习这门课程不需要任何先验知识。

在这门课程中,你将学到以下内容:

  • 向量与相似性计算
    了解什么是向量,以及余弦相似度和欧几里得距离是如何用来衡量两组数据之间相似程度的。
  • 标记符与分词机制
    理解为什么AI模型无法直接处理原始文本,以及分词工具是如何将“indivisible”这样的单词分解成多个标记符的。
  • 嵌入向量与嵌入模型
    领会文本是如何被转化为能够捕捉其含义的向量的,其中会通过“国王减去男人加上女人等于女王”这个经典例子进行讲解。
  • 使用Gemini生成嵌入向量
    观看使用谷歌Gemini嵌入模型的现场演示,然后通过主成分分析将结果以3D形式可视化。
  • 向量数据库的内部结构
    探索向量数据库的存储机制、索引系统以及查询处理流程,了解IVF和HNSW索引是如何避免繁琐的暴力搜索操作的。
  • 使用ChromaDB进行语义搜索
    创建Chroma客户端和数据集合,存储嵌入向量,并运行能够基于文本含义返回结果的查询。

你可以在freeCodeCamp.org的YouTube频道上观看这门完整的课程(时长为1.5小时)。

相关文章

技术实践

了解模型上下文协议(MCP)的安全机制

MCP架起了您的AI应用与外部工具之间的桥梁,使这些应用能够发送Discord消息、读取您的电子邮件,并与您的环境进行交互。然而,这种功能上的巨大提升也伴随着严重的安全隐患。 由于任何人都可以构建并开源MCP服务器,因此盲目地将这些服务器集成到自己的系统中可能会导致严重的安全漏洞。为了帮助您应对这一挑战,我们刚刚在 freeCodeCamp.org 的YouTube频道上发布了《MCP安全基础课程》。 这门为期2小时的全面课程将帮助您了解MCP是什么、它所带来的风险,以及如何安全地使用它。 在本课程中,您将学习到以下内容: MCP的基础知识 MCP的定义、工作原理,以及它为何正在改变AI应用的

阅读全文
技术实践

在PostgreSQL中构建混合搜索引擎:BM25算法与向量检索技术的结合应用

大多数应用程序的搜索功能都不得不在两种方案之间做出取舍:要么使用简单的文本过滤机制,要么像Elasticsearch那样搭建独立的搜索系统,并配置复杂的同步流程。 在freeCodeCamp.org的YouTube频道上,我制作了一门新的视频课程,演示了如何在PostgreSQL中构建一套完整的、适用于生产环境的搜索系统。通过将词汇匹配技术与高维向量嵌入技术结合到同一个数据库中,我们既可以消除对外部服务的依赖,又能确保搜索索引满足ACID规范的要求。 搜索查询通常需要两种不同的检索方式: "Apollo 13" 这样的精确查询需要关键词与数据内容进行精准匹配,而这种处理方式正是关键词引擎的强项

阅读全文