如何在AWS上构建一个可扩展的无服务器RAG管道系统

这两种方式最终生成的堆栈配置是相同的。只不过通过AWS Marketplace进行部署时，CloudFormation模板会被封装成一个一键可完成的部署流程而已。

先决条件

在开始部署之前，你需要准备以下内容：

• 需要一个具有创建CloudFormation堆栈、Lambda函数、S3存储桶、DynamoDB表以及Cognito用户池权限的AWS账户。如果您使用的是管理员账户，那么这些权限已经满足要求。

• 需要具备访问Bedrock模型的权限：RAGStack默认使用us-east-1区域，因为该区域提供了Nova Multimodal Embeddings服务。亚马逊自家的模型（包括Nova）在Bedrock中也是默认可用的，无需手动启用。只需确保您的IAM角色具有必要的bedrock:InvokeModel权限即可。

• 对于访问Marketplace资源而言，只需要一台网页浏览器即可。

• 对于处理源代码而言，需要Python 3.13及以上版本、Node.js 24及以上版本、配置好的AWS CLI和SAM CLI，以及用于构建Lambda函数的Docker环境。

通过AWS Marketplace进行部署

这是最快的部署方式——无需使用任何本地工具、CLI或Docker。您只需在大约10分钟内完成CloudFormation堆栈的配置并启动相应的部署流程即可。

步骤1：启动堆栈创建流程

点击直接部署链接，即可打开预装有相关模板的CloudFormation“快速创建堆栈”页面。

步骤2：填写两个字段

虽然页面上有很多设置选项，但您只需要填写两个字段即可：

• 堆栈名称：必须使用小写字母进行命名。这个名称将会作为您所有AWS资源的前缀（例如my-docs、team-kb、project-notes）。请保持名称简短。

• 管理员邮箱：该字段属于“必填设置”项。Cognito会将临时登录凭据发送到这个邮箱地址，请使用您当前可以访问的邮箱地址。

其他所有选项，如构建选项、高级设置、OCR后端配置以及模型选择等，都可以保持默认值。这些选项以后可以根据需要进行自定义调整，但默认设置已经能够满足基本需求。

步骤3：开始部署

滚动到页面底部，确认“功能与转换”选项下的三个复选框都已选中，然后点击创建堆栈按钮。

部署过程大约需要10分钟。如果您感兴趣，可以在CloudFormation事件页面上查看部署进度，但在堆栈状态变为CREATE COMPLETE之前，您无需进行任何操作。

步骤4：登录系统

当部署完成后，请检查您的邮箱。Cognito会发送 dashboard的访问地址和临时密码给您。登录后设置新的密码，然后您就可以使用这个空的dashboard来管理文档了。

从源代码进行部署

如果您想自定义处理流程、修改用户界面，或者为该项目做出贡献，那么请选择从源代码进行部署。

步骤1：克隆并设置环境

git clone https://github.com/HatmanStack/RAGStack-Lambda.git
cd RAGStack-Lambda

python -m venv venv
source venv/bin/activate  # 在Windows系统中：venv\Scripts\activate
pip install -r requirements.txt

步骤2：进行部署

publish.py脚本会完成所有工作：构建前端界面，打包Lambda函数，并通过SAM CLI进行部署。

python publish.py \
  --project-name my-docs \
  --admin-email admin@example.com

默认情况下，Nova Multimodal Embeddings会使用us-east-1区域进行部署。该脚本会构建React控制面板，生成Web组件，使用Docker打包所有的Lambda函数层，然后通过SAM部署CloudFormation堆栈。

首次部署需要较长时间（15到20分钟），因为所有内容都是从零开始构建的。后续的部署速度会更快，因为SAM会缓存那些没有发生变化的资源。

如果您只想要修改后端代码而不需要生成用户界面，可以执行以下命令：

# 跳过控制面板的构建过程（但仍然会生成Web组件）
python publish.py --project-name my-docs --admin-email admin@example.com --skip-ui

# 完全跳过所有用户界面的构建过程
python publish.py --project-name my-docs --admin-email admin@example.com --skip-ui-all

部署完成后，您将获得与在Marketplace上使用的相同的Cognito邮箱地址以及控制面板访问链接。

上传您的第一份文档

该控制面板提供了针对不同类型内容的标签页。我们先从“文档”标签页开始操作，因为这是最常用的功能。

文档

点击文档标签页，然后上传文件。RAGStack支持多种文件格式：PDF、DOCX、XLSX、HTML、CSV、JSON、XML、EML、EPUB、TXT以及Markdown。您可以直接拖放文件，也可以使用文件选择器来上传文件。

文件上传成功后，它就会进入处理流程。您可以实时看到处理进度更新：

1. 已上传：文件已接收并存储在S3服务器上。

2. 正在处理：Step Functions系统已经接收到文件，并将其转发给相应的处理程序。文本格式的文件（如HTML、CSV、Markdown）会直接被提取内容；扫描后的PDF文件和图片则会通过Textract OCR技术进行识别；大型语言模型则会分析文件内容，提取结构化元数据、主题、文档类型、提及的人名、时间范围等相关信息。

3. 已建立索引：文件的嵌入信息已经生成，向量数据也已存储完毕，现在就可以通过该控制面板进行搜索了。

文本文档通常在1到5分钟内就能完成处理。而对于那些包含大量OCR内容的文档（如扫描后的PDF文件或带有文字的图片），处理时间会根据页数不同而有所变化，一般在2到15分钟之间。

图片

图片选项卡的工作方式有所不同。您可以上传JPG、PNG、GIF或WebP格式的图片，并为其添加说明文字。无论是图片本身还是说明文本，都会通过Nova多模态嵌入技术被嵌入到系统中，因此您既可以依据图片内容进行搜索，也可以根据所添加的描述来进行查询。

正是这种多模态嵌入技术发挥了其作用。传统的仅基于文本的RAG处理流程要求用户手动为每张图片编写描述；而在这里，图片本身就具备了可搜索性。而且由于所有数据都存储在您的AWS账户中，因此您无需将个人照片或敏感的视觉内容发送到外部服务进行处理。

视频和音频文件呢？

如果您上传了视频或音频文件，RAGStack会通过AWS Transcribe将其转换为文本。转换后的文本会被分割成每段30秒的长度，并标注出说话者的身份信息，然后像其他文档一样被嵌入到系统中。当聊天结果中提到了某个视频来源时，系统会提供时间戳链接，让您可以直接跳转到录像中的相应位置。

网络爬取

爬取选项卡允许您直接将网页内容导入知识库中。只需输入一个URL地址，RAGStack就会自动浏览该页面、提取其中的内容，并将其通过与上传文档相同的处理流程进行进一步处理，包括元数据提取、嵌入以及建立索引等。

这种方法非常实用，因为它可以让您无需手动保存和上传网页内容，就能直接从现有的网络资源中构建知识库。无论是文档网站、博客存档还是参考资料，只要这些内容是公开可访问的，都可以使用这个功能。

与知识库进行交互

这才是真正的价值所在。当您进入聊天选项卡并输入问题时，RAGStack会从您的知识库中检索相关文档，将这些文档作为上下文传递给Bedrock大型语言模型，然后生成包含来源引用的答案。

这些引用信息是可以展开查看的，点击即可了解哪些文档为生成答案提供了依据，同时还可以下载这些原始文件。对于视频和音频资料，系统还会提供可点击的时间戳链接，让您可以直接跳转到相关内容的位置。