演讲主题:从数千种选择到唯一答案:利用大语言模型构建高效的筛选系统
Jendrik Jördening分享了将大语言模型集成到生产流程中的实际工程策略。他探讨了如何克服不确定性问题、如何对数据结构进行限制、如何将语义文本提取与确定性代码分离,以及如何利用鉴别模型来验证各种设计决策。此外,他还介绍了如何采用MVC架构来组织大语言模型的开发工作,从而确保数据库的完整性、系统的可观测性以及其可靠性。 作者:Jendrik Jördening

Jendrik Jördening分享了将大语言模型集成到生产流程中的实际工程策略。他探讨了如何克服不确定性问题、如何对数据结构进行限制、如何将语义文本提取与确定性代码分离,以及如何利用鉴别模型来验证各种设计决策。此外,他还介绍了如何采用MVC架构来组织大语言模型的开发工作,从而确保数据库的完整性、系统的可观测性以及其可靠性。
作者:Jendrik Jördening相关文章
如何使用TypeScript从零开始构建一个AI代理程序
许多关于AI代理的教程都是从语言模型开始讲起,为它提供一些工具,然后让它运行循环直到产生答案。这样的做法确实足以展示这些工具的使用方法,但却没有回答那些有趣的工程学问题。 当某个工具出现故障时会发生什么?谁来验证这些操作的结果?是什么机制能防止代理无限期地运行、执行不安全的命令,或者耗尽其上下文信息?又如何在不依赖模型不可预测的响应的情况下测试这些功能呢? 这些职责都属于 代理框架 ——也就是位于语言模型与其所运行的环境之间的那层软件。 在本次教程中,我们将使用TypeScript来构建一个小型且与具体工具提供商无关的代理框架,并以编码代理作为示例进行讲解。我们会从基本的执行循环开始,逐步添加
阅读全文
EmbeddingGemma 2的功能已不再局限于处理文本数据,现在它也能支持代码、图片、视频以及音频文件的处理。
基于Gemma 4技术开发而成,并采用Apache 2.0许可证进行发布,谷歌的EmbeddingGemma 2是一款体积小巧、开源的多模态嵌入模型。该模型的设计目的在于提升语义搜索与检索功能,同时优化增强型生成技术(RAG)的性能,使其更适用于设备端部署。 作者:Sergio De Simone
阅读全文
演讲主题:25万亿枚代币究竟揭示了什么?这些数据能帮助我们了解开发者们实际上是如何运用人工智能代理技术的。
Brendan O’Leary探讨了现实世界中人工智能的普及程度实际上取决于人们是否能够建立起对相关技术的信任,而非仅仅追求各种模型评估指标。他利用多达40万亿条使用数据,详细解释了人工智能普及过程中的四个关键阶段,并分析了在信息构建、多模型协同处理以及反馈机制等方面可能出现的故障点,这些分析有助于工程领域的领导者成功推进基于人工智能的工作流程的规模化应用。 作者:Brendan O’Leary
阅读全文
谷歌的反重力SDK增加了对本地模型的支持,从而提高了令牌使用的效率并增强了代码的隐私性。
谷歌在Antigravity SDK中加入了对本地模型的支持,这使得开发人员能够在自己的机器上直接构建和运行相关工作流程,同时也可以灵活地结合基于云的模型来处理更高级的任务。这种设计为开发人员提供了更大的控制权,使他们能够更好地管理数据隐私、推理成本、网络依赖性以及计算工作负载的分配。 作者:Sergio De Simone
阅读全文