演讲主题：运用人工智能技术激发移动设备用户的创造力与探索欲
Bhavuk Jain探讨了如何将基础人工智能技术转化为可扩展的移动产品。他详细介绍了开发“AI壁纸”功能以及“Circle to Search”工具过程中所遇到的工程挑战，说明了如何建立可靠的运行时防护机制、进行模型微调以及实现与操作系统的无缝集成。对于工程领域的领导者来说，他指出了在确保用户体验的同时，如何平衡模型响应延迟与基础设施成本问题，从而推出安全、可靠的人工智能产品。 作者：Bhavuk Jain
Bhavuk Jain探讨了如何将基础人工智能技术转化为可扩展的移动产品。他详细介绍了开发“AI壁纸”功能以及“Circle to Search”工具过程中所遇到的工程挑战，说明了如何建立可靠的运行时防护机制、进行模型微调以及实现与操作系统的无缝集成。对于工程领域的领导者来说，他指出了在确保用户体验的同时，如何平衡模型响应延迟与基础设施成本问题，从而推出安全、可靠的人工智能产品。
作者：Bhavuk Jain相关文章
演讲主题：25万亿枚代币究竟揭示了什么？这些数据能帮助我们了解开发者们实际上是如何运用人工智能代理技术的。
Brendan O’Leary探讨了现实世界中人工智能的普及程度实际上取决于人们是否能够建立起对相关技术的信任，而非仅仅追求各种模型评估指标。他利用多达40万亿条使用数据，详细解释了人工智能普及过程中的四个关键阶段，并分析了在信息构建、多模型协同处理以及反馈机制等方面可能出现的故障点，这些分析有助于工程领域的领导者成功推进基于人工智能的工作流程的规模化应用。 作者：Brendan O’Leary
阅读全文
演讲主题：在DoorDash平台上构建生成式人工智能系统
Swaroop Chitlur和Sidd Kodwani讲述了DoorDash在构建内部生成式人工智能平台过程中的经历。他们讨论了那些关键的架构决策，包括如何从依赖第三方供应商的方案转向使用开放源代码模型，如何处理大语言模型与智能代理之间的交互机制，以及如何在保证准确性的同时降低延迟并控制成本，以满足超过5,000名内部用户的实际需求。 作者：Siddharth Kodwani, Swaroop Chitlur
阅读全文
如何使用TypeScript从零开始构建一个AI代理程序
许多关于AI代理的教程都是从语言模型开始讲起，为它提供一些工具，然后让它运行循环直到产生答案。这样的做法确实足以展示这些工具的使用方法，但却没有回答那些有趣的工程学问题。 当某个工具出现故障时会发生什么？谁来验证这些操作的结果？是什么机制能防止代理无限期地运行、执行不安全的命令，或者耗尽其上下文信息？又如何在不依赖模型不可预测的响应的情况下测试这些功能呢？ 这些职责都属于 代理框架 ——也就是位于语言模型与其所运行的环境之间的那层软件。 在本次教程中，我们将使用TypeScript来构建一个小型且与具体工具提供商无关的代理框架，并以编码代理作为示例进行讲解。我们会从基本的执行循环开始，逐步添加
阅读全文
演讲主题：超越原型阶段：利用Ray构建具有通用扩展性的AI智能体基础设施
演讲者们讨论了如何将人工智能代理从本地FastAPI原型转换为在Kubernetes上运行的、具备高可靠性的生产系统，并且这些系统是使用Ray技术实现的。他们分享了关于RayCluster的拓扑结构、状态存储机制、如何在动态流量环境下实现自动扩展，以及如何设计稳健的控制平面等方面的经验；同时，他们也重点介绍了一些关键的保护措施、多区域部署方案，以及将大语言模型用于评估系统的流程。 作者：Deepak Mohanakumar Chandramouli, Bhumik Vinodkumar Thakkar
阅读全文