文章：用于生产型大语言模型的平台工程实践指南
在这篇文章中，作者讲述了自己在库存推荐系统中遇到的与AI智能体“幻觉现象”相关的问题，以及是如何通过将大语言模型技术视为一种平台基础设施而非应用程序来解决这一问题的。他还提出了建立一个共享型大语言模型平台的必要性，认为这样的平台应该配备诸如提示词注册与管理、版本控制机制、数据结构规范强制执行功能，以及能够根据请求动态分配令牌成本等通用服务。 作者：Aditya Mulik
在这篇文章中，作者讲述了自己在库存推荐系统中遇到的与AI智能体“幻觉现象”相关的问题，以及是如何通过将大语言模型技术视为一种平台基础设施而非应用程序来解决这一问题的。他还提出了建立一个共享型大语言模型平台的必要性，认为这样的平台应该配备诸如提示词注册与管理、版本控制机制、数据结构规范强制执行功能，以及能够根据请求动态分配令牌成本等通用服务。
作者：Aditya Mulik相关文章
演讲主题：在DoorDash平台上构建生成式人工智能系统
Swaroop Chitlur和Sidd Kodwani讲述了DoorDash在构建内部生成式人工智能平台过程中的经历。他们讨论了那些关键的架构决策，包括如何从依赖第三方供应商的方案转向使用开放源代码模型，如何处理大语言模型与智能代理之间的交互机制，以及如何在保证准确性的同时降低延迟并控制成本，以满足超过5,000名内部用户的实际需求。 作者：Siddharth Kodwani, Swaroop Chitlur
阅读全文
如何在Kubernetes环境中诊断并解决AI推理过程中的延迟问题
现在是星期四，大约两点二十分。两周前，你们的团队推出了一款内部辅助工具。测试效果还不错，以至于财务部门的某个人询问这种工具是否能够阅读合同文件。消息很快传开了，今天，所有人第一次同时使用这款工具。 支持渠道收到了同样的投诉，但这些投诉是以六种不同的方式表达的。是系统出现故障了吗？我的设备只是一直在循环加载中……今天早上它还能正常工作啊。有人发了一张显示加载指示器的截图，但没有附上任何说明文字，看来他们觉得这样挺有意思的。 于是你打开了控制面板。 所有节点都已准备就绪，容器也在运行中，CPU使用率仅为20%。没有发生重启现象，也没有进入崩溃循环状态，也没有任何警报被触发。根据Kubernetes
阅读全文
OpenAI推出了分类评估框架及相关案例研究，用于分析模型表现与预期目标之间的偏差。
OpenAI发布了一套用于识别模型在其生命周期中出现的偏差的披露框架。员工可以报告潜在的问题，这样技术人员就能对这些问题进行分类处理。最初的案例研究揭示了模型的一些异常行为，这些现象有助于我们了解模型参数与预期值之间的差异。公众对这一透明性举措的反应既有赞同，也存有疑虑。 作者：Olimpiu Pop
阅读全文
如何构建一个具备自我评估功能的人工智能系统：为大型语言模型应用开发自动化测试与评估流程
你将自己的AI功能部署出去，演示效果也确实不错，团队成员们都感到非常满意。然而，当有用户提出一些超出测试范围的问题时，模型却会给出完全错误的回答。 使用大型语言模型进行开发的现实是：传统的软件测试方法根本行不通。当你的系统每次运行都会生成不同的输出结果时，你根本无法使用“output == expected”这样的简单判断语句来进行测试。 大多数教程都会教你如何构建聊天机器人或设置RAG评估流程，但之后就戛然而止了。它们只会告诉你“将其部署到生产环境中”，仿佛最困难的部分已经结束了。但实际上，真正关键的是要判断你的AI模型是否真的有效，以及在它性能下降时及时发现这个问题。 在这篇文章中，我会带
阅读全文