微软推出了“Evals for Agent Interop”这一开源工具包，旨在帮助开发人员和机构评估人工智能代理在各种真实的数字工作场景中的交互能力。该工具包提供了精心设计的测试场景、代表性数据集，以及相应的评估框架，开发团队可以利用这些资源在电子邮件、日历、文档协作工具等不同平台上对人工智能代理进行测试。这一举措反映了业界在人工智能系统被应用于企业工作流程后，越来越重视对这些系统进行系统性、可复现的评估。
那些基于大型语言模型构建自主智能代理的企业面临着一些传统测试方法无法解决的新挑战。这些智能代理的行为具有随机性，会深度集成到各种应用程序中，并在不同工具之间协同工作，因此仅依靠孤立的准确性指标是无法准确了解它们的实际性能的。在人工智能开发领域，尤其是企业环境中，智能代理的性能评估已经成为一项至关重要的任务——因为这些代理会直接影响企业的业务流程、合规性以及安全性。现代的评估框架不仅关注最终结果，还重视行为模式、上下文感知能力以及多步骤任务的执行效果。
“Evals for Agent Interop”工具包的目的是为开发团队提供一个可重复、透明的评估基准。该工具包附带了模板化的评估规范文件（以JSON格式提供，链接为：），以及用于检测代理是否遵循数据结构规范、工具调用是否正确的评估工具。同时，还有人工评估环节，用于评价代理的逻辑一致性及实用性等因素。该工具包最初主要针对涉及电子邮件和日历功能的测试场景进行设计，未来还会增加更丰富的评分机制、更多人工评估选项，并支持更广泛的智能代理应用场景。
微软还在该工具包中加入了排行榜功能，以便人们能够对比使用不同技术栈和模型变体构建的智能代理的性能。这一功能有助于企业直观地了解各种智能代理的相对表现，及早发现潜在的问题，在这些智能代理被大规模部署之前做出更加明智的决策。
该GitHub仓库以开源许可证的形式提供了相关的源代码。其中包含了进行测试所需的所有评估工具和组件，人们可以利用这些资源来对比不同智能代理的性能。该项目还提供了一个基础的评估框架，开发人员可以根据自己的具体需求调整评估标准，重新运行测试，从而观察智能代理在不同约束条件下的行为变化。<要开始使用，开发人员可以克隆“Evals for Agent Interop”这个仓库，运行其中包含的评估案例来为他们的代理程序建立基准数据，然后根据自己的工作流程定制评分标准与测试内容。该工具包以Docker Compose的形式提供了三个镜像文件，因此开发人员可以轻松地在本地环境中对其进行部署和测试。>