Quesma推出了OTelBench，这是一个开源的基准测试工具包，旨在评估OpenTelemetry数据流的性能，以及人工智能代理在实现和维护可观测性配置方面的有效性。
该工具为评估可观测性基础设施的技术极限，以及大型语言模型在自动化站点可靠性工程任务中的效率提供了统一的框架。通过结合这两个领域，这个工具包旨在为平台工程师提供可验证的、基于数据的事实依据，帮助他们应对现代云原生监控所带来的复杂性。
该项目的初期重点在于测试OpenTelemetry数据流在高负载环境下的性能与稳定性。随着云环境不断产生越来越多的遥测数据，识别收集器中的性能瓶颈对于维护系统稳定性而言至关重要。OTelBench能够模拟各种流量模式，从而测量吞吐量、延迟和资源消耗等关键性能指标，这些指标是针对处理器和数据导出组件进行测试得出的。这使得团队能够在将更改部署到生产环境之前，验证其硬件需求和配置设置是否正确。
除了基础设施测试之外，该工具包还用于评估人工智能代理在处理数据分辨率与系统开销之间的权衡时的表现。虽然前沿模型在通用性方面表现出色，但最新的基准测试结果显示，在实际应用中，这些模型在完成生产级监控任务时仍存在显著不足。即便是最先进的模型，也常常会在上下文传播和分布式追踪方面遇到困难，在涉及OpenTelemetry规范中复杂方面的实际场景中，它们的成功率往往低于30%。
Quesma的创始人Przemysław Delewski在最近的一份声明中阐述了开发这个项目的初衷。他说：“我们最近开发了OTelBench，这个工具可以帮助人们比较不同配置环境下OpenTelemetry的性能。”如今，这个框架发挥了更广泛的作用——它提供了一个可重复的环境，用于测试自动化站点可靠性解决方案是否能够准确地进行监控工作，而不会产生格式错误的日志或导致系统无声无息地出现故障。
这个项目与一些更为传统的测试方法并存。例如，OpenTelemetry项目本身也会为其收集器组件维护内部基准测试工具。虽然工程师们过去常常使用k6或Gatling这类通用负载测试工具来模拟OTLP数据流，但这些工具通常无法像Qesma工具包那样提供对自动化功能的全面评估。由于这个基准测试工具具有客观性，因此它可以公平地用于测试各种针对开源后端框架（如Prometheus和Jaeger）开发的数据导出组件。
该工具通过自动化评估由人工配置的流程以及由人工智能驱动的系统机制，有效减少了验证基础设施变更所需的人工投入。无论相关配置是由开发人员还是算法生成的，用户都能更深入地了解内部缓冲与排队机制是如何应对突发流量激增情况的。这一功能有助于构建那些能够随后端服务的规模扩张而同步扩展的、稳健的可观测性框架，从而确保系统不会出现性能下降或数据丢失等问题。