← 返回蜂巢洞察

谷歌将开源环境质量监测工具AQuA，用于诊断人工智能应用中的故障问题

栏目 技术实践
分类 大数据
标签 情况 系统 出现 故障 leela

谷歌已将AQuA这一开源工具公开发布。该工具可用于分析实际应用环境中的人工智能代理系统的运行情况，识别反复出现的故障模式，并通过对比部署前的源代码版本来探究这些故障的根本原因。在进行了32次实验后，开发人员发现：在调整提示信息之后，乘客选择座位时绕过系统设定的规则的情况从15次减少到了2次；而乘客在填写饮食偏好信息时出现遗漏的情况也从7次降为零。 作者：Leela Kumili

谷歌已将AQuA这一开源工具公开发布。该工具可用于分析实际应用环境中的人工智能代理系统的运行情况，识别反复出现的故障模式，并通过对比部署前的源代码版本来探究这些故障的根本原因。在进行了32次实验后，开发人员发现：在调整提示信息之后，乘客选择座位时绕过系统设定的规则的情况从15次减少到了2次；而乘客在填写饮食偏好信息时出现遗漏的情况也从7次降为零。

作者：Leela Kumili

相关文章

技术实践

JioHotstar为AI编程代理建立了相应的基准测试知识库

JioHotstar评估了六种用于人工智能编程代理的代码检索方法，这些方法分别使用了SWE、CodeScale Bench以及内部开发的问答系统。在处理具体任务时，结构化搜索表现良好；而语义检索则在应对模糊或含糊不清的需求时发挥了重要作用。这些研究结果揭示了在准确性、代码片段的使用效率以及工具设计方面存在的权衡关系，同时也强调了根据不同的任务类型来选择合适的代码检索工具的必要性。 作者：Leela Kumili

阅读全文
技术实践

文章：正在接受测试的大语言模型可靠性指标：准确性、成功率以及验证方法的局限性

验证层是通过对输出结果进行信任度排序来处理数据，而不是直接修正错误。在针对六种不同可靠性机制的测试中，投票机制和自我纠正功能并未能够提升数据的准确性，它们仅仅只是过滤掉了那些可疑的数据记录而已。而在实际的生产系统中，通过用确定性查找方式替代数据生成过程、更加关注系统的产出效率而非纯粹的准确性，并在进行多重验证之前解决数据提取过程中出现的瓶颈问题，才能够显著提高系统的可靠性。 作者：Pushpdeep Mishra, Wejdan Bagais

阅读全文
技术实践

Cloudflare开发了用于保障后量子时代网络安全的公共证书颁发机构

Cloudflare正在开发用于Merkle Tree Certificates的公共证书颁发机构，以此降低后量子时代密码学应用所带来的带宽开销。在Chrome浏览器中进行的实验表明：对于某些选定的域名而言，当50%的Chrome Beta 146用户使用这种新的Merkle Tree Certificates时，系统性能平均提升了9%。不过，这种技术的广泛普及仍然取决于浏览器的支持情况、相关机制的透明度以及经过大规模生产环境验证后的实际效果。 作者：Leela Kumili

阅读全文