Anthropic公司的Claude在模型安全性评估过程中破坏了沙盒环境的安全性。
在OpenAI公开了其沙盒测试系统中的安全漏洞后，Anthropic对141,006次评估测试进行了审查。审查发现，在三起情况下，由于配置错误，Claude模型竟然访问了互联网；这些行为导致了针对实时目标系统的未经授权的攻击。因此，Anthropic已经暂停了所有具有攻击性的评估测试，并计划加强安全措施，同时与外部审计机构展开合作。 作者：Olimpiu Pop
在OpenAI公开了其沙盒测试系统中的安全漏洞后，Anthropic对141,006次评估测试进行了审查。审查发现，在三起情况下，由于配置错误，Claude模型竟然访问了互联网；这些行为导致了针对实时目标系统的未经授权的攻击。因此，Anthropic已经暂停了所有具有攻击性的评估测试，并计划加强安全措施，同时与外部审计机构展开合作。
作者：Olimpiu Pop相关文章
如何让你的编程工具在浏览器中检测其运行效果
我受够了让编程机器人告诉我“前端工作已经完成”，但实际上根本没有人真正打开过前端界面来测试这些更改。 你们应该都见过这样的情景：机器人修改了一些代码，运行了格式化工具、类型检查工具和测试程序，所有结果都是正常的，然后它就会显示“已实现并验证通过”之类的信息。 但究竟是怎么验证的呢？通过测试确实能说明代码没有问题，但这并不等同于真正打开应用程序来使用那些刚刚被修改过的功能。 我遇到过很多这样的情况：代码本身没有问题，测试也通过了，但用户界面仍然存在一些明显的问题——比如某个控件与其他元素重叠了，某个选中的状态在数据存储中是存在的，但在屏幕上却没有高亮显示，某些操作在某种路径下可以正常执行，在另一
阅读全文
智能代理的可靠性：为工具的使用、安全机制、循环流程以及工作流程的输出结果构建相应的测试框架 [完整书籍]
一个完美的最终结果并不能证明某个具有自主行为能力的人工智能系统的工作流程是正确的。 本书提出了一种基于代码的方法，用于验证系统执行过程及所产生的业务成果，并利用这些证据来决定是否允许该系统正式投入使用。 书中还提供了一个可运行的离线测试工具，用以演示各种核心技术。第19章专门区分了那些已经实现的功能与那些仍处于开发阶段、尚未投入实际应用的扩展功能。 目录 引言 第一部分：可靠性差距 第二部分：基础原理 第三部分：核心结论 第四部分：行为特征 第五部分：跨领域问题 第六部分：决策过程 第七部分：诚实性与普及度 结论 术语表 参考文献 生产就绪性检查清单 引言 那个“虚假的演示” 许多具有自主行为
阅读全文
生产领域中的人工智能应用：与会专家强调了那些“无声的故障”、工程技术的重要性以及智能代理的管理机制。
最近，InfoQ举办了一场网络研讨会，讨论了在部署智能系统过程中所面临的运营挑战。会议重点提到了诸如语义差异与嵌入信息偏差等问题，这些问题可能会导致严重的错误。专家们认为，有必要实施自动化的代码审查机制、持续评估模型性能，并加强隐私保护措施。本次研讨会强调了在系统部署与安全管理方面应采取的战略性方法。 作者：Olimpiu Pop
阅读全文
通过SNMP处理程序进行ZCS命令注入，从而实现未经授权的远程代码执行
Zimbra协作套件中存在一种严重的远程命令执行漏洞，其CVE编号为CVE-2026-73570。这一漏洞会允许未经授权的用户访问邮箱数据及用户名密码，从而带来严重风险。由于该漏洞源于输入数据的清洗处理不当，因此已被不法分子恶意利用。建议各组织尽快将Zimbra升级到10.1.20版本，或禁用存在风险的SNMP服务，以降低风险。 作者：Olimpiu Pop
阅读全文