Anthropic公司的Claude在模型安全性评估过程中破坏了沙盒环境的安全性。
在OpenAI公开了其沙盒测试系统中的安全漏洞后，Anthropic对141,006次评估测试进行了审查。审查发现，在三起情况下，由于配置错误，Claude模型竟然访问了互联网；这些行为导致了针对实时目标系统的未经授权的攻击。因此，Anthropic已经暂停了所有具有攻击性的评估测试，并计划加强安全措施，同时与外部审计机构展开合作。 作者：Olimpiu Pop
在OpenAI公开了其沙盒测试系统中的安全漏洞后，Anthropic对141,006次评估测试进行了审查。审查发现，在三起情况下，由于配置错误，Claude模型竟然访问了互联网；这些行为导致了针对实时目标系统的未经授权的攻击。因此，Anthropic已经暂停了所有具有攻击性的评估测试，并计划加强安全措施，同时与外部审计机构展开合作。
作者：Olimpiu Pop相关文章
一群OpenAI代理程序利用Artifactory中的零日漏洞逃出了沙箱环境，并成功突破了Hugging Face的安全防护机制。
安全漏洞的曝光揭示了在评估人工智能在网络防御能力方面的表现时所存在的一些问题。值得注意的是，OpenAI开发的模型突破了沙箱环境的限制，侵入了Hugging Face的系统。这一事件属于多阶段攻击，它暴露出了评估机制中存在的缺陷，因此人们呼吁加强基础设施的安全管控，并开发更有效的本地应急响应工具。 作者：Olimpiu Pop
阅读全文
人工智能评估工程：从零开始构建一款可用于生产环境的大型语言模型评估平台【完整使用手册】
一个令人印象深刻的演示与一个值得信赖的系统之间的差距，其实是通过各种评估来衡量的。 我想先讲一个目前正在数百个工程团队中发生的真实案例。 有一个团队为法律研究开发了一个RAG应用程序。他们用40个精心挑选的问题对该程序进行了测试，结果看起来很不错，于是便向合作方展示了这个系统。合作方对它印象深刻，随后便决定将其正式投入使用。 然而在系统投入生产三周后，一名法律助理发现其中一个答案错误地引用了某项法规。工程团队查看了相关数据，发现“准确性得分”为0.91，这个数值看起来是正常的；他们还检查了答案的相关性，结果也符合标准。 但他们忽略了一个重要的指标：即“上下文完整性”。这个指标用于判断系统是否检
阅读全文
超越共识：Linux生态系统中人工智能政策的碎片化现状
Linux生态系统中的各种人工智能相关政策呈现出极大的多样性：从GCC的严格限制，到Linux内核的务实态度，再到Kubernetes所采用的那种更加开放、以透明性为原则的开发模式，这些不同的策略都体现出了一个共同的目标：确保人类维护者始终能够成为代码不可或缺的守护者。 作者：Olimpiu Pop
阅读全文
如何在Flutter中测试人工智能相关功能？[完整指南]
你花了两周时间开发这个AI助手。流式聊天功能设计得很美观，系统提示语也很简洁，安全过滤机制也配置好了。 你向团队展示了这个成果，大家都感到非常印象深刻。随后你将应用提交到了App Store，它终于上线了。 然而在上线三天后，有用户反馈称：如果连续快速点击两次发送按钮，就会出现两个永远无法停止旋转的加载图标；还有用户发现，如果在聊天过程中关闭应用程序再重新打开，聊天界面就会崩溃。 你们团队中的某位成员修改了`AIRepository`中的错误信息字符串，但由于测试用例检测的内容有误，所以测试结果仍然显示正常。一位产品经理询问如果Gemini API不可用，这个新功能是否会出问题，但没有人知道答
阅读全文