未来已来,如何减少人工智能带来的风险?
为了在新时代蓬勃发展,企业安全需要减少人工智能带来的风险,并充分利用它提供的机会 … Read More
Socrates
为了在新时代蓬勃发展,企业安全需要减少人工智能带来的风险,并充分利用它提供的机会。
人工智能(AI)正在创造信息安全的新领域。能够独立学习、推理和行动的系统将越来越多地复制人类的行为。就像人类一样,他们也会有缺陷,但也有能力取得伟大的成就。
人工智能带来了新的信息风险,并使一些现有风险更加危险。但是,它也可以永久使用,并且应该成为每个组织防御性武器库中的关键部分。业务和信息安全领导者都必须在接受即将成为日常业务中至关重要的技术之前,先了解风险和机遇。
人工智能已经在许多主流业务用例中找到了自己的方式。组织使用AI的变体来支持客户服务,人力资源和银行欺诈检测等领域的流程。但是,这种炒作可能导致人们对AI的真正含义及其对业务和安全的真正含义感到困惑和怀疑。很难将一厢情愿的想法与现实分开。
人工智能带来的信息风险是什么?
随着组织采用AI系统,它们对于日常业务运营将变得越来越重要。一些组织已经拥有或将拥有完全依赖AI技术的业务模型。无论组织使用了AI的哪些功能,这样的系统和支持AI的信息都会存在固有的漏洞,并且受到意外和对抗性风险的威胁。受损的AI系统将做出错误的决策并产生意外的结果。
同时,组织开始面临复杂的基于AI的攻击,这些攻击有可能以前所未有的速度和规模破坏信息并造成严重的业务影响。采取措施保护内部AI系统并防御外部AI威胁,对于降低信息风险至关重要。
尽管组织采用的AI系统提供了诱人的目标,但对抗性攻击者也开始将AI用于自己的攻击。AI是一种功能强大的工具,可用来增强攻击技术,甚至创建全新的攻击技术。组织必须准备好调整防御措施,以应对基于AI的网络攻击的规模和复杂性。
人工智能提供的防御性机会
安全从业者总是在努力跟上攻击者使用的方法,而AI系统至少可以通过显著增强各种防御机制来提供短期的能力提升。AI可以将大量任务自动化,帮助人手不足的安全部门填补专业技能缺口,提高从业人员的效率。
为了保护自己免受现有威胁,AI可以让防御者领先一步。然而,对手并不是静止不动的——随着支持AI的威胁变得越来越复杂,安全从业者将需要使用AI支持的防御来跟上形势。
在应对威胁方面,AI的好处在于,它可以独立行动,在不需要人类监督的情况下采取相应措施,而且速度比人类快得多。考虑到恶意软件的存在几乎可以在瞬间危害整个系统,这是一个非常有价值的能力。
人工智能可以显著增强防御机制的方式有很多,这为我们提供了乐观的理由,但与任何一种新技术一样,人工智能也不是灵丹妙药。安全从业人员应该意识到部署防御性AI所涉及的实际挑战。
在部署防御性AI系统之前,需要考虑的问题和考虑的范围很窄,而且是为了完成一种任务而设计的。他们需要足够的数据和输入来完成这项任务。一个单一的防御性AI系统将不能增强之前概述的所有防御机制——一个组织可能采用多个系统。在购买和部署防御性AI系统之前,安全领导应该考虑是否需要一个AI系统来解决问题,或者更传统的选择是否会起到类似或更好的作用。
要问的问题包括:
●问题有局限吗?(例如,它是否可以用一个数据集或一种输入类型来处理,或者它是否需要高度理解上下文,通常哪些人更擅长提供?)
●组织是否有运行和优化AI系统所需的数据?
安全领导者还需要考虑围绕防御AI的治理问题,比如:
●防御性AI系统如何适应组织的安全治理架构?
●组织如何为防御AI系统提供安全保障?
●如何维护、备份、测试和修补防御性AI系统?
●组织是否有足够的技术人员来为防御AI系统提供监督?
人工智能不会用技术专长和对风险的直觉来取代对熟练安全从业人员的需求。这些安全从业人员需要在人工监视的需要和允许人工智能支持的控制自动有效地工作的信心之间取得平衡。这种信心需要时间来培养,尤其是在人工智能被证明不可靠、或做出糟糕或意外决定的故事不断涌现的情况下。
人工智能系统会犯错误,人类监督的一个有益方面是,当事情出错时,从业人员可以提供反馈,并将其纳入人工智能的决策过程。当然,人类也会犯错,采用防御性AI的组织需要投入时间、培训和支持来帮助安全从业人员学习如何使用智能系统。
如果有时间一起发展和学习,人类和AI的结合应该成为组织网络防御的一个有价值的组成部分。
现在开始准备
能够独立学习、推理和行动的计算机系统预示着一个充满风险和机遇的新技术时代的到来。已经出现的进展只是冰山一角,未来还将出现更多的进展。AI系统“思考”的速度和规模将随着大数据访问的增加、计算能力的增强和编程技术的不断改进而提高。这种力量这种权力将有可能创造和摧毁一家企业。
可用于防御的AI工具和技术也可用于犯罪分子、黑客活动分子和政府支持的组织等恶意行为者。这些对手很快就会发现使用AI来创建诸如智能恶意软件之类的全新威胁的方法,比如智能恶意软件。使用传统控件的安全从业人员将无法应对攻击的速度、数量和复杂性。
为了在新时代蓬勃发展,组织需要减少AI带来的风险,并充分利用AI提供的机会。这意味着要保护自己的智能系统并部署自己的智能防御。人工智能不再是对遥远未来的憧憬:现在是开始准备的时候了!
相关文章
LinkedIn、Netflix以及DoorDash是如何在实际生产环境中部署代理程序来进行数据收集、评估与分析的?——2026年纽约QCon AI大会讨论内容
QCon AI New York已经公布了2026年12月15日至16日的完整议程。来自LinkedIn、Netflix、DoorDash、Figma、Pinterest、Honeycomb、Harvey、Google DeepMind以及OpenAI的工程师们介绍了他们在实际生产环境中使用的人工智能系统。演讲内容涵盖了代理权限与安全机制、评估循环、推理成本、人工智能代码审查以及团队对这类技术的采纳情况。 作者:Artenisa Chatziou
阅读全文
Entire的Git Forge重新审视了面向编程人员的Git协作模式。
“Entire”是一款专为人类开发人员与AI编码代理之间的协作而设计的Git工具。它的核心观点是:传统的软件开发基础设施,尤其是基于拉取请求的开发模式,并不适合那些需要AI代理快速生成、审查代码并进行迭代开发的场景。 作者:Sergio De Simone
阅读全文
面向初学者的向量数据库入门课程——嵌入技术、相似性搜索以及ChromaDB的使用方法
向量数据库将数据存储为被称为“嵌入向量的数字列表”,这种存储方式使得它能够根据数据的含义进行搜索,而无需精确匹配关键词。许多推荐系统、RAG应用程序以及AI代理的背后都离不开这一技术。 我们刚刚在freeCodeCamp.org的YouTube频道上发布了一门全面的课程,该课程将教你了解向量数据库的工作原理,内容从数学基础讲起,最终会让你完成一个实际的语义搜索项目。这门课程由codeEdx提供,其讲师拥有15年的软件工程经验,其中最近四年还担任过首席AI工程师。学习这门课程不需要任何先验知识。 在这门课程中,你将学到以下内容: 向量与相似性计算 了解什么是向量,以及余弦相似度和欧几里得距离是如
阅读全文
播客:2026年InfoQ关于AI、机器学习与数据工程领域的趋势报告
在这一期节目中,InfoQ AI与ML编辑部的成员以及InfoQ的朋友们共同探讨了AI、机器学习与数据工程领域的当前发展趋势。InfoQ的常规栏目之一就是这些趋势报告,每一份报告都会聚焦软件开发领域的某个不同方面。这些报告为InfoQ的读者和听众提供了关于今年需要关注的重点话题的高层次概述。 作者:Chip Huyen、Daniel Dominguez、Hien Luu、Arthur Casals
阅读全文