现在是2026年年中，目前最先进的前沿人工智能模型仍然会产生各种幻觉。我希望你们通过阅读这篇文章能够了解到两点：首先，人工智能产生的幻觉确实是真实存在的，而且可能会带来危害；其次，你们应该能够理解为什么这种现象会如此普遍。
在开始讨论人工智能的相关内容之前，我想让你们先和我一起做一件事。
请听这段足球观众欢呼的声音。他们在喊什么吗？
如果你们和大多数人一样，那么你们肯定不知道他们在喊什么。这些声音其实只是无意义的杂音而已。那么让我来帮助你们吧：继续听这段音频，同时仔细阅读下面的文字。
“巴特·辛普森在跳跃？”
再听一遍。
“洗礼海盗行为？”
再听一次。
“移动中的龙虾？”
“药房里的乳酸？”
“旋转的海盗船？”
每次观众们喊的都是一样的句子。音频本身并没有发生变化，但每当你们看到不同的字幕时，你的大脑就会听到不同的内容——而且你会确信地认为自己听到了那些内容。你不会产生任何怀疑，只会觉得“哦，他们显然是在说‘巴特·辛普森在跳跃’”。
那么他们实际上在喊什么吗？其实这些人是英国德比郡足球队的球迷，他们正在唱的是：
“这太尴尬了。”
再听一遍这段音频，你就会清楚地听到他们在唱什么了。
这篇文章是基于我的演讲《令人尴尬的人工智能》撰写的。如果你们更喜欢观看视频，可以在这里观看。下面讲述的所有案例都是真实发生的，它们都发生在最先进的前沿人工智能模型上，而且大多数事件发生在一两个月之内。
所有的参考资料，以及一些未能被收录进这篇文章的案例，都可以在配套资源页面上找到。下面提到的所有引用文献都可以在文章末尾的参考文献中找到。
我们将讨论的内容：
你刚刚只是产生了幻觉
你刚才所经历的现象有一个专门的名称：**音素恢复**[2]。你的听觉系统接收到了一些模棱两可的信息（那些诵念声），同时也有助于消除这种模糊性的信息（屏幕上的文字说明），因此它填补了这些信息之间的空白。它会根据上下文推测出最合理的含义，然后将这些推测结果呈现给你，让你误以为那就是你真正听到的内容。
当你遇到无法完全理解的信息时，大脑会用一些合理且看似可靠的结论来填补这些空白，而不是直接告诉你“我无法判断”，这种机制在你的大脑中确实存在（正如你刚才所看到的那样），大型语言模型也同样会采用这种处理方式。
图像1：大脑和模型中的相同处理过程：模糊的信息输入、通过预测来填补空白，最终产生看似确定的输出结果，而这个输出从未被标记为猜测。（来源：Brief）
（注：本文中所有的图片都是由我制作的，它们被收录在我的演讲视频中。）
那么，在这篇文章结束之前，我想提出一个应该不会引起争议的观点：**不，我们还没有摆脱那些令人尴尬的人工智能相关事件。**
在撰写这些文字的时候，时间是2026年6月。这些人工智能模型确实非常出色，说实话，它们的能力已经超出了我当初的预期。但它们仍然会在实际应用中编造一些内容，而且这些内容有的很有趣，有的却会带来严重的后果。
这篇文章分为两部分：
-
那些令人尴尬的事件：最近发生的一些失败案例，分为两个部分来介绍：首先是一些聊天机器人给出了错误的回答，然后是一些智能体做出了错误的行动。
-
为什么会出现这些情况：首先会从直观的角度进行解释，接着会深入分析模型内部的运作机制，最后会探讨如果你自己正在开发人工智能产品，应该采取哪些措施来避免类似的问题发生。
请注意，这些事件发生的时间都有明确的标注。其中有些事件已经发生了一年，而大多数则是最近发生的。
第一部分：那些令人尴尬的事件
第一幕 — 聊天机器人（当人工智能给出答案时）
1. Cursor，2025年4月
假设你使用的是Cursor这款智能开发工具。当你更换笔记本电脑并登录新电脑后，Cursor会自动让你从旧电脑上登出。这确实挺烦人的😒
于是你向客服咨询：“每次更换笔记本电脑后都会被强制登出，这是为什么？”
客服的回复是：
“Cursor的设计原则是每个订阅账户只能在一台设备上使用，这是一项核心的安全设置。”
听起来似乎很有道理……但实际上完全是一派胡言。根本不存在这样的政策。“Support”这个聊天机器人完全是即兴编造了这些规则，然后把同样的虚假信息发给了很多用户，就好像是在参考一本根本不存在的手册一样。
这一事件引发了一连串愤怒的评论，Cursor的联合创始人也不得不公开澄清：根本没有这样的规定，用户可以随心所欲地在多台设备上使用Cursor。[3]
🤦 真是太尴尬了……🫢
2. 我认识的一家公司，2026年4月
这件事发生在我一位朋友工作的公司里，所以我暂时不透露具体细节。他们向其他企业销售软件，并配备了一个客服聊天机器人。这个机器人会根据从内部数据库中获取的信息来回答用户的问题。
他们新推出了一项功能，但却忘记更新数据库了。因此，有一位付费客户询问如何使用这项新功能，而机器人由于根本不知道这项功能的存在，竟然回答说：“我们没有这项功能。”客户反驳道：“什么？我可是花了钱才升级到这个版本的啊！”而这个运行在Opus 4.6系统上的机器人最终给出了这样的回复：
“说实话？他们是在坑你呢。”
这里的“他们”指的是运营这个聊天机器人的公司。客服代表因为不知道这项功能的存在，就选择了站在客户的立场上进行回应，只是用了一个自己能想到的最合理的解释来搪塞客户。
🤦 真是太尴尬了……🫢
3. Virgin Money，2025年1月
Virgin Money是一家真正存在于英国的普通银行。有一位客户在银行的官方网站上通过聊天机器人询问是否可以将自己拥有的两个ISA账户合并：
客户：“我在Virgin Money有两个ISA账户，可以把它们合并成一个吗？”
Virgin Money：“请不要使用这样的词语。如果您继续使用这种表达方式，我们就无法继续对话了。”
问题出在哪个词上呢？就是“Virgin”——这家银行的名称。聊天机器人的过滤系统将这个词汇与脏话联系在了一起，却完全没有考虑上下文。这与Cursor机器人的错误截然相反：Cursor机器人给出了过多的回答，而这个机器人则过度地拒绝了用户的请求。但问题的本质都是一样的——这些回应真的适合当前的语境吗？[4]
🤦 真是太尴尬了……🫢
4. Sullivan & Cromwell，2026年4月
Sullivan & Cromwell是全球最负盛名的律师事务所之一，很多其他律师都会聘请他们来处理法律事务。他们同时也是OpenAI的外部法律顾问。
2026年4月，他们提交了一份紧急法庭文件，这份文件是用人工智能编写的，其中包含了超过40条虚假的引用信息：根本不存在的案件名称、被错误引用的权威观点等等。
对方的律师很快就发现了这些问题，于是Sullivan & Cromwell不得不给法官写了一封信，请求“请不要因为这些由人工智能产生的错误而惩罚我们”。[5]
如果某些随意提交的文件中包含了虚假的引用信息，我根本不会费心把它们放在这里。这些文件显然不合法，但这种事情确实发生了。然而，这些人恰恰是那些为OpenAI提供咨询、建议其如何负责任地使用相关技术的人，但他们却在法庭上提交了伪造的引用资料。
🤦 这真是太尴尬了…… 🫢
而且不仅仅是他们。还有一个由Damien Charlotin维护的公共数据库，其中记录了一些法庭案例，在这些案例中，法官明确指出当事人使用了伪造或不准确的人工智能生成内容。
截至2026年6月底，这样的案例数量已经达到了1,633例，而1月份时这个数字还只有大约700例。这意味着平均每天都有五到六起新的此类案件被记录下来，而数据库的维护者也表示他们已经无法跟上这种增长速度。[6]
图像2：记录在案的虚假法庭文件数量的增长曲线——从2025年初的平稳状态逐渐上升，到2026年6月中旬时达到了1,633例。（来源：Brief）
🤦 这真是太尴尬了…… 🫢
第二幕——当人工智能采取行动时
到目前为止，你们已经看到了聊天机器人会以一些令人尴尬的方式“产生幻觉”，但它们所做的仅仅只是回答问题而已。那么，当我们允许人工智能真正采取行动时，会发生什么呢？
1. PocketOS，2026年4月
Jer Crane负责维护PocketOS这款汽车租赁软件，实际有客户在使用该软件来租用真实的汽车。他让Claude Opus 4.6在测试环境中执行一项常规任务。当他去吃午饭回来后，生产环境中的数据库竟然消失了，备份数据也同样不见了，因为Railway将备份文件保存在了同一个存储卷中。而Jer Crane根本没有触碰过生产环境中的任何数据——是测试环境中的智能系统自行删除了这些数据的。
整个过程仅仅用了九秒钟。以下是他事后分析得出的事件链：
-
在测试环境中执行常规任务时，该智能系统检测到了身份验证信息不匹配的问题，但这个问题与实际要执行的任务并无关联。
-
系统自行判断，认为解决办法是删除并重新创建存储卷。但它猜测这次操作只会影响测试环境，而并没有进行任何确认。
-
系统在文件系统中搜索API令牌，结果找到了一个与实际需求无关的、权限范围过大的令牌——这个令牌原本是用于域名管理的，但却拥有对整个API系统的破坏性访问权限。
-
系统直接对生产环境中的存储卷发起了破坏性操作，而完全没有进行任何确认。
-
由于备份数据也保存在同一个存储卷中，因此也被一并删除了。
-
整个过程总共用了九秒钟。
图3：这段长达九秒的灾难链包括：凭证信息不匹配、未经检查就决定删除数据卷、从无关文件中获取了权限过高的令牌、对生产环境进行了破坏性操作，最终导致所有备份数据也丢失了。（来源：视频简介）
后来当Crane询问原因时，这个智能代理这样回答：
“我本应该先征求你的意见，但却决定自己动手‘解决’这个问题。” —— Claude Opus 4.6
PocketOS能够幸存下来，仅仅是因为Railway的首席执行官从该公司自己的内部备份中手动恢复了数据。他们当时可用的最新备份文件其实已经保存了三个月。这就是2026年的真实写照：人工智能在毁掉你的业务之后，还会用流利的文字“坦白”自己的过错。[7]
🤦 真是太尴尬了…… 🫢
2. Replit，2025年7月
为了形成对比，让我们回顾一年前发生的事情。SaaStr的创始人Jason Lemkin当时正在测试Replit的智能代理功能。他在测试期间暂时停用了该代理程序，但即便如此，这个代理仍然删除了生产环境中的数据。Lemkin询问是否有备份数据时，得到的回答是：
代理程序回答：“无法恢复数据。”
不过Lemkin还是尝试进行了数据恢复，结果成功恢复了所有数据。
所以，我对这种“技术进步”有一种略带讽刺的看法：在2025年7月，这个智能代理删除了你的数据，然后撒谎说无法恢复这些数据；而到了2026年4月，它再次删除了你的数据，而且这次它是说实话的——那些数据确实已经彻底丢失了。
每当有人告诉我这些只是“GPT-2模型的问题”，并且我们现在已经克服了这些问题时，我就会指出这样的观点是错误的。事实上，即使在当今最先进的人工智能模型中，这类问题仍然会在现实中发生。[8]
第二部分：为什么会发生这些事情
我希望我已经让你们认识到，这些事件既有趣又令人担忧。那么，为什么它们会发生呢？虽然这篇文章并不涉及复杂的数学计算，但我还是想先给大家一些直观的理解，然后借助一些工具和最新的研究结果来深入分析这个问题。
它并不是在查找信息，而是在预测下一个该出现的字符
关于大型语言模型是如何工作的，已经有很多讨论了。但在这个背景下，有几点我觉得值得再次强调。
当一个模型在没有外部辅助工具的情况下生成文本时，它其实并不是在检索具体的事实。在每一一步中，它都会分析当前的语境，并为词汇表中的每一个字符计算出作为下一个出现字符的概率。以“法国的首都是……”为例，系统会优先选择巴黎作为下一个出现的字符，而这个答案确实是正确的。[9]
现在再来看Cursor机器人。当它收到“为什么我在第二台设备上会被登出？”这样的问题时，它可能会同样倾向于选择“核心安全功能”作为下一个出现的字符。（虽然这并不是一个单独的词汇，但为了表述方便，我暂时将其拆分成三个部分来描述：核心、安全、功能，每个词都被视为合理的后续选项。）
请注意，这两种分布都有可能具有同样明显的峰值。其中一种情况是真实存在的，而另一种则是人为虚构的，不过仅通过观察分布的形态，我们无法区分它们究竟属于哪种情况。信心并不等同于知识。
此外，该模型并不一定非得选择概率最高的那个选项。而且，当它最终选择一个选项时，我们也无从知晓这个选项是分布中那些概率较高的选项之一，还是另一个概率相对较低的选项。
图像4：两种下一个选项的分布都具有同样明显、令人信服的峰值；其中一个对应于真实的延续内容，另一个则对应于虚构的内容，而仅通过观察分布的形态，我们根本无法区分它们。（来源：Brief）
该模型是经过训练来进行猜测的
那么，为什么它会倾向于给出答案，而不是选择“我不知道”呢？想想我们评价大型语言模型的方式吧：主要是通过多项选择题来进行评估的。假设你完全不知道某个问题的答案，现在我给你这样一个问题，而你在化学领域根本没有任何知识：
在卡尔文循环中，哪种酶能够固定二氧化碳？
-
如果留空不答：得0分。
-
随便猜测但猜错了：还是得0分。
-
随机猜测但猜对了：得1分。
按照这样的评分标准，猜测的行为显然比选择不答更“有价值”。如果你真的不知道答案，那你应该总是尝试猜测一下。如果让模型在数以百万计的这类问题中接受训练，它就会形成这样的思维模式：一个看似合理的答案，其价值显然高于“无法判断”。我们奖励那些“胡乱猜测”的行为，然后当模型真的给出了这样的答案时，我们还表现得十分惊讶。[10]
而且，这种情况并不仅仅存在于评估测试中：未经任何训练的原始模型本身就已经具有相当高的准确性，而通过人类提供的反馈进行微调之后，这种准确性还会进一步提升。我们实际上是在训练模型如何“避免犯错”啊。[11]
图像5：这是一道多项选择题，正确答案得1分，错误答案得0分，“我不知道”也得分0分，所以任何猜测都可能带来正面结果。（来源：Brief）
深入了解模型的可解释性：一个快速入门指南
很长一段时间里，大型语言模型对我们来说就像是一些我们无法真正理解、也无法直接窥探其内部结构的“黑箱”。而可解释性这一研究领域让我们得以深入了解这些模型的内部机制。如今，已经有一些公开可用的工具（以及许多优秀的学术论文，其中很多来自Anthropic团队），使得任何人都可以对这些开放源代码模型进行相关探索。
下面我们将分三步来解释这种“幻觉生成机制”的工作原理：首先，模型是如何表示单个词汇的；其次，这些词汇表示是如何聚类成我们可以理解甚至能够主动引导其发展的概念的；最后，当某个概念被错误地解读时，就会产生“幻觉”效果。
嵌入向量与激活值
每个词汇都会被映射成一个称为嵌入向量的数值。需要注意的是，无论在什么语境中，“bank”这个词汇所对应的嵌入向量都是相同的；尽管在“我坐在河岸边”和“我在银行存了现金”这两句话中，这个词的含义截然不同。
这种消歧过程是在模型内部发生的。当词汇通过Transformer的各个层进行处理时，它会逐渐获得相应的激活值，而在上述两句话中，“bank”这个词汇所对应的激活值是不同的。语境会不断重塑这些数值的含义。[12]
图像6：‘bank’这个词最初被映射为一个固定的嵌入向量，但在“river bank”和“cash at the bank”这两句话中，经过模型处理后，它会被转化为两个不同的激活向量。（来源：Brief）
这种现象并非机器所特有。请阅读以下这句话：
那位老人驾驶着船。
大多数人会将“the old man”理解为一个名词短语，但这样理解就会出现问题。其实，“the old”在这里指的是那些人，而“man”则是一个动词，比如“老船员们”或者“驾驶船只”。
这类句子被称为“花园小径式”句子（我的语言学论文就是研究这些句子的，所以我得承认自己对此类句子有特别的偏爱）。由于前面的语境提示，“man”很可能会被理解为名词，但这种预测其实是错误的。
这种现象与人们在进行重复性活动时使用的口号类似，模型在处理每一个词汇时也会采用同样的机制：围绕“man”这个词汇的上下文会重新定义它的含义，就像刚才我们分析“bank”这个词时所做的那样。
特征
回到模型内部的激活值问题：这些激活值中存在的重复性模式对应着一些可以被人类理解的概念，这些概念被称为特征。像Neuronpedia这样的工具，为开放源代码模型（如Gemma、Llama等，但不包括Opus或GPT）提供了一种免费且公开的分析工具。[13]
我们如何了解某个特征究竟“意味着什么”呢？我们可以向模型输入数千条文本，观察某个特定特征在哪些情况下会被激活。如果这个特征在“熊”、“兔子”和“大象”这些词语中出现并被激活，而对其他大多数词语却毫无反应，那么当我们让另一个模型根据这些被激活的信号来为该特征命名时，它很可能会给出“动物/生物”这样的答案。这样，我们就给这个内部特征起了一个名字。
通过使用像Neuronpedia这样的工具，我们可以对这些特征进行实验，并在实际模型中观察到它们的作用效果。
图像7：Neuronpedia上的特征面板，显示了某个特征在哪些文本片段中被激活，以及根据这些片段推断出的标签。（来源：Brief）
特征具有因果性
你不必相信我的话，你自己也可以验证这一点：Neuronpedia的调控界面允许你在开放的模型中选取某个特征，将其权重调高，然后观察模型的输出结果如何因此发生改变。
Anthropic也曾做过类似的实验：他们将模型中的“金门大桥”这一特征权重调高后，当要求该模型提供巧克力脆饼的制作方法时，模型给出的答案是“把巧克力涂在脆饼上然后……”；而当被问及如何使用10美元时，模型则建议开车穿过金门大桥并支付通行费。（这个模型就是公众熟知的“金门Claude”。）
调整某个特征的权重确实会改变模型的输出结果，因此这些内部表征机制并不是被动地反映输入信息，而是真正引导模型的生成过程。[14]
同样的现象也可以通过简单的因果关系操作来验证。如果给模型输入“达拉斯所在州的州首府是……”，那么模型内部的“德克萨斯州”这一特征会被激活，从而导致输出结果为“奥斯汀”。但我们如何确定“德克萨斯州”确实是决定最终结果的关键因素呢？如果我们手动将“德克萨斯州”这个特征的关联对象改为“加利福尼亚州”，模型的输出结果就会变成“萨克拉门托”。这种机制是真实存在的：上下文信息会触发特定特征的产生，而这些特征又会影响最终的输出结果。
图像8：输入关于达拉斯的提示没有改变，但手动将模型内部的“德克萨斯州”特征关联对象改为“加利福尼亚州”后，输出结果从奥斯汀变为了萨克拉门托。（来源：Brief）
幻觉机制
现在，所有的线索都汇聚到了一起。Anthropic的研究揭示了两个相互作用的机制[15]：
-
一种默认的“无法判断”反应机制，这种机制在默认状态下是处于激活状态的。你可以将其视为一个“刹车装置”，它的作用是防止模型胡编乱造。
-
另一种“我知道这个吗？”功能模块，当它被激活时，会解除那个“刹车装置”，从而使模型能够给出答案。
在正常情况下，这种机制运作得非常准确：当你向模型提出一个它知道的问题时，“我知道这个吗？”功能会被激活，“刹车装置”就会被解除，从而得到正确的答案。而幻觉现象的发生，正是因为这种机制出现了故障——当模型遇到某个熟悉的信息时，即使实际上并不知道相关信息，这个功能模块也会被错误地激活，导致模型编造出答案。
如果这种机制确实存在，那么我们应该能够人为地引发这种故障。Anthropic也正是这样做的。
举个例子：问“Michael Batkin从事什么运动？”由于这个名字在模型的知识库中并不存在，所以“我知道这个吗？”功能不会被激活，“刹车装置”会保持开启状态，模型也会正确地回答“找不到关于Michael Batkin的任何信息”。
图像9：在相同问题下，正常的机制运作情况：“无法回答”的刹车装置处于开启状态，“我知道这个吗？”功能因为这个名字不熟悉而保持沉默，模型因此正确地给出了否定答案。（来源：Brief）
现在，研究人员人为地激活了“我知道这个吗？”功能。于是，“刹车装置”被解除，模型自信地回答道：“Michael Batkin从事国际象棋运动。”实际上，模型根本不知道Michael Batkin这个人到底从事什么运动。但它错误地认为自己知道这个人的信息，这就足以让它忽略“刹车装置”，从而编造出这个答案。
图像10：在“Michael Batkin从事什么运动？”这个问题上人为地引发故障情况：“无法判断”的刹车装置被抑制，“我知道这个吗？”功能针对一个并不存在的人被激活，模型因此编造出了一个自信的答案。（来源：Brief）
这种机制可以直接应用于Cursor机器人上：
-
假设有人询问“如何更改主题？”如果该模型确实“知道”这个答案，那么它会给出正确的回复。✅
-
但当有人问“双设备登录功能被禁用了吗？”时，“设备”“登录”“禁用”这些词汇都让人感到熟悉。因此，系统会基于这种熟悉感而非实际知识来做出回应，结果就会给出“是的，这是核心安全功能”这样的答案。❌
当然，这一点尚未得到证实，因为我们无法接触到该模型及其具体功能。但根据目前关于这一主题的研究成果，我们可以推测：即使相关规则并不存在，模型也可能“知道”这些答案。
Brief）” height=”640″ loading=”lazy” src=”https://contributor.insightmediagroup.io/wp-content/uploads/2026/07/halluc_circuit_5.svg” style=”display:block;margin:0 auto” width=”1200″/>
图11：Cursor机器人的内部工作原理——熟悉的词汇会导致“我知道这个吗？”功能出现错误判断，从而抑制掉默认的“不知道”回答选项，导致机器人编造出“这是核心安全功能”这样的答案。（来源：Brief）
我们在实际生产环境中能发现这种问题吗？
有多种方法可以用来检测这个问题，其中有一种方法我认为非常巧妙——那就是观察“语义的熵值”变化。[16]
让Cursor机器人回答五次“如何更改主题？”这个问题。假设机器人确实知道答案，那么它的回答内容不会完全相同（因为这是随机生成的）。但如果用另一个模型对这些回答按照“含义”进行分类，就会发现它们其实表达的是同一个意思：“进入设置菜单然后选择主题”。当语义熵值较低时，说明模型很可能真的知道这个答案，因此我们可以信任它的回答。
现在再让机器人回答五次“双设备登录功能被禁用了吗？”这个问题。你可能会得到“是的，这是安全策略规定的”“不，这种功能是允许的”“每个套餐只支持一台设备使用” “这只是个设置选项” “可能吧，不太确定”等等不同的答案。这种情况下，语义熵值会很高，说明模型给出的这些回答都是随机编造的。
在实际生产环境中使用这种方法确实会带来一些成本——比如需要发送更多的请求、消耗更多的计算资源、增加延迟以及提高运营成本。但如果你只想向用户展示那些可靠性较高的答案，那么这种基于抽样和分类的分析方法确实是一种有效的保障措施。
Brief）” height=”600″ loading=”lazy” src=”https://contributor.insightmediagroup.io/wp-content/uploads/2026/07/semantic_entropy.svg” style=”display:block;margin:0 auto” width=”1200″/>
图12：对一个已知问题进行五次采样后，得到的答案会聚合成一种含义（低熵，可信）；而针对一个虚构的问题进行采样时，得到的答案则会分散成多种含义（高熵，很可能是编造的内容）。（来源：简短介绍）。
那么，你究竟应该采取什么措施呢？
现在是2026年6月，这些模型仍然会编造虚假内容，但你还是想尽快将产品推向市场。以下是具体的操作清单。
-
要让模型有办法表达“我无法判断”这一结论。应要求模型在能够找到依据时给出答案，而在无法确定时选择保持沉默。不过，提供相应的提示是必要的，但仅仅依靠提示是不够的，因此接下来的这一点更为关键。
-
对模型的这种“沉默”机制进行压力测试。在要求模型必须基于现有信息回答问题并引用来源之后，要刻意尝试让模型产生错误的答案。反复向模型提出那些根本不存在的问题的答案，直到你确信模型确实会选择回答“我无法判断”。需要持续进行这样的测试，以确保这种安全机制能够有效发挥作用。
-
如果模型的输出中出现了人类的名字，必须由人类来进行验证。例如，如果你是一名律师要向法院提交文件，目前还不能将这份文件交给模型来处理并依赖它的结果。
-
绝不允许智能体造成任何损害。这一点很关键，因为智能体只有采取行动才能发挥作用。但PocketOS的经验告诉我们：必须严格限制智能体的权限范围，对可能造成破坏的操作要求进行确认，确保生产环境与测试环境相互隔离，并将备份数据存储在单独的磁盘中。如果你允许智能体删除生产环境中的数据，那么它肯定会这么做的。
总结
我们最初讨论的是足球场上的观众群体，最后却谈到了Transformer模型。人类听觉皮层中对音素的识别过程，以及模型对下一个输入词的预测行为，其实都属于同一种自上而下的处理方式：当遇到无法完全解决的问题时，人们会用最合理、最可信的解释来填补空白，而不是承认自己不知道答案。
那些看似有趣的案例（比如Cursor、Virgin Money、Sullivan & Cromwell、那1,633起诉讼案件、在九秒内完成开发的PocketOS系统、Replit等等），往往会在给企业带来损失时才显现出它们的危害性。
现在我们终于明白了其中的原因：这些模型被训练成更倾向于给出答案而不是保持沉默；而在它们内部，“我知道这个答案吗？”这样的判断机制，往往会基于熟悉度而非真正的知识来做出决策，从而导致虚假信息的产生。
而解决这些问题的方法大多并不神奇。它们其实就是经过严格测试的“沉默”机制、在关键环节进行的人工验证，以及被刻意限制了破坏能力的智能体。
我们还没有完全摆脱这些令人尴尬的案例，但现在已经足够了解它们了，因此是否选择继续使用这些技术，已经逐渐成为一种可以自主做出的决定。
参考资料
本文中提到的所有案例，以及一些未能被收录进文章的其他案例，其原始资料都可以在配套资源页面上找到。
-
“这太尴尬了”——这是德比郡球迷的口号。球迷们高喊“这太尴尬了”；相关音频可收听于Filter Stories播客，该播客节目。
-
音素恢复效应。维基百科。相关现象还包括：麦格克效应以及“Yanny与Laurel”的实验。
-
2025年4月，Cursor AI的支持机器人编造了一项政策。“Cursor AI支持机器人说谎”；相关事件记录可见：AI事件数据库#1039。
-
2025年1月，Virgin Money的聊天机器人错误地屏蔽了自己的名称。《Fortune》杂志；更多报道可见：CX Today网站。
-
2026年4月，Sullivan & Cromwell律师事务所提交了请求停止制裁的紧急函件。“Sullivan & Cromwell提交紧急请求……”；更多报道可见：CNN商业频道。
-
Damien Charlotin维护的“AI幻觉案例”数据库：damiencharlotin.com/hallucinations。关于为何法院难以应对这类问题，可参考：Cronkite News报道。
-
2026年4月，PocketOS生产数据库在9秒钟内被彻底删除。“Cursor/Opus代理程序摧毁了PocketOS数据库”；更多报道可见：Tom’s Hardware网站；Fast Company杂志。
-
2025年7月，Replit的编程辅助工具在代码冻结期间删除了生产环境中的数据库。《Fortune》杂志；更多报道可见：eWeek网站；相关事件记录可见：AI事件数据库#1152。
-
关于“下一个词元预测”的原理说明。Jay Alammar在“GPT-2的可视化解释”中进行了详细讲解；这一机制的基础理论可见Bengio、Ducharme、Vincent和Jauvin于2003年发表在《JMLR》上的论文：“一种基于神经概率的语言模型”。
-
Kalai、Nachum、Vempala和Zhang在“为什么语言模型会出现‘幻觉’现象？”（OpenAI，2025年）中进行了探讨；相关论文可见：。
-
OpenAI在“GPT-4技术报告/系统介绍”（2023年）中指出，预训练模型具有较高的校准精度；然而通过RLHF微调后，这种校准效果会被削弱（详见相关图表）。
-
嵌入向量与激活值的区别：静态词元嵌入为每个单词分配一个固定的向量值。Mikolov、Chen、Corrado和Dean在“高效计算词在向量空间中的表示方法”（word2vec项目，2013年）中提出了这一方法；更详细的解释可见Jay Alammar的“Word2vec的可视化讲解”。在模型内部，这些词表示会变得依赖于具体上下文，从而能够正确处理像“bank”这样的多义词汇。“深度语境化的词表示方法”（ELMo项目，2018年）对此进行了进一步研究。
-
Anthropic在“Golden Gate Claude”（2024年）项目中公开了其特征引导机制。
-
Anthropic在“关于大型语言模型的生物学原理”（2025年）文章中介绍了那些能够抑制“无法区分不同含义”的机制，以及模型中的一些具体设计细节，比如Dallas与Austin之间的功能转换，以及Michael Batkin相关的问题。更详细的解读可见：“追踪语言模型的思维过程”。
-
Farquhar、Kossen、Kuhn和Gal在“利用语义熵检测大型语言模型中的‘幻觉’现象”（《自然》杂志，2024年）中提出了这一研究方法。
如果您喜欢这篇文章，我会在我的 Brief YouTube频道中进一步深入探讨系统架构与内部原理。如果有任何问题或意见，请随时留言，非常欢迎您的反馈。感谢阅读！
