当“思维链引导机制”被引入后，人们发现大型语言模型只需通过逐步思考来产生答案，就能解决许多复杂的推理问题。
这一发现无疑是一项重大的突破，但它也暴露了一个重要的局限性：如果模型的推理过程出现了错误，会怎样呢？
即便采用了“思维链引导机制”，模型仍然只遵循一条推理路径。如果这条路径存在错误，最终的答案也很可能会出错。因此，要想获得正确的推理结果，第一步就必须做对。
本文针对这一局限性提出了一个解决方案，其灵感来源于人类解决复杂问题时的思考方式。与人们不会直接相信第一个想到的解决方案不同，我们通常会考虑多种不同的方法，然后才能确定哪个答案最可靠。作者们想知道，语言模型是否也能这样做。
他们的答案是“自我一致性”：这是一种简单的解码策略，它能够生成多条独立的推理路径，并从中选择那些最为连贯、最合理的答案。这种策略本身并不需要对模型进行任何额外的训练或调整，只需要改变解码方式即可。
尽管这种方法非常简单，但在算术、常识推理和符号推理等任务中，它确实带来了显著的改进。这表明，与仅仅依赖第一种思考方式相比，通过比较多种不同的思路往往能得到更可靠的答案。
本文可以说是“思维链引导机制”的自然延续，它标志着大型语言模型研究的一个重要转折点——人们意识到，与其让模型变得更大，不如更好地利用它们已经具备的推理能力，这样才能取得实质性的进展。
论文概述
在本次综述中，我们将探讨由谷歌研究院的研究人员发表、并在ICLR 2023会议上展示的论文《自我一致性机制如何提升语言模型的思维链推理能力》。
首先，我们会分析“思维链引导机制”所存在的局限性，这些局限性正是促使这项研究诞生的原因；接着，我们会详细解释“自我一致性机制”的工作原理，以及为什么生成多条推理路径能带来更可靠的答案。
随后，我们将通过算术、常识推理和符号推理等实验数据来分析这一机制的实际效果，并将其与束搜索、样本排序等其他解码方法进行比较，探讨其优势、局限性以及计算上的权衡因素。
最后，我们会探讨这篇论文对语言模型研究的长期影响，以及它的核心理念是如何影响后续在测试时推理、验证、基于搜索的推理技术以及现代以推理为导向的语言模型研发工作的。
<如果你也想跟进这个研究进展，也可以阅读原始论文：
自我一致性机制有助于提升语言模型中的思维链推理能力。
以下是一张简短的信息图，概述了我们在本次综述中将要讨论的内容。
目录：
先修知识
要想充分理解本次综述的内容，了解大型语言模型的发展历程以及那些促成“自我一致性”概念形成的推理技术是很有帮助的。
本文直接建立在“思维链提示机制”所提出的理念基础上，因此阅读本系列之前的综述文章将有助于更好地理解本文的内容。
特别推荐以下几篇综述文章：
在这些方法中，“思维链”机制是最为重要的前提。这一机制提出了这样的观点：语言模型通过在产生答案之前生成中间推理步骤，从而能够显著提升自身的推理能力。
“自我一致性”机制正是建立在这一突破性理念之上的。与依赖单一的推理路径不同，该机制会探索多条独立的推理路径，并选择在所有路径中结果最为一致的那个答案，从而证明：更好的推理能力并非源自更大规模或训练更精良的模型，而是源于更为智能的解码策略。
此外，以下知识也是掌握这些方法所必需的：
- 对自然语言处理及大型语言模型有基本的了解；
- 熟悉基于Transformer的自回归模型；
- 了解提示机制、小样本学习、上下文相关学习以及“思维链”提示技术；
- 理解语言模型是如何逐个生成文本字符的；
- 掌握机器学习的基本概念，如训练、推理、扩展性规律及模型评估方法；
- 接触过一些推理任务、逻辑问题及数学应用题；
- 了解常用的基准数据集以及模型性能的评估方式。
阅读本文并不需要具备深厚的数学或机器学习研究背景。我会尽量用直观易懂的方式进行解释，重点阐述为什么“自我一致性”机制会成为现代人工智能领域中最具影响力的推理技术之一，它是如何在“思维链”提示机制的基础上实现进一步发展的，以及为何解码流程的这一简单改变会从根本上改变研究人员对大型语言模型推理能力的认知。
摘要
最初的“思维链”研究证明：当语言模型在产生答案之前生成中间推理步骤时，它们的推理能力会得到显著提升。但这种机制仍然依赖于一个简单的假设——模型只会遵循一条推理路径，并相信自己得出的第一个答案是正确的。
本文提出了一个自然而然的后续问题：如果第一条推理路径是错误的呢？为了解答这个问题，作者们提出了“自我一致性”机制。这一机制借鉴了人类解决复杂问题时的思维方式：模型不会固守最初的推理路径，而是会生成多条独立的推理路径，并选择其中结果最为一致的那个答案。
模型的本身并没有发生任何变化，也没有额外的训练或调整过程，只有解码流程有所不同而已。这个核心理念在于：复杂的问题往往不存在唯一的正确解决途径，不同的推理过程可能会以不同的方式来处理同一个问题，但最终得出的结论往往是相同的。通过比较这些独立的解决方案，而不是仅仅依赖其中的一条，模型就能更好地抵御推理错误的影响。
尽管这个想法看似简单，但其效果却十分显著。自我一致性机制在算术、常识推理以及符号推理任务中显著提升了模型的推理能力，在包括GSM8K、SVAMP、AQuA、StrategyQA以及ARC-Challenge在内的多个热门评估基准测试中，都取得了突破性的成果。
更重要的是，这一机制证明了：提升模型的推理能力并不一定需要构建更复杂的模型或进行额外的训练。有时候，只需采用更好的方法来挖掘模型已有的推理能力，就能取得显著的效果。
引言
2022年，当“思维链引导机制”被引入后，它彻底改变了人们对大型语言模型推理能力的认知。通过鼓励模型生成中间推理步骤，研究人员发现许多原本被认为难以解决的问题，现在可以更高效地得到解决。
然而，一个重要的局限性依然存在：即便采用了思维链引导机制，模型仍然会沿着单一的推理路径进行思考。如果这条推理路径中存在错误，最终的答案也很可能会出错。
下图展示了标准的思维链推理流程，说明了语言模型是如何通过贪婪解码的方式，沿着单一的推理路径产生最终答案的。
本文首先提出了一个简单的观察结论：复杂问题往往存在多条通往正确答案的路径。
在解决复杂问题时，人们很少只依赖一条推理路线。相反，他们会探索不同的可能性，并且只有当多种独立的方法得出了相同的结论时，才会确信自己的判断是正确的。作者们思考的是：语言模型是否也能从这种策略中受益呢？
为了验证这一想法，他们提出了“自我一致性机制”——这种解码策略直接建立在思维链引导机制的基础上。与以往接受模型生成的第一个推理路径不同，“自我一致性机制”会生成多条独立的推理路径，并选择其中在各种情况下都表现最为一致的那个答案。
其目标不再是寻找某个看似合理的解释，而是找出在多种不同解释中都能保持一致性的正确答案。
本文最吸引人的地方就在于它的简洁性。与那些需要额外验证工具、重新排序模型或进行额外训练的方法不同，“自我一致性机制”完全在推理阶段发挥作用。它既不需要新的标注数据，也不需要进行微调或使用辅助模型。这种机制并没有改变模型的本质，而是改变了模型推理过程的解码方式而已。
作者们使用了来自UL2、GPT-3到LaMDA以及PaLM的模型，对这一方法在各种算术、常识推理及符号推理测试中的表现进行了评估。在几乎所有的任务中，“自我一致性”机制都显著优于传统的“思维链引导”方法。
除了这些令人瞩目的测试结果外，这篇论文还提出了一个重要的观点：更强的推理能力并不总是需要更大的模型或更长时间的训练。有时候，最大的进步其实来自于让模型在确定最终答案之前探索多种可能的解决方案。
在多种不同的推理路径中体现出的“自我一致性”机制
这篇论文的核心观点源于对人类推理过程的一个简单观察：在解决复杂问题时，人们很少只依赖一种思维方式。他们通常会考虑多种可能性，最终才会得出结论。尽管这些推理过程可能有所不同，但它们往往都会指向同一个答案。作者认为，语言模型也可以借鉴这一原理来提升自身的推理能力。
“思维链引导”方法已经证明，在复杂任务中生成中间推理步骤确实能够显著提高模型的表现。然而这种方法仍然依赖于“贪婪解码”机制，这种机制会迫使模型只沿着一条路径进行推理。如果这条路径存在错误，那么最终得出的答案也很可能是错误的——即使模型本可以通过其他途径得出正确的结论。
“自我一致性”机制则摒弃了这种“一条路径、一个答案”的模式，而是让模型在接收到指令后探索多条不同的推理路径。其中一些路径可能会包含错误，而另一些路径则可能通过不同的推理过程最终找到正确答案。
这种方法并不是直接评估模型的推理过程本身，而是将所有生成的答案进行汇总，然后选择在各种情况下都表现最为稳定的那个答案作为最终结果。
下图对比了传统的“思维链引导”方法与“自我一致性”机制，说明了用多条独立的推理路径替代单一路径为何能带来更可靠的答案。
这种直觉非常直观：错误的推理路径往往会犯不同的错误，因此会产生不同的结果；而正确的推理路径即便其中间步骤有所不同，最终也往往会得出相同的结论。
通过比较多种独立推理方法得出的结果，该模型就不再那么依赖于某一次具体推理过程的成功与否了。
这种方法的巧妙之处在于：模型本身没有任何变化。自我一致性机制完全在推理过程中发挥作用，无需任何额外的训练、微调或辅助模型。实际上，它的运作方式类似于一个自集成系统：它并不是将多个模型结合起来，而是结合同一模型中的多次独立推理尝试，从而得出更加可靠的预测结果。
作者们还对比了多种合并生成答案的方法。我们可能会认为基于概率加权的方法会比简单的方法表现得更好，但实验结果却恰恰相反。对最终答案进行简单的多数投票，其效果几乎与那些更为复杂的加权方案一样好，这说明最大的优势在于探索多样的推理路径，而不是给这些路径赋予复杂的评分。
这一研究标志着人们对推理方式的理解发生了重要的转变。传统的解码方法认为最有可能的推理路径也是最好的路径；而自我一致性机制则表明，在推理任务中，多样性与可靠性同样重要。在选择答案之前先探索多种独立的解决方案，可以使推理过程更加稳健和可靠。
实验
在介绍了自我一致性机制之后，作者们提出了一个关键问题：这种简单的解码策略是否真的能在实践中提升推理能力？
为了验证这一点，他们在算术、常识推理和符号推理等领域进行了广泛的测试，旨在考察自我一致性机制在不同类型的问题、模型架构以及模型规模下是否依然有效。
评估过程中并没有依赖单一的基准测试，而是涵盖了多种多样的推理任务。算术数据集用于检测模型解决多步骤数学问题的能力；常识推理测试则检验模型对日常知识的理解程度；符号推理任务则用来评估模型是否能够始终遵循抽象规则进行推理。
这种全面的评估方式有助于确定自我一致性机制究竟是解决了推理过程中的某种普遍性问题，还是仅仅在某些特定数据集上提升了性能。
实验涉及的语言模型种类也非常丰富，包括UL2、GPT-3、LaMDA和PaLM等，这些模型的参数数量从200亿到5400亿不等。通过对比不同架构和规模的模型，作者们能够验证这一方法是否具有跨模型家族的通用性。
为了确保公平比较，所有实验都遵循了最初的少量样本链式思维提示框架进行。提示内容没有做任何调整，也没有对任何模型进行重新训练或微调。因此，任何观察到的性能提升都可以直接归因于这种解码策略本身，而与训练方法或模型参数的差异无关。
要生成多条推理路径，就必须用采样方法取代那种确定性的、贪心式的解码方式。模型不再总是选择最有可能的下一个输出结果，而是会探索几条合理的推理路径。
尽管不同模型在采样设置上存在细微差异，但目标始终是一样的：在保证答案一致性的前提下，鼓励模型产生多种不同的推理路径。作者后来通过专门的稳定性研究，探讨了“自我一致性”机制对这些采样方式的变化究竟有多敏感。
总体而言，实验设计与论文的核心观点高度契合。作者并没有尝试使用更大的模型、增加额外的监督机制或采用新的训练方法，而是提出了一个更简单的问题：如果我们仅仅改变语言模型生成答案的方式，它们的推理能力能提升多少？实验为回答这个问题提供了系统的方法。
下图展示了“自我一致性”解码流程的完整过程，说明了语言模型是如何生成多条独立的推理路径，并通过多数投票来选择最终答案的。
主要结果
本文的核心问题非常明确：生成多条推理路径并选择最一致的答案，这种做法是否比传统的“思维链”方法更有效？
实验结果几乎消除了任何疑虑。在几乎所有的测试基准、模型和推理任务中，“自我一致性”机制的表现都明显优于传统的“思维链”提示方式。
在算术推理领域，这种改进尤为显著。虽然“思维链”方法在解决数学应用题时已经证明非常有效，但实验结果显示，当模型仅依赖一条推理路径时，它的很多推理能力实际上并未得到充分发挥。
通过在选择答案之前探索多条推理路径，“自我一致性”机制在GSM8K、SVAMP和AQuA等高难度测试基准上取得了显著的成绩，在其中一些项目中甚至创下了新的最佳纪录。
随着模型规模的增大，还出现了另一个有趣的规律：虽然“自我一致性”机制对所有被测试的语言模型都有帮助，但对于那些功能更强大的模型来说，这种改进效果更为明显。
这表明，大型语言模型内部本来就包含多种有效的推理策略，而传统的贪心解码方法往往无法发现这些策略。“自我一致性”机制为更好地利用这些潜在的推理能力提供了一种有效途径。
这种改进效果并不局限于数学推理领域。在StrategyQA、ARC-Challenge等常识推理测试基准，以及符号推理任务中，“自我一致性”机制同样表现出了优于传统“思维链”提示方式的优势。
常识与符号推理
为说明这种行为，作者列举了几个具体的例子。在其中一个案例中，模型沿着错误的推理路径进行运算后，得出了错误的答案；然而当同时尝试多种不同的推理路径时，各种独立的推理过程最终都指向了正确的答案，这使得“自我一致性”机制能够纠正最初的错误。
这些例子让这种方法的原理变得更加直观：成功的关键并不在于信任某一种解释方式，而在于在做出决策之前对比多种独立的推理结果。
总的来说，这些实验进一步证实了本文的一个核心观点：“自我一致性”机制带来的好处远远超出了算术推理的范畴。无论任务涉及日常知识、逻辑推理还是抽象规则的遵循，让多个不同的推理过程相互竞争后再选择最终答案，总是比依赖单一的思维路径能得到更可靠的结果。
当思维链影响表现时，“自我一致性”机制仍能发挥作用
本文最有趣的发现之一，是对早期关于“思维链”作用的研究成果提出了挑战。虽然通常认为推理过程有助于提升表现，但后来的研究表明这种情况并非普遍适用。在某些自然语言处理任务中，要求模型解释自己的推理过程反而会降低其准确率。
这就引出了一个重要的问题：如果思维链有时会妨碍表现，那么“自我一致性”机制还能起到帮助作用吗？
为了解答这个问题，作者在一系列问答任务和自然语言推理测试中评估了“自我一致性”机制的效果。与算术推理不同，这些任务往往需要简洁直接的回答，而非冗长的推理过程。在这种情况下，要求模型生成解释性文本反而可能干扰其正常思考，从而降低答案的质量。
实验结果证实了这一现象。在多个测试中，“标准思维链”提示方式的效果甚至不如传统的提示方法，这进一步证明了：更多的推理并不一定意味着更好的结果。
特别值得关注的是，“自我一致性”机制在很大程度上扭转了这一趋势。即使单个推理路径存在缺陷，综合多种独立的推理结果也能显著提升表现。模型通过对比多种不同的推理尝试来选择最终答案，而不是依赖某一种可能具有误导性的解释，因此能够获得更可靠的结果。
这些发现进一步扩展了“自我一致性”机制的意义。这种方法并不仅适用于数学推理或那些需要漫长思维过程的任务，在那些生成解释性文本可能存在风险的情况下，它也能使基于推理的提示方式变得更加可靠。由此可见，其价值并不在于产生更多的解释，而在于在做出决策之前对多种独立的观点进行评估。
更广泛地说，这个实验进一步印证了本文的核心观点之一：自我一致性机制的有效性并不取决于所有推理路径都是正确的。它之所以能够发挥作用，是因为正确的推理路径往往比错误的推理路径更频繁地达成一致，这使得模型能够在那些原本会导致错误答案的失误中恢复过来。
与其他现有方法的比较
在作者证实自我一致性机制确实能够提升推理性能之后，一个自然而然的问题出现了：这些改进仅仅是现有解码技术的另一种表现形式，还是自我一致性机制提供了某些本质上的不同之处？
为了回答这个问题，本文将自我一致性机制与几种用于提升生成质量的现有方法进行了比较，其中包括“样本排序法”、“束搜索算法”以及集成学习方法。
样本排序法
首先进行比较的是样本排序法。这种方法是先生成多个候选答案，然后再从中选择模型认为最有可能的正确答案。
乍一看，这种方法与自我一致性机制似乎很相似，因为两者都会生成多个结果。但两者的区别在于最终答案的选取方式：样本排序法仍然依赖单一的推理路径来决定结果，而自我一致性机制则通过多个独立的推理路径来寻找一致的结果。
实验结果表明，这种差异确实很重要——始终选择最一致的答案，其效果明显优于选择最有可能的正确答案。
束搜索算法
作者还将自我一致性机制与束搜索算法进行了比较。束搜索算法是自然语言生成领域中应用最为广泛的解码技术之一。
束搜索算法会探索多个候选序列，但只会选择概率最高的那个序列作为最终结果。相比之下，自我一致性机制通过随机采样来鼓励不同的推理路径的产生，这种多样性对于推理任务来说至关重要，正因如此，在所有评估指标中，自我一致性机制的表现都优于束搜索算法。
基于集成学习的方法
最后进行的比较是针对基于集成学习的方法。这类方法通过改变提示顺序、使用不同的提示模板，或者结合多个模型的预测结果来增加多样性。
尽管这些方法相比传统的“思维链式提示”方法确实能带来一定的改进，但它们的效果仍然远不及自我一致性机制所取得的成果。值得注意的是，自我一致性机制仅使用了一个语言模型和一个提示信息，就实现了这样的效果。
这种比较突显了本文最重要的观点之一：传统的集成学习方法是通过改变提示内容或结合多个模型来创造多样性，而自我一致性机制则是通过让同一个模型探索多种不同的推理路径来产生多样性。本文将这种现象称为自我集成，即同一个模型中的不同推理尝试共同决定了最终的结果。
其他研究
他们还证明了，“自我一致性”机制与“零样本思维链提示”方法能够自然地结合使用，即使不提供人工编写的推理示例，也能带来显著的改进。
综合这些研究可以看出，“自我一致性”远不止是一种在少数测试基准上有效的解码技巧。无论采用何种采样策略、模型规模、提示方式或推理形式，这一规律始终存在：让模型在选择答案之前探索多条推理路径，能够使最终的推理结果既更准确又更可靠。
相关研究综述
“自我一致性”机制并非孤立出现，它是建立在多项早已影响语言模型推理能力的研究基础之上的，将这些领域中的理念——包括提示机制、解码技术以及一致性原则——融合成了一种极为简洁的推理策略。
其中最具直接影响的是思维链提示方法，该方法表明，当语言模型在生成答案之前先输出中间推理步骤时，它们的推理能力会显著提升。
“自我一致性”机制进一步发展了这一理念，它将关注点从“模型如何进行推理”转变为“模型在做出决定之前会尝试多少种不同的推理路径”。该机制不会依赖单一的推理路径，而是会比较多条独立的推理结果，并选择其中所有路径都认同的答案。
此外，这项研究也借鉴了早期在解码策略领域的研究成果。诸如温度采样、前
“自我一致性”机制将这些采样方法用于不同的目的：它并非为了产生多样化的输出结果来激发创造性，而是通过生成多种推理路径来提高最终答案的可靠性。
另一个与之密切相关的领域是验证与排序。以往的研究通常会生成多个候选答案，然后依靠额外的验证模型或排序算法（有时这些算法还会结合人类标注数据进行训练）来确定最佳答案。
而“自我一致性”机制无需任何额外模型或监督机制，就能实现类似的目标。它不会去学习如何评估各种推理路径，而是直接选择在多次独立尝试中始终被选中的那个答案。
最后，这项研究还与语言模型中关于一致性的更广泛研究形成了关联。早期的研究主要探讨了对话内容、事实性知识以及生成的解释文本等方面的一致性问题。
“自我一致性”机制则提供了一种不同的视角：它关注的是多条独立推理路径之间的一致性。关键在于，当这些独立的推理过程反复得出相同的答案时，这种一致性本身就成为了该答案正确性的有力证明。
综合来看，这些联系恰恰解释了为什么这篇论文能够产生如此持久的影响。所谓“自我一致性”这一概念并不需要引入新的模型、进行额外的训练，也不需要使用复杂的推理框架；相反，它只是以一种全新的方式将现有的理论观点结合起来，从而从根本上改变了研究人员对推理过程的理解。这一发现表明：只要允许模型在选择最可靠的解决方案之前尝试多种不同的方法，就完全有可能取得显著的进展。
讨论
本文最重要的观点之一是：更好的推理能力并不一定需要更复杂的模型或更多的训练数据。有时候，最大的改进其实来自于改变模型得出最终答案的途径。
与依赖模型生成的第一个推理路径不同，“自我一致性”机制允许模型在选择最一致的答案之前，探索多种独立的解决方案。这种简单的调整改变了解码过程的功能——它不再仅仅是选出最有可能的答案，而是要找出最可靠的答案。
实验表明，许多推理错误并非由知识缺失造成的。实际上，模型可能已经具备了解决问题所需的信息，但之所以无法得出正确的结论，是因为它选择了错误的推理路径。
通过生成多种推理尝试，“自我一致性”机制为模型提供了更多机会来纠正这些错误，并激发那些原本被隐藏的推理能力。
本文还指出了这一方法除了能提升基准测试分数之外，还具有其他实际优势。多种推理路径使得人们更容易理解模型是如何得出结论的，而这些路径之间达成的一致性程度，也为评估模型的可靠性提供了依据。
当不同的独立推理过程始终得出相同的答案时，这种一致性就成为了可靠性的有力证明；相反，如果各种推理结果之间存在较大分歧，那就说明模型存在不确定性，需要进一步深入分析。
当然，这些优势也伴随着一定的代价。生成多种推理路径需要额外的计算资源，这使得这种方法的推理成本高于传统的“思维链”提示机制。尽管作者们证明，使用相对较少的样本数量就能取得显著的改进效果，但额外的计算开销仍然是这一方法的主要局限性之一。
他们还指出，错误的或毫无意义的推理路径仍然有可能被生成。“自我一致性”机制虽然能减轻这些错误的影响，但并不能完全消除它们。
更广泛地说，本文标志着研究人员在语言模型推理领域研究思路的一个重要转变。此前的研究主要集中在通过改进模型架构、增加数据量或加强训练来提升模型性能，而“自我一致性”机制证明了，采用更优的推理策略同样能够带来显著的进步。
这一见解对后续关于测试时推理、搜索、验证以及以推理为导向的语言模型的研究产生了深远影响，因此本文堪称现代大型语言模型推理能力发展历程中的重要里程碑之一。
结论
“自我一致性”机制其实是“思维链”提示机制所提出理念的自然延伸。
这种看似微小的解码方式调整，实际上产生了意想不到的巨大影响。通过用多种独立的推理路径来替代单一的推理过程，并选择这些路径中达成一致的结果，“自我一致性”机制在算术、常识推理和符号推理等任务中均显著提升了模型的性能。
更重要的是，这一发现表明，更优秀的推理能力并不总是需要更大的模型或额外的训练。有时候，只需要让模型用多种方式来进行思考即可。
回顾过去，这篇论文标志着大型语言模型在推理能力发展方面的一个重要转折点。它将研究重点从生成“最有可能”的推理路径，转变为通过多个推理过程之间的协同作用来确定“最可靠”的答案。
这个简单的理念后来成为了许多测试时推理、搜索、验证技术以及后续开发的以推理为导向的语言模型的基础，使得《自我一致性》这篇论文成为现代大型语言模型推理领域最具影响力的研究之一。
下图总结了那些为现代提示系统、推理能力及智能体技术的发展奠定基础的关键论文。
从GPT-3展示的上下文学习能力开始，这些论文记录了推理技术的高速发展历程，包括零样本思维链技术、思维链模型、自我一致性机制、从小规模到大规模的提示方法、PAL技术、思维程序模型、思维树模型、ReAct系统以及反思机制等。
总的来说，这些研究成果共同证明了：科学研究的方向已经从单纯地训练语言模型，转变为构建能够进行结构化推理、规划、使用工具、自我反思，并逐步实现自主解决问题的系统。
