创造了现代人工智能的那篇论文：Transformer背后的故事

每次你与现代人工智能模型进行交互时，其实都在使用一种源于2017年那篇名为《注意力才是关键》的研究论文所提出的架构。

我们在freeCodeCamp.org的YouTube频道上发布的最新视频，详细讲述了八位谷歌研究人员是如何着手改进Google Translate的，最终又如何彻底改变了整个科技领域的格局的。

在这一突破性成果出现之前，人工智能领域主要依赖循环神经网络。这类模型会按顺序逐词处理文本，但这带来了两个巨大的障碍：

• “上下文丢失”：当处理长句或长段落时，模型会忘记开头那些重要的信息。

• “训练速度缓慢”：由于需要顺序处理数据，各个步骤无法并行执行，因此即使使用庞大的GPU集群，模型的训练速度也依然很慢。

研究人员提出了一个简单的问题：如果模型能够同时理解整段文本，会怎么样呢？

通过将“注意力机制”从原有的处理流程中分离出来，并完全摒弃顺序处理的模式，他们创造了Transformer这一全新的架构。这种新架构不仅超越了现有的翻译技术标准，而且在训练所需的时间上也大幅减少。

并行处理能力的实现使得模型能够有效地处理规模庞大的数据集。正是这一突破为当今的生成式人工智能技术奠定了基础，也让这篇论文的作者们后来创立了Cohere、OpenAI和Character.ai等知名的人工智能企业。

想要深入了解这篇论文是如何改变计算机技术的，请访问freeCodeCamp.org的YouTube频道。