← 返回蜂巢洞察

使用Python从零开始构建并训练GLM-5.3-Flash模型

GLM-5.3-Flash结合了线性注意力机制与稀疏注意力机制、专家混合模型设计,以及受流形约束的超连接结构。其简化版本包含2500万个参数,可以使用Python进行构建,并在标准CPU上训练。 我们刚刚在freeCodeCamp.org的YouTube频道发布了一门课程,该课程将教你从零开始构建和训练多模态语言模型,内容涵盖预训练与后训练阶段。这门课程由@vukrosic制作,所有的代码、幻灯片及实验数据都存储在视频描述中链接的GitHub仓库中。 该模型使用了包含260个词素的字节级词汇表、192个词素的上下文信息处理机制,同时还配备了一个小型视觉编码器,该编码器能够将32×32大小的图像

GLM-5.3-Flash结合了线性注意力机制与稀疏注意力机制、专家混合模型设计,以及受流形约束的超连接结构。其简化版本包含2500万个参数,可以使用Python进行构建,并在标准CPU上训练。

我们刚刚在freeCodeCamp.org的YouTube频道发布了一门课程,该课程将教你从零开始构建和训练多模态语言模型,内容涵盖预训练与后训练阶段。这门课程由@vukrosic制作,所有的代码、幻灯片及实验数据都存储在视频描述中链接的GitHub仓库中。

该模型使用了包含260个词素的字节级词汇表、192个词素的上下文信息处理机制,同时还配备了一个小型视觉编码器,该编码器能够将32×32大小的图像转换为16个词素。

通过这门课程,你将学习到以下内容:

  • 分词与嵌入
    为什么小型模型需要使用较小的字节级词汇表?权重共享机制又是如何实现嵌入层与输出层之间的信息传递的。
  • 线性注意力与稀疏注意力
    线性注意力如何保持对最近出现词素的记忆;而每第四层则采用稀疏注意力机制,并通过索引器来提取远距离的相关信息。
  • 专家混合模型词素是如何被分配到少数几个“专家”模块中,以及如何利用共享的“专家”模块来处理所有词素共有的信息。
  • 视觉信息的整合
    图像是如何被分割成小块,然后通过2D RoPE技术将这些小块合并成词素,从而使模型能够识别数字。
  • 预训练实验
    数据多样性、数据交错排列以及不同的训练流程如何影响模型的学习效果?其中,数据交错排列为何有助于防止“灾难性遗忘”现象的发生。
  • 强化学习
    如何设计奖励函数?如何在GRPO框架中计算优势值?为什么只更新模型的最后几层?如何调整测试时的组大小、温度参数及随机种子值?

经过强化学习训练后,该模型在24项Python任务中的完成率从0提高到了16。

请在freeCodeCamp.org的YouTube频道观看完整课程(时长为44分钟)。

相关文章

技术实践

在您的CPU上从零开始构建并训练一个拥有2500万参数的大型语言模型

你并不需要庞大的GPU集群来了解现代前沿人工智能的运作原理。在freeCodeCamp.org的YouTube频道上发布的新视频中,你可以直接在自己的笔记本电脑或普通CPU上构建、预训练并微调这个拥有2500万个参数的语言模型。 虽然前沿实验室会使用拥有数十亿个参数的大型系统进行训练,但其核心架构、数学原理和工作流程其实都是相同的。将模型的参数数量减少到2500万,并使用简洁的词汇表,就能大幅降低对昂贵云计算资源的依赖,使得训练过程能够在几秒钟内就在你的CPU上完成。这种快速的迭代机制让你能够实时观察到数据集、损失函数及奖励机制的变化如何影响模型行为。 本课程涵盖以下内容: 现代大语言模型架构

阅读全文
技术实践

高速决策流程:从零开始构建的Jev算法以及仅用于预填充数据的推理机制

自回归机制用于生成标记通常速度较慢,且耗费大量内存。尤其是当你只需要模型来进行结构化的分类或路由决策,而不是生成整段文本时,这种方法的局限性更为明显。 为了帮助工程师们克服这些限制,freeCodeCamp刚刚发布了 Jev课程:从零开始学习仅基于预填充数据的推理与决策模型 这一教学资源。 这份深入的PyTorch教程会指导你构建那些运行速度极快、以决策为核心功能的系统架构,这些系统能够完全在预填充数据阶段完成对输入数据的处理。 你将学到什么 仅基于预填充数据的架构 学习如何消除逐个标记解码的环节,从而让系统能够直接根据提示信息进行超低延迟的分类与操作。 编码器与解码器的设计 从零开始使用Py

阅读全文
技术实践

什么是模型蒸馏?开发者指南

随着时间的推移,知识以多种形式被传承下来。在古代美索不达米亚(今天的伊拉克)文字尚未被发明之前,法律、历史、神话、歌曲等各种信息都是通过口耳相传的方式从一代人传到另一代人的。这种传播方式要么是通过具体的指示来进行,要么是通过讲故事来实现的——尤其是那些民间传说以及发生在很久以前的事件。 但另一种常见的知识传递方式就是师徒之间的传授,无论是正式的还是非正式的。我们在历史上也能看到这样的例子:《圣经》记载,耶稣有十二个门徒,在他开始传道直到去世的这段时间里,每天都教导他们。苏格拉底教导柏拉图,而柏拉图又在雅典创立了一所学堂,并在那里教导亚里士多德长达二十年。亚里士多德在科学、逻辑学和政治学领域取得

阅读全文
技术实践

报告主题:现实世界中的自适应推荐系统:推理机制、评估方法与系统设计

Mallika Rao指出,自适应推荐系统的真正复杂性并不在于其模型架构本身。她阐述了实时反馈机制、数据检索的新鲜度保障、多阶段协调流程以及端到端的延迟控制措施,这些因素如何使系统能够在延迟、成本和可观测性等现实操作限制条件下,在生产环境中持续学习并不断发展。 作者:Mallika Rao

阅读全文