在漫长的技术创新历史中，只有少数几种技术的发展像大型语言模型那样产生了如此深远的影响。大型语言模型是一种先进的人工智能系统，它们通过训练海量数据集来理解、生成和处理人类语言，从而用于写作、翻译、摘要生成以及驱动聊天机器人等各种任务。
拥有这样一个强大的离线工具，确实会带来翻天覆地的变化。这些本地化大型语言模型让你即使在离线状态下也能随时使用它们。读完本指南后，你将会了解什么是本地化大型语言模型、为什么它们如此重要，以及如何自己动手运行它们——无论是通过简单的方法，还是更技术性的途径。
本指南适合以下人群阅读，但并不限于这些人群：
– 开发者、技术文档编写人员或对新技术充满兴趣的工程师；
– 熟悉终端操作的人士；
– 曾接触过AI工具（如ChatGPT、Claude等）的人；
– 那些几乎没有本地运行大型语言模型经验的人。
目录
- 什么是本地化大型语言模型？
- “本地运行”意味着什么？
- 为什么要在本地运行大型语言模型？
- 如何设置本地化大型语言模型
- Ollama是什么？
- Ollama的工作原理是什么？
- 如何安装Ollama
- 如何下载大型语言模型
- 如何运行你下载的大型语言模型
- 如何使用模型文件在Ollama中定制本地化大型语言模型
- 结论
什么是本地化大型语言模型？
本地化大型语言模型将人工智能技术从云端带到了你的个人设备上。虽然标准的大型语言模型体积庞大，不适合在消费级设备上运行，但通过一种称为量化的技术，可以降低它们的数值精度——这就好比将一个高分辨率的视频文件压缩后，使其能够在手机上流畅播放一样。这样一来，强大的人工智能功能就可以在你的笔记本电脑上本地运行了，而无需依赖庞大的服务器集群。
在本地运行像Meta的Llama 3.3、Google的Gemma 3或阿里巴巴的Qwen系列这样的模型，不仅能确保数据隐私得到充分保护，还能避免支付订阅费用。因为这些人工智能系统运行在你的机器上，所以你能获得一个快速且具备离线功能的开发环境，你的代码也会处于你的直接控制之下。
“在本地运行”意味着什么
要了解本地运行的大型语言模型是如何在您的机器上运行的，就必须了解计算机的物理构成。当您在本地运行Llama 3或Mistral这样的模型时，您的硬件会从一台通用计算机转变为专门的AI处理设备。
这一过程依赖于四个关键硬件的紧密协作：存储设备、RAM、GPU和CPU。
存储设备（模型的永久存储空间）
在开始使用这些模型之前，首先需要下载它们。与普通应用程序不同，大型语言模型实际上是一份庞大的“权重文件”，其中包含代表AI所有知识的数值数据。
-
文件格式：您会看到.gguf或.safetensors这类文件格式。这些文件的体积非常大：一个参数量为70亿的模型通常会占用5GB到10GB的磁盘空间。
-
SSD与HDD的区别：使用SSD是必不可少的。因为每次运行模型时，计算机都需要将数吉字节的数据加载到内存中，而传统的硬盘会导致系统等待很长时间才能完成数据读取。
VRAM与RAM（模型的工作区）
这是影响模型运行速度的最关键因素。为了让AI能够快速响应用户的指令，它的所有计算数据都必须存储在高速内存中。
-
VRAM（显存）：这种内存是直接连接到显卡上的，其处理速度远高于普通系统RAM。如果模型的全部数据都能容纳在VRAM中，AI的反应速度甚至会超过人类的打字速度。
-
系统RAM：如果模型的规模超过了GPU的处理能力，软件就会将部分数据存储到系统的普通RAM中。虽然这样可以让配置普通的计算机也能运行大型模型，但性能会大幅下降——处理速度可能会从每秒50个词降低到只有1到2个词。
GPU（数学计算引擎）
虽然CPU是计算机的“管理者”，但GPU（图形处理单元）才是真正的“数学专家”。
-
并行计算能力：大型语言模型是通过同时执行数十亿次简单的数学运算来工作的。CPU虽然拥有几个高性能核心，但GPU却配备了数千个专为并行计算设计的小型核心。
-
统一内存架构（苹果M1芯片）：在现代的Mac电脑上（如M1/M2/M3系列），CPU和GPU会共享同一块内存。这种“统一内存”设计极大地提升了本地运行AI模型的性能，使得即使是配置较低的笔记本电脑也能处理那些通常需要高端台式机GPU才能运行的模型。
为了获得最佳的性能，请务必将您的计算机规格与所需模型对齐，确认自己是否能够顺利运行这些模型。
为什么要在本地运行大型语言模型？
在本地运行大型语言模型并不仅仅是为了满足技术爱好者的需求，对于任何希望完全掌控自己的AI系统的人来说，这都是一个明智的选择。在当地运行这类模型的主要优势包括：
-
离线使用：你并不受云环境的限制，无论身处何地都可以使用自己的数据。无论是在飞机上还是在偏远地区，你的AI模型都能在无需互联网连接的情况下正常运行。
-
隐私与数据所有权：由于没有连接到云端，因此不存在数据或提示被第三方远程利用或被用于训练其他模型的风险。
-
成本控制：无需每月支付订阅费或API令牌费用。只要拥有相应的硬件设备，根据你的配置，运行这些模型基本上是免费的。
-
定制化与实验：如果你下载了多个模型，可以随时进行切换尝试。不同的模型可以用来完成特定的任务，你还可以调整那些大型供应商通常会限制用户修改的设置。
-
加速开发流程：对于开发者来说，本地运行模型消除了网络延迟的问题，从而能够实现近乎即时的响应和更快速的测试循环。
需要考虑的权衡因素
本地大型语言模型也存在一些需要考虑的权衡因素：
-
硬件要求：为了获得流畅的性能，你需要配备性能良好的硬件——具体来说，需要一块拥有足够VRAM的GPU（通常建议8GB以上），或者一台搭载Apple Silicon处理器的Mac电脑（M1/M2/M3系列）。
-
性能限制：虽然本地模型的性能正在不断提升，但它们可能仍然无法与像GPT-4这样规模庞大、耗资数十亿美元的云集群相比，在“推理能力”上达到同样的水平。
-
初始设置难度
>并非所有情况都适合“即插即用”。如果你想使用某些特定功能，就需要花费一些时间来配置软件、下载模型文件，并解决可能出现的环境问题。
尽管存在这些权衡因素，但能够拥有这样一种工具并能够自主控制它，仍然在日常生活中带来了巨大的便利。
如何搭建本地大型语言模型
有很多方法可以获取和搭建本地大型语言模型，但在本指南中，我们将使用Ollama这一用户友好的工具。通过它，你可以将私密且安全的AI技术直接应用到自己的电脑上。你将学习如何通过一个命令来下载并部署高性能模型，根据自己的CPU/GPU配置对它们进行优化，并利用强大的Modelfile系统来“定制”符合自己需求的AI模型。
我们将会涵盖以下内容：
-
基础知识：了解Ollama是如何将你的电脑变成一个强大的AI计算平台的。
-
安装与设置：在不到五分钟的时间内完成整个搭建过程。
-
模型管理：学习如何查找、下载并运行像Llama 3或Mistral这样的模型。
-
定制化操作：编写你的第一个Modelfile文件，为你的AI模型指定具体的功能或“个性”。
完成这些步骤后，你将会拥有一套完全独立的人工智能工作站，它能够进行复杂的推理运算，而无需向云端传输任何数据。
什么是Ollama？
Ollama是一款免费的开源工具，它使得在自家硬件上运行大型语言模型变得像打开网页浏览器一样简单。它消除了人工智能研究通常伴随的技术复杂性，为你提供了一种简洁明了的方式来与人工智能模型进行交互、管理甚至自定义这些模型。
在Ollama出现之前，在本地运行人工智能相关程序是一件非常麻烦的事情。你需要在网上寻找合适的“权重”文件，搭建复杂的编码环境，还要担心硬件是否会出故障。但现在，再也不需要花费数小时来配置软件了——Ollama会自动完成这一切。它会自动检测你的显卡，并为你调整相应的设置。
Ollama的工作原理
Ollama遵循一种简单的“思维模型”，这种模型模仿了你使用手机应用程序或流媒体服务播放音乐的方式。
模型库
Ollama维护着一个庞大的“模型库”，其中包含了诸如Llama 3、Mistral和Gemma等预先打包好的人工智能模型。你无需担心文件格式的问题，只需从列表中选择一个模型名称，Ollama就会将其下载到你的设备上。
本地运行引擎
一旦获取到了所需的模型，Ollama就会充当运行引擎的角色。它会启动该模型，将其加载到计算机的内存中，然后开始进行数学运算。Ollama会智能地利用你的显卡来提升运行速度，但如果你只有普通的CPU，它也同样可以正常工作。
命令行界面
Ollama采用了命令行界面来进行操作。虽然这个说法听起来有些技术性，但实际上就是意味着你可以在终端窗口中输入简单的指令来控制Ollama。想要与某个模型进行对话？只需告诉它开始运行即可；想查看自己下载了哪些模型？只需要请求它列出这些模型的列表。
如何安装Ollama
请访问Ollama的下载页面。对于Windows和Mac系统，只需点击下载按钮即可。
对于Linux系统，请运行以下命令：
curl -fsSL https://ollama.com/install.sh | sh
下载完成后，请打开该文件，按照安装说明进行操作即可完成安装。
在Windows和Mac系统中，安装完成后，Ollama的原生桌面应用程序应该会自动打开。
对于那些觉得命令行界面令人望而却步的人来说，这种图形用户界面无疑非常有用；使用Ollama并不需要具备编程技能。你无需输入命令，只需通过一个外观与普通聊天应用毫无区别的界面来管理模型并开始对话即可。
如何下载大型语言模型
如前所述，Ollama拥有一个包含多种规格和用途的大型语言模型的丰富资源库。要将某个模型下载到你的电脑上，只需使用“pull”命令后跟上该模型的名称即可。例如：
ollama pull gemma3:1b要查看你已下载或拥有的模型，可以使用“list”命令，如下所示：
ollama list如何运行你下载的大型语言模型
现在你的电脑上已经安装好了该大型语言模型。要使用它，只需使用“run”命令后跟上模型的名称即可。例如：
ollama run gemma3:1b模型将会被加载出来，之后你就可以向它发送指令了。
要退出该模型，可以按Ctrl + d键，或者输入/bye命令。
你还可以执行其他操作，比如删除模型、复制模型、查看模型的详细信息等等。输入“ollama help”即可查看所有这些命令。
运行模型：您可以像使用其他Ollama模型一样，通过run命令来运行这个模型：
ollama run tech-writer