在 Linux 上本地运行大模型

为什么要在自己的机器上运行大模型

模型在这台机器上回答问题、阅读你的文件。没有网络也能用。没有订阅，没有用量限制，也无需账户。代价是：能装进个人电脑的模型比最大的在线模型小——写作、总结和处理你的文档都很出色，但最难的推理就稍逊一筹。

你需要什么

一台运行 Linux 的 x86_64 PC。用处理器运行时，由电脑的内存（RAM）决定：约 40 亿参数需要 8 GB，80 亿参数需要 16 GB，140 亿参数需要 24 GB。内存速度很重要：DDR5 比 DDR4 生成得更快。NVIDIA 或 AMD 显卡配合能在 Linux 上使用它的工具，会快很多。

该选哪个模型

Qwen3.5 在各种尺寸下都能用多种语言写得很好；Llama、Gemma、Mistral 和 gpt-oss 也是不错的选择。用处理器运行时，就用约 40 亿到 90 亿参数的小模型：更大的模型虽然装得进内存，但生成太慢，用起来不舒服。

三种方法

• Twoody——与 Mac 和 Windows 上相同的应用：为你的机器推荐合适的模型并一键安装，阅读你的文档文件夹并注明出处。提供 AppImage 或 .deb 软件包，已在 Ubuntu 24.04 上测试；模型在处理器上运行。
• LM Studio——一款可以探索数千个模型及其设置的应用。提供 AppImage，适用于 Ubuntu 20.04 或更高版本，支持 x64（需 AVX2）和 ARM64。
• Ollama——一个通过终端或其 API 使用的引擎，一条命令即可安装。支持 NVIDIA 显卡（CUDA）和 AMD 显卡（ROCm）。

与 Mac 和 Windows 版有何不同

这是同一款应用，对话和文档都一样。在 Linux 上，模型在处理器上运行：Twoody 在 Linux 上不使用显卡。目前需要手动更新：新版本要你自己下载。另外有三项功能仅限 Mac：读取扫描版 PDF、“通讯录”和“日历”，以及使用 macOS 语音识别的听写——在 Linux 上，你的语音由应用自带的 whisper.cpp 在本机转写。

用 Twoody，只需三步

1. 1

   加入候补名单：Twoody 目前处于内测阶段，Linux 版和 Mac、Windows 版都是如此；向你开放时，我们会写信通知你。

2. 2

   安装它为你的机器推荐的模型：2.8 GB 或 5.8 GB，一键完成。

3. 3

   提出你的第一个问题——愿意的话，可以关掉 Wi-Fi 试试。