Twoody

在 Linux 上运行本地大模型

在 Linux 上本地运行大模型

大语言模型可以完全在你的 Linux 机器上运行:私密、离线、免费。下面介绍你需要什么、该选哪个模型,以及用 AppImage 或 .deb 软件包最简单的上手方法。

为什么要在自己的机器上运行大模型

模型在这台机器上回答问题、阅读你的文件。模型安装好后,没有网络也能用。没有订阅,没有用量限制,也无需账户。代价是:能装进个人电脑的模型比最大的在线模型小——写作、总结和处理你的文档都很出色,但最难的推理就稍逊一筹。

你需要什么

一台运行 Linux 的 x86_64 PC。用处理器运行时,由电脑的内存(RAM)决定:约 40 亿参数需要 8 GB,80 亿参数需要 16 GB,140 亿参数需要 24 GB。内存速度很重要:DDR5 比 DDR4 生成得更快。

该选哪个模型

Qwen3.5 在各种尺寸下都能用多种语言写得很好;Llama、Gemma、Mistral 和 gpt-oss 也是不错的选择。用处理器运行时,就用约 40 亿到 90 亿参数的小模型:更大的模型虽然装得进内存,但生成太慢,用起来不舒服。

Twoody 能为你做什么

  • 为你的机器推荐合适的模型并一键安装;它的目录共有 57 个模型,每个都标明所需内存。
  • 阅读你的文档文件夹,回答会注明出处,精确到页。
  • 以 AppImage 或 .deb 软件包形式提供,已在 Ubuntu 24.04 上测试;模型在处理器上运行。

与 Mac 和 Windows 版有何不同

这是同一款应用,对话和文档都一样。在 Linux 上,模型在处理器上运行:Twoody 在 Linux 上不使用显卡。目前需要手动更新:新版本要你自己下载。另外有几项功能仅限 Mac:读取扫描版 PDF、Mac 上的“日历”和“通讯录”、使用 macOS 语音识别的听写(在 Linux 上,你的语音由应用自带的 whisper.cpp 在本机转写),以及 MLX。

用 Twoody,只需三步

  1. 1

    加入候补名单:Twoody 目前处于内测阶段,Linux 版和 Mac、Windows 版都是如此;向你开放时,我们会写信通知你。

  2. 2

    安装它为你的机器推荐的模型,一键完成:Qwen3.5 4B 为 3.5 GB,9B 为 6.7 GB。

  3. 3

    提出你的第一个问题——愿意的话,可以关掉 Wi-Fi 试试。

常见问题

在 Linux 上本地运行大模型免费吗?

免费:开放权重的模型可以免费下载,Twoody 也是免费的。唯一的成本是机器的内存和电费。

Twoody 在 Linux 上使用显卡吗?

不使用:在 Linux 上,Twoody 用处理器运行模型,所以请选用约 40 亿到 90 亿参数的小模型。如果你的机器上有一个用显卡运行、兼容 OpenAI 的服务器,Twoody 也可以使用它:“模型”›“高级”›“引擎”›“其他地址”。

Twoody 能在哪些发行版上运行?

Twoody 已在 Ubuntu 24.04(x86_64)上测试。AppImage 可在大多数发行版上运行;.deb 软件包可将 Twoody 安装到 Debian、Ubuntu 及其衍生发行版上。

在 Linux 上运行大模型需要多少内存?

Qwen3.5 4B 这样的小模型需要 8 GB。在 Linux 上,内存 32 GB 及以上时 Twoody 会推荐 Qwen3.5 9B;从 16 GB 起,你也可以自己选择它。计算器会显示一台没有显卡、配备 DDR4 或 DDR5 内存的 PC 能运行哪些模型,以及运行速度。

现在能在 Linux 上用 Twoody 吗?

在内测中可以:Twoody 可在 Linux(x86_64)上运行,与在 Mac 和 Windows 上一样。下载仅向内测用户开放:留下邮箱即可加入候补名单。

在向所有人开放之前,抢先试用 Twoody。

内测免费,支持 Mac、Windows 和 Linux,也支持 iPhone 和 Android(配合你电脑上的 Twoody 使用)。留下你的电子邮件地址申请邀请:为你准备好后,我们会写信通知你。

一封确认邮件、一封 Twoody 可供你使用时的通知邮件,以及 Twoody 的最新消息。一键即可退订。我们如何处理你的邮箱地址。