在 Windows 上运行本地大模型
在你的 Windows PC 上本地运行大模型
大语言模型可以完全在你的 Windows PC 上运行:私密、离线、免费。下面介绍你需要什么、该选哪个模型、用显卡还是处理器,以及最简单的上手方法。
为什么要在 PC 上运行大模型
模型在这台 PC 上回答问题、阅读你的文件。模型安装好后,没有网络也能用。没有订阅,没有用量限制,也无需账户。代价是:能装进 PC 的模型比最大的在线模型小——写作、总结和处理你的文档都很出色,但最难的推理就稍逊一筹。
你需要什么
64 位 Windows 10 或 11。有两种内存要考虑。用处理器运行时,由电脑的内存(RAM)决定:约 40 亿参数需要 8 GB,80 亿参数需要 16 GB,140 亿参数需要 24 GB。用显卡运行时,由显卡自身的显存(VRAM)决定:40 亿到 80 亿参数的模型需要 8 GB,140 亿参数或 gpt-oss 20B 需要 16 GB,320 亿参数需要 24 到 32 GB。能完全装进显卡的模型,生成速度远快于在处理器上运行。
该选哪个模型
Qwen3.5 在各种尺寸下都能用多种语言写得很好;Llama、Gemma、Mistral 和 gpt-oss 也是不错的选择。有显卡时,选择能完全装进显存的模型:溢出到电脑内存的模型会慢很多。没有显卡时,就用约 40 亿参数的小模型。
Twoody 能为你做什么
- 为你的 PC 推荐合适的模型并一键安装;它的目录共有 57 个模型,每个都标明所需内存。
- 阅读你的文档文件夹,回答会注明出处,精确到页。
- 安装程序由 Osmove 签名;驱动程序支持时,模型通过 Vulkan 在显卡上运行,否则在处理器上运行。
与 Mac 版有何不同
这是同一款应用,对话和文档都一样。有几项功能仅限 Mac:读取扫描版 PDF、Mac 上的“日历”和“通讯录”、使用 macOS 语音识别的听写(在 Windows 上,你的语音由应用自带的 whisper.cpp 在 PC 上转写),以及 MLX。与 Mac 上一样,Twoody 会在你点击确认后自动更新。
用 Twoody,只需三步
-
1
加入候补名单:Twoody 目前处于内测阶段,Windows 版和 Mac、Linux 版都是如此;向你开放时,我们会写信通知你。
-
2
安装它为你的 PC 推荐的模型,一键完成:Qwen3.5 4B 为 3.5 GB,9B 为 6.7 GB。
-
3
提出你的第一个问题——愿意的话,可以关掉 Wi-Fi 试试。
常见问题
在 Windows 上本地运行大模型免费吗?
免费:开放权重的模型可以免费下载,Twoody 也是免费的。唯一的成本是 PC 的内存和电费。
我需要显卡吗?
不需要,但有显卡会快很多。没有显卡时,模型在处理器上运行:小模型可以用,只是更慢。驱动程序支持时,Twoody 会通过 Vulkan 使用显卡。
在 Windows 上运行大模型需要多少内存?
Qwen3.5 4B 这样的小模型需要 8 GB。在 Windows 上,内存 32 GB 及以上时,或 16 GB 及以上且显卡自带 10 GB 显存时,Twoody 会推荐 Qwen3.5 9B;从 16 GB 起,你也可以自己选择它。有显卡时,由显存(VRAM)决定:40 亿到 80 亿参数的模型需要 8 GB,140 亿参数需要 16 GB。计算器会显示每块显卡能运行哪些模型,以及运行速度。
Windows 提示“Windows 已保护你的电脑”:这正常吗?
正常,新应用在建立信誉之前都会这样,即使已经签名。先确认安装程序由 Osmove 签名(属性 › 数字签名),然后点击“更多信息”,再点击“仍要运行”。
现在能在 Windows 上用 Twoody 吗?
在内测中可以:Twoody 可在 Windows 10 和 11(64 位)上运行,与在 Mac 和 Linux 上一样。下载仅向内测用户开放:留下邮箱即可加入候补名单。
在向所有人开放之前,抢先试用 Twoody。
内测免费,支持 Mac、Windows 和 Linux,也支持 iPhone 和 Android(配合你电脑上的 Twoody 使用)。留下你的电子邮件地址申请邀请:为你准备好后,我们会写信通知你。