本地大模型计算器
你的电脑能跑哪个本地大模型?速度有多快?
选择你的 Mac 或 PC,看看哪些开放权重模型装得进它的内存、生成速度有多快、读一份文档要多久,以及它们擅长什么。
适合这台电脑的模型
在 16 GB 的 M2 上:62 个模型中有 31 个运行流畅。
Twoody 为这台 Mac 推荐的模型
Qwen3.5 9B,一键安装,对话长度 32k token。
需要 7.4 GB 内存 · 运行流畅 · 每秒 8.1–16 个 token (比你阅读快) · 2 分钟 读完 20 页
Twoody 正处于内测阶段:留下你的电子邮件地址,即可申请参加。
在这台电脑上运行流畅
7.6 / 10.7 GB
MLX:6.9 GB
运行流畅
每秒 9.5–14 个 token
比你阅读快
3 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
7.9 / 10.7 GB
运行流畅
每秒 11–16 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
7.4 / 10.7 GB
MLX:6.9 GB
运行流畅
每秒 8.1–16 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
6.7 / 10.7 GB
MLX:5.9 GB
运行流畅
每秒 11–16 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
8.4 / 10.7 GB
MLX:7.6 GB
运行流畅
每秒 13–18 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
8 / 10.7 GB
MLX:7.7 GB
运行流畅
每秒 12–17 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
7.2 / 10.7 GB
MLX:6.8 GB
运行流畅
每秒 13–19 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
6.9 / 10.7 GB
MLX:6.5 GB
运行流畅
每秒 13–19 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
8.2 / 10.7 GB
MLX:7.8 GB
运行流畅
每秒 14–19 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
6.6 / 10.7 GB
MLX:5.4 GB
运行流畅
每秒 23–33 个 token
几乎即时
64 秒 读完 20 页
- 聊天与写作
- 翻译
4.4 / 10.7 GB
MLX:4.2 GB
运行流畅
每秒 17–33 个 token
几乎即时
68 秒 读完 20 页
- 聊天与写作
- 翻译
4.9 / 10.7 GB
MLX:4.7 GB
运行流畅
每秒 25–37 个 token
几乎即时
56 秒 读完 20 页
- 聊天与写作
- 翻译
3.3 / 10.7 GB
MLX:3 GB
运行流畅
每秒 16–33 个 token
几乎即时
58 秒 读完 20 页
- 聊天与写作
5 / 10.7 GB
MLX:4.5 GB
运行流畅
每秒 30–43 个 token
几乎即时
54 秒 读完 20 页
- 聊天与写作
- 翻译
4.6 / 10.7 GB
MLX:4.3 GB
运行流畅
每秒 26–37 个 token
几乎即时
54 秒 读完 20 页
- 聊天与写作
- 翻译
3.9 / 10.7 GB
MLX:3.7 GB
运行流畅
每秒 32–45 个 token
几乎即时
45 秒 读完 20 页
- 聊天与写作
- 翻译
4.7 / 10.7 GB
MLX:3.7 GB
运行流畅
每秒 44–63 个 token
感觉即时
32 秒 读完 20 页
2.7 / 10.7 GB
MLX:2.3 GB
运行流畅
每秒 33–66 个 token
感觉即时
33 秒 读完 20 页
1.5 / 10.7 GB
MLX:1.3 GB
运行流畅
每秒 60–179 个 token
感觉即时
13 秒 读完 20 页
10.4 / 10.7 GB
MLX:9 GB
能运行:请关闭其他应用
每秒 36–52 个 token
几乎即时
43 秒 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 代码
10.5 / 10.7 GB
MLX:10.6 GB
能运行:请关闭其他应用
每秒 8.1–12 个 token
比你阅读快
3 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
6.7 / 10.7 GB
MLX:5.9 GB
运行流畅
每秒 11–16 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
7.2 / 10.7 GB
MLX:6.8 GB
运行流畅
每秒 13–19 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
6.9 / 10.7 GB
MLX:6.5 GB
运行流畅
每秒 13–19 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
5.5 / 10.7 GB
MLX:5.2 GB
运行流畅
每秒 14–21 个 token
比你阅读快
2 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
4.9 / 10.7 GB
MLX:4.7 GB
运行流畅
每秒 25–37 个 token
几乎即时
56 秒 读完 20 页
- 聊天与写作
- 翻译
4.6 / 10.7 GB
MLX:4.3 GB
运行流畅
每秒 26–37 个 token
几乎即时
54 秒 读完 20 页
- 聊天与写作
3.2 / 10.7 GB
MLX:3 GB
运行流畅
每秒 34–48 个 token
几乎即时
44 秒 读完 20 页
- 聊天与写作
- 翻译
2.1 / 10.7 GB
MLX:2.2 GB
运行流畅
每秒 27–55 个 token
几乎即时
39 秒 读完 20 页
2.5 / 10.7 GB
运行流畅
每秒 40–58 个 token
感觉即时
35 秒 读完 20 页
1.6 / 10.7 GB
MLX:1.4 GB
运行流畅
每秒 50–149 个 token
感觉即时
17 秒 读完 20 页
能运行,但慢很多 (6)
11.2 / 10.7 GB
MLX:10.1 GB
部分在处理器上运行:慢很多
每秒 3–4.3 个 token
比你阅读慢
9 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
11.9 / 10.7 GB
MLX:11.1 GB
部分在处理器上运行:慢很多
每秒 2.9–4.2 个 token
比你阅读慢
9 分钟 读完 20 页
- 聊天与写作
- 你的文档
11.6 / 10.7 GB
MLX:10.6 GB
部分在处理器上运行:慢很多
每秒 3.2–4.6 个 token
比你阅读慢
8 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
12 / 10.7 GB
MLX:11.9 GB
部分在处理器上运行:慢很多
每秒 9–13 个 token
比你阅读快
3 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 代码
- 推理
- 智能体
11.7 / 10.7 GB
MLX:11 GB
部分在处理器上运行:慢很多
每秒 2.9–4.2 个 token
比你阅读慢
9 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 翻译
- 推理
11.9 / 10.7 GB
MLX:12 GB
部分在处理器上运行:慢很多
每秒 2.9–4.2 个 token
比你阅读慢
9 分钟 读完 20 页
- 聊天与写作
- 你的文档
- 推理
对这台电脑来说太大(25)
- Gemma 4 26B (A4B) · 15.5 / 10.7 GB
- Magistral Small 1.2 · 16.1 / 10.7 GB
- Devstral Small 2 24B · 16.1 / 10.7 GB
- Qwen3.6 35B-A3B · 16.5 / 10.7 GB
- Mistral Small 3.2 24B · 17.3 / 10.7 GB
- GLM-4.7 Flash · 18.1 / 10.7 GB
- Qwen3-Coder 30B-A3B · 19.1 / 10.7 GB
- Qwen3 30B-A3B Instruct 2507 · 19.2 / 10.7 GB
- Qwen3 30B-A3B Thinking 2507 · 19.2 / 10.7 GB
- Gemma 4 31B · 19.4 / 10.7 GB
- Qwen3.5 27B · 19.4 / 10.7 GB
- GLM-4 32B · 19.6 / 10.7 GB
- Qwen3.8 27B · 20.3 / 10.7 GB
- Qwen3.6 27B · 20.5 / 10.7 GB
- Qwen3.6 35B-A3B (4 bits) · 20.8 / 10.7 GB
- Nemotron 3 Nano 30B-A3B · 21.3 / 10.7 GB
- Qwen3.5 35B-A3B · 22.6 / 10.7 GB
- Qwen3 32B · 22.7 / 10.7 GB
- DeepSeek-R1 Distill Qwen 32B · 22.8 / 10.7 GB
- Llama 3.3 70B · 44.9 / 10.7 GB
- Qwen3-Next 80B-A3B · 45.9 / 10.7 GB · 不在 Twoody 的目录中
- gpt-oss 120B · 59.9 / 10.7 GB · 不在 Twoody 的目录中
- Mistral Small 4 119B · 69.4 / 10.7 GB · 不在 Twoody 的目录中
- Qwen3.5 122B-A10B · 74.3 / 10.7 GB · 不在 Twoody 的目录中
- Qwen3 235B-A22B Instruct 2507 · 136.1 / 10.7 GB · 不在 Twoody 的目录中
每个模型的内存数值,都是 Twoody 在这台电脑的“模型”中显示的数值:相同的公式、相同的文件(包括读取图片所用的文件)、相同的对话长度(目录核对于 2026年10月15日)。 速度为估算值,并非用 Twoody 实测,依据 llama.cpp 公开基准测试计算。数据核对于 2026年10月16日。
如何看懂结果
选择你的电脑和它的内存容量,计算器会逐一查看 Twoody 目录中的模型,以及几个 Twoody 不提供的更大模型,告诉你每个模型在这台电脑上会怎样运行。这里说的内存,在 Mac 上是统一内存,在没有显卡的 PC 上是系统内存(RAM)。
- Twoody 推荐的模型
- 应用在这台电脑上首先安装的模型,也是 Twoody 用自己的记忆、工具和你的文档实际测量过的模型之一,同时列出它在这里需要的内存。
- 在这台电脑上运行流畅
- 能装进内存的模型,按从强到弱排列:“运行流畅”表示绰绰有余,“能运行:请关闭其他应用”表示剩余空间不多。再往下是部分要在处理器上运行、因而慢很多的模型,最后是对这台电脑来说太大的模型。
- 内存
- Twoody 在这台电脑的“模型”中显示的数值:模型文件、模型要记住的对话,再加上工作所需的空间。旁边的进度条表示它占用了这台电脑允许模型使用的内存的多少。
- 生成速度
- 模型写出回答的速度,单位是每秒多少个 token。token 是模型切分文字的单位;英文默读速度约为每秒 5 个 token,快于这个速度,你就不用等它。
- 读一份文档
- 在回答关于一份约 20 页文档的问题之前,模型把它读完所需的时间。新款芯片在这一步提升最大。
- 适合
- 从模型大小来看它擅长什么:聊天与写作、你的文档、翻译、代码、推理或智能体。
- 在 Twoody 中一键安装
- 这个模型在 Twoody 的目录中,可在应用里一键安装;其他模型会标注“不在 Twoody 的目录中”。
本地大模型需要多少内存?
内存决定了能装下哪些模型:模型文件和读取图片所用的文件,模型要记住的对话内容(与 Twoody 一样,按电脑内存为 8k 到 64k token),以及少量工作空间。Mac 在 32 GB 及以下时,大约三分之二的内存可供图形处理器使用,32 GB 以上约为四分之三。能流畅运行的是:
| 内存 | 能流畅运行的最强模型 | Twoody 默认推荐 |
|---|---|---|
| 8 GB | Qwen3.5 4B、Qwen3 4B Instruct 2507、Nemotron 3 Nano 4B | Qwen3.5 4B(4 GB) |
| 16 GB | Gemma 4 12B、GLM-4.6V Flash、Qwen3.5 9B | Qwen3.5 9B(7.4 GB) |
| 24 GB | Qwen3 14B、Phi-4 14B、Ministral 3 14B | Qwen3.5 9B(7.4 GB) |
| 32 GB | Qwen3.6 35B-A3B、Gemma 4 31B、Qwen3 30B-A3B Instruct 2507 | Qwen3.5 9B(7.9 GB) |
| 48 GB | Qwen3.6 35B-A3B、Qwen3.6 35B-A3B (4 bits)、Qwen3.5 35B-A3B | Qwen3.5 9B(7.9 GB) |
| 64 GB | Qwen3-Next 80B-A3B*、Llama 3.3 70B、Qwen3.6 35B-A3B | Qwen3.5 9B(7.9 GB) |
| 128 GB | Qwen3.5 122B-A10B*、Mistral Small 4 119B*、Qwen3-Next 80B-A3B* | Qwen3.5 9B(7.9 GB) |
| 256 GB | Qwen3 235B-A22B Instruct 2507*、Qwen3.5 122B-A10B*、Mistral Small 4 119B* | Qwen3.5 9B(7.9 GB) |
| 512 GB | Qwen3 235B-A22B Instruct 2507*、Qwen3.5 122B-A10B*、Mistral Small 4 119B* | Qwen3.5 9B(7.9 GB) |
* 不在 Twoody 的目录中;其他模型可一键安装。
为什么内存带宽决定速度
每生成一个词,电脑都要从内存中读取模型的活跃权重。因此速度更多取决于内存带宽,而不是处理器性能。Qwen3 8B(4 位)在几台机器上的表现:
| 电脑 | 内存带宽 | 生成速度 |
|---|---|---|
| M1 | 68 GB/s | 每秒 8.7–12 个 token |
| M2 | 100 GB/s | 每秒 13–19 个 token |
| M4 | 120 GB/s | 每秒 15–21 个 token |
| M5 | 153 GB/s | 每秒 19–27 个 token |
| M4 Pro | 273 GB/s | 每秒 31–45 个 token |
| M4 Max | 546 GB/s | 每秒 53–76 个 token |
| M5 Max | 614 GB/s | 每秒 72–104 个 token |
| GeForce RTX 4090 (24 GB) | 1,008 GB/s | 每秒 100+ 个 token |
4 位还是 8 位?
模型以压缩形式发布。4 位文件(Q4_K_M,Gemma 为 Q4_0,gpt-oss 为 MXFP4)只有 8 位文件的一半大小,质量损失很小:这正是 Twoody 安装、也是本计算器计算的版本(更大的 Qwen3.6 35B-A3B 为 3 位,以便装进 24 GB 的 Mac)。8 位稍微精细一些,但需要两倍的内存。
每秒多少 token:实际感受如何
一个 token 大约相当于四分之三个英文单词。默读速度约为每秒 5 到 6 个 token。
| 低于 5 | 比你阅读慢 |
| 5 到 10 | 和你的阅读速度差不多 |
| 10 到 20 | 比你阅读快 |
| 20 到 50 | 几乎即时 |
| 高于 50 | 感觉即时 |
会先思考的模型,在回答之前要写 300 到 3000 个 token 的推理过程:按每秒 10 个 token 计算,需要半分钟到五分钟。在 Twoody 中,“快速”“思考”和“深入”设置决定它思考多久。
读一份文档
在回答关于某份文档的问题之前,模型要先把它读一遍,而这正是新款芯片提升最大的地方。Qwen3 8B 在 16 GB 内存下读一份 20 页的文档:
| M1 | 3 分钟 |
| M4 | 76 秒 |
| M5 | 27 秒 |
Mac 还是 PC?
Mac 的处理器和图形处理器共享内存:一台 64 GB 的 Mac 能运行任何 24 GB 显卡都装不下的模型。PC 显卡的显存较小,但读取速度非常快:只要模型装得下,RTX 4090 的生成速度比任何 Mac 都快。Twoody 正在 Mac、Windows 和 Linux 上内测:在 Windows 上,驱动支持时它会通过 Vulkan 使用显卡;在 Linux 上,它在处理器上运行模型。
按电脑分类的最佳本地大模型
方法与来源
内存并非本站的估算,而是 Twoody 应用自身的计算,文件和对话长度都相同:模型文件、读取图片所用的文件及使用它所需的 0.3 GB、对话内容(Qwen3.5 等混合模型为 8 位的 q8_0,其他为 16 位)、循环层的状态,以及 0.3 GB 的工作内存。用 llama.cpp 实测,对话长度 32k token 的 Qwen3.5 9B 占用 7.4 GB,与计算一致。模型为 Twoody 目录中的模型(2026年10月15日 在 Hugging Face 上核对),以及几个 Twoody 不提供的更大模型,计算方式相同。
每台机器的速度,是根据它在 llama.cpp 参考模型(LLaMA 2 7B,4 位)上的实测速度,按各模型每生成一个词需要读取的数据量换算,并结合 Apple 和 NVIDIA 规格中的内存带宽计算得出。我们用 20 项未参与建模的公开实测数据进行了核对:误差中位数 4.5%,最大 23%,全部落在所示范围内。
数据核对于 2026年10月16日。
来源
- www.apple.com/newsroom/
- support.apple.com/specs
- github.com/ggml-org/llama.cpp/discussions/4167
- github.com/ggml-org/llama.cpp/discussions/15013
- github.com/ggml-org/llama.cpp/discussions/10879
- github.com/ggml-org/llama.cpp/discussions/15396
- www.nvidia.com/en-us/geforce/graphics-cards/compare/
- huggingface.co/models
- www.sciencedirect.com/science/article/abs/pii/S0749596X19300786
关于在本地运行大模型的问题
8 GB 内存能运行本地大模型吗?
可以,小模型就行。在 8 GB 内存的 Apple 芯片 Mac 上,能流畅运行的最强模型是 Qwen3.5 4B、Qwen3 4B Instruct 2507 和 Nemotron 3 Nano 4B。它们都可从 Twoody 的目录一键安装。Twoody 默认推荐 Qwen3.5 4B,在这里需要 4 GB 内存:这是 Twoody 用自己的记忆、工具和你的文档测量过的模型之一。使用时请关闭占用资源较多的应用。
16 GB 的 Mac 适合哪个大模型?
在 16 GB 内存的 Apple 芯片 Mac 上,能流畅运行的最强模型是 Gemma 4 12B、GLM-4.6V Flash 和 Qwen3.5 9B。它们都可从 Twoody 的目录一键安装。Twoody 默认推荐 Qwen3.5 9B,在这里需要 7.4 GB 内存:这是 Twoody 用自己的记忆、工具和你的文档测量过的模型之一。
70B 模型需要多少内存?
在 Twoody 中,对话长度 16k token 时大约需要 45 GB:64 GB 的 Mac 能运行 Llama 3.3 70B,视芯片不同,生成速度为每秒 4.2–15 个 token。gpt-oss 120B 等混合专家模型需要更多内存(60 GB),但生成速度快得多。
4 位模型比 8 位差很多吗?
略差一点。对于写作、摘要和文档问答,差别很难察觉,而 4 位能把内存减半、速度翻倍:这正是 Twoody 安装、也是本计算器计算的版本。
跑本地大模型,选 Mac 还是 NVIDIA 显卡?
只要模型装得进显存(8 到 32 GB),显卡生成更快;Mac 的统一内存(最高 512 GB)则能容纳大得多的模型。对于一个人处理文档来说,16 到 64 GB 的 Mac 是最简单的选择。
本地大模型会让 MacBook Air 过热吗?
MacBook Air 没有风扇:连续生成几分钟后,它会降速以保持凉爽。正常长度的回答察觉不到;如果要长时间使用,MacBook Pro 或 Mac mini 能保持速度。
除了 Twoody,还需要安装别的软件吗?
不需要:Twoody 一键下载模型,并用自带的引擎 llama.cpp 运行它。在搭载 Apple 芯片的 Mac 上,如果你要求,它还可以安装 Apple 的引擎 MLX(“模型”›“高级”)。
这些数据有多准确?
内存是 Twoody 应用显示的数值,计算方式相同:对话长度 32k token 的 Qwen3.5 9B,llama.cpp 实测 7.4 GB,与计算一致。速度为估算值:在 20 项未用于建立公式的公开实测数据上,误差中位数为 4.5%,最大为 23%;每一项都落在所示范围内。你的实际速度还取决于所用应用、其版本,以及电脑同时在做的其他事情。
在向所有人开放之前,抢先试用 Twoody。
内测免费,支持 Mac、Windows 和 Linux,也支持 iPhone 和 Android(配合你电脑上的 Twoody 使用)。留下你的电子邮件地址申请邀请:为你准备好后,我们会写信通知你。