在 Mac 上运行本地大模型
在你的 Mac 上本地运行大模型
大语言模型可以完全在你的 Mac 上运行:私密、离线、免费。下面介绍你需要什么、该选哪个模型,以及最简单的上手方法。如果你用的是 PC,Twoody 也有 Windows 和 Linux 版。
为什么要在 Mac 上运行大模型
模型在这台机器上回答问题、阅读你的文件。模型安装好后,没有网络也能用。没有订阅,没有用量限制,也无需账户。代价是:能装进 Mac 的模型比最大的在线模型小——写作、总结和处理你的文档都很出色,但最难的推理就稍逊一筹。
你需要什么
搭载 Apple 芯片(M1 或更新)的 Mac 能流畅运行模型;Intel Mac 只能用处理器运行小模型,速度较慢。内存决定能用什么模型(按 Twoody 的计算):约 40 亿参数需要 8 GB,80 亿参数需要 16 GB,140 亿参数需要 24 GB,4 位的 240 亿到 350 亿参数需要 32 到 36 GB,700 亿参数需要 64 GB。
该选哪个模型
Qwen3.5 在各种尺寸下都能用多种语言写得很好;Llama、Gemma、Mistral 和 gpt-oss 也是不错的选择。先从能宽裕地装进你内存的模型开始:太大的模型会让 Mac 频繁使用交换空间,反而比小模型更慢。
Twoody 能为你做什么
- 为你的 Mac 推荐合适的模型并一键安装;它的目录共有 57 个模型,每个都标明所需内存。
- 阅读你的文档文件夹,回答会注明出处,精确到页。
- 可在 Intel Mac 和搭载 Apple 芯片的 Mac 上运行,需要 macOS 13.3 或更高版本;在搭载 Apple 芯片、装有 macOS 14 或更高版本的 Mac 上,它还可以安装 Apple 的引擎 MLX。另有 Windows 和 Linux 版。
用 Twoody,只需三步
-
1
加入候补名单:Twoody 目前处于内测阶段,Mac 版和 Windows、Linux 版都是如此;向你开放时,我们会写信通知你。
-
2
安装它为你的 Mac 推荐的模型,一键完成:Qwen3.5 4B 为 3.5 GB,9B 为 6.7 GB。
-
3
提出你的第一个问题——愿意的话,可以关掉 Wi-Fi 试试。
常见问题
在 Mac 上本地运行大模型免费吗?
免费:开放权重的模型可以免费下载,Twoody 也是免费的。唯一的成本是 Mac 的内存和电费。
在 Mac 上运行大模型需要多少内存?
Qwen3.5 4B 这样的小模型需要 8 GB;Qwen3.5 9B 在搭载 Apple 芯片的 Mac 上需要 16 GB(在 Intel Mac 上需要 32 GB);Qwen3.6 35B-A3B 需要 24 GB。在 Twoody 中,目录里的每个模型都标明了所需内存;计算器会显示每款 Mac 能运行哪些模型,以及运行速度。
Intel Mac 能运行本地大模型吗?
可以,使用 Twoody,需要 macOS 13.3 或更高版本:模型在处理器上运行,所以小模型可以用,但速度较慢。
本地大模型和 ChatGPT 一样好用吗?
日常写作和关于你文档的问题,通常已经足够接近;最难的问题,则比不上。作为交换,它私密、离线、免费。
在向所有人开放之前,抢先试用 Twoody。
内测免费,支持 Mac、Windows 和 Linux,也支持 iPhone 和 Android(配合你电脑上的 Twoody 使用)。留下你的电子邮件地址申请邀请:为你准备好后,我们会写信通知你。