Twoody
Rechner für lokale LLMs
Welches lokale LLM läuft auf Ihrem Computer – und wie schnell?
Wählen Sie Ihren Mac oder PC. Sehen Sie, welche offenen Modelle in seinen Arbeitsspeicher passen, wie schnell sie schreiben, wie lange sie für ein Dokument brauchen und wofür sie sich eignen.
Die Modelle für diesen Computer
M5 Max mit 48 GB: 56 von 62 Modellen laufen gut.
Was Twoody für diesen Mac vorschlägt
Qwen3.5 9B, mit einem Klick, für Unterhaltungen bis 64k Token.
Braucht 7,9 GB Arbeitsspeicher · Läuft problemlos · 46–91 Token/s (wirkt verzögerungsfrei) · 20 Seiten in 7 s
Ab 24 GB bietet Twoody auch das größere Qwen3.6 35B-A3B an: Es braucht auf diesem Computer 16,8 GB Arbeitsspeicher.
Twoody ist in der privaten Beta: Hinterlassen Sie Ihre E-Mail-Adresse, um Zugang anzufragen.
Laufen gut auf diesem Computer
16,8 von 36 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
21,2 von 36 GB
MLX: 20,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
22,9 von 36 GB
MLX: 20,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
22,7 von 36 GB
MLX: 20,5 GB
Läuft problemlos
20–28 Token/s
nahezu verzögerungsfrei
20 Seiten in 24 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
19,6 von 36 GB
MLX: 18,3 GB
Läuft problemlos
20–29 Token/s
nahezu verzögerungsfrei
20 Seiten in 24 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Agenten
21,4 von 36 GB
MLX: 17,3 GB
Läuft problemlos
76–152 Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
19,4 von 36 GB
MLX: 18,7 GB
Läuft problemlos
22–31 Token/s
nahezu verzögerungsfrei
20 Seiten in 23 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
19,2 von 36 GB
MLX: 17,8 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
20,5 von 36 GB
MLX: 19,4 GB
Läuft problemlos
15–30 Token/s
nahezu verzögerungsfrei
20 Seiten in 21 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
21,4 von 36 GB
MLX: 19,4 GB
Läuft problemlos
14–29 Token/s
nahezu verzögerungsfrei
20 Seiten in 21 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
21,5 von 36 GB
MLX: 19,4 GB
Läuft problemlos
14–29 Token/s
nahezu verzögerungsfrei
20 Seiten in 21 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
15,5 von 36 GB
MLX: 14,9 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 4 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
17,3 von 36 GB
MLX: 15,1 GB
Läuft problemlos
28–40 Token/s
nahezu verzögerungsfrei
20 Seiten in 18 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Agenten
11,2 von 36 GB
MLX: 10,1 GB
Läuft problemlos
42–61 Token/s
wirkt verzögerungsfrei
20 Seiten in 11 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
11,9 von 36 GB
MLX: 11,1 GB
Läuft problemlos
42–61 Token/s
wirkt verzögerungsfrei
20 Seiten in 11 s
- Chat und Schreiben
- Ihre Dokumente
11,6 von 36 GB
MLX: 10,6 GB
Läuft problemlos
46–66 Token/s
wirkt verzögerungsfrei
20 Seiten in 10 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
7,6 von 36 GB
MLX: 6,9 GB
Läuft problemlos
53–76 Token/s
wirkt verzögerungsfrei
20 Seiten in 9 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
7,9 von 36 GB
Läuft problemlos
61–87 Token/s
wirkt verzögerungsfrei
20 Seiten in 8 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
7,9 von 36 GB
MLX: 7,9 GB
Läuft problemlos
46–91 Token/s
wirkt verzögerungsfrei
20 Seiten in 7 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
6,7 von 36 GB
MLX: 5,9 GB
Läuft problemlos
61–87 Token/s
wirkt verzögerungsfrei
20 Seiten in 7 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
8,4 von 36 GB
MLX: 7,6 GB
Läuft problemlos
71–102 Token/s
wirkt verzögerungsfrei
20 Seiten in 7 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
8 von 36 GB
MLX: 7,7 GB
Läuft problemlos
66–94 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
7,2 von 36 GB
MLX: 6,8 GB
Läuft problemlos
72–104 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
6,9 von 36 GB
MLX: 6,5 GB
Läuft problemlos
75–108 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
8,2 von 36 GB
MLX: 7,8 GB
Läuft problemlos
76–109 Token/s
wirkt verzögerungsfrei
20 Seiten in 5 s
- Chat und Schreiben
- Ihre Dokumente
6,6 von 36 GB
MLX: 5,4 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Übersetzung
4,9 von 36 GB
MLX: 5,2 GB
Läuft problemlos
87–173 Token/s
wirkt verzögerungsfrei
20 Seiten in 4 s
- Chat und Schreiben
- Übersetzung
4,9 von 36 GB
MLX: 4,7 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Übersetzung
3,6 von 36 GB
MLX: 3,5 GB
Läuft problemlos
81–163 Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
5 von 36 GB
MLX: 4,5 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Übersetzung
4,6 von 36 GB
MLX: 4,3 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Übersetzung
3,9 von 36 GB
MLX: 3,7 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
- Chat und Schreiben
- Übersetzung
4,7 von 36 GB
MLX: 3,7 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
2,9 von 36 GB
MLX: 2,7 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
1,7 von 36 GB
MLX: 1,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 1 s
22,8 von 36 GB
MLX: 21,5 GB
Läuft problemlos
20–28 Token/s
nahezu verzögerungsfrei
20 Seiten in 24 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
18,1 von 36 GB
MLX: 16,8 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
19,1 von 36 GB
MLX: 17,8 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Agenten
19,2 von 36 GB
MLX: 17,8 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
16,1 von 36 GB
Läuft problemlos
28–40 Token/s
nahezu verzögerungsfrei
20 Seiten in 18 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
16,1 von 36 GB
MLX: 16,9 GB
Läuft problemlos
28–40 Token/s
nahezu verzögerungsfrei
20 Seiten in 18 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Agenten
12 von 36 GB
MLX: 11,9 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
10,4 von 36 GB
MLX: 9 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
11,7 von 36 GB
MLX: 11 GB
Läuft problemlos
42–60 Token/s
wirkt verzögerungsfrei
20 Seiten in 11 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
11,9 von 36 GB
MLX: 12 GB
Läuft problemlos
42–61 Token/s
wirkt verzögerungsfrei
20 Seiten in 11 s
- Chat und Schreiben
- Ihre Dokumente
- Logisches Denken
10,5 von 36 GB
MLX: 10,6 GB
Läuft problemlos
46–66 Token/s
wirkt verzögerungsfrei
20 Seiten in 10 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
6,7 von 36 GB
MLX: 5,9 GB
Läuft problemlos
61–87 Token/s
wirkt verzögerungsfrei
20 Seiten in 7 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
7,2 von 36 GB
MLX: 6,8 GB
Läuft problemlos
72–104 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
6,9 von 36 GB
MLX: 6,5 GB
Läuft problemlos
75–108 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
5,5 von 36 GB
MLX: 5,2 GB
Läuft problemlos
80–115 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
4,9 von 36 GB
MLX: 4,7 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Übersetzung
4,6 von 36 GB
MLX: 4,3 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
3,2 von 36 GB
MLX: 3 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
- Chat und Schreiben
- Übersetzung
2,4 von 36 GB
MLX: 2,7 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
2,5 von 36 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
1,6 von 36 GB
MLX: 1,4 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 1 s
Laufen, aber deutlich langsamer (1)
44,9 von 36 GB
MLX: 42,3 GB
Teils auf dem Prozessor: deutlich langsamer
3,8–5,4 Token/s
langsamer, als Sie lesen
20 Seiten in 2 min
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
Zu groß für diesen Computer (5)
- Qwen3-Next 80B-A3B · 46,3 von 36 GB · Nicht im Katalog von Twoody
- gpt-oss 120B · 59,9 von 36 GB · Nicht im Katalog von Twoody
- Mistral Small 4 119B · 69,4 von 36 GB · Nicht im Katalog von Twoody
- Qwen3.5 122B-A10B · 74,7 von 36 GB · Nicht im Katalog von Twoody
- Qwen3 235B-A22B Instruct 2507 · 136,1 von 36 GB · Nicht im Katalog von Twoody
Der Arbeitsspeicher jedes Modells ist der, den Twoody auf diesem Computer unter „Modelle“ anzeigt: dieselbe Formel, dieselben Dateien (die zum Lesen von Bildern eingeschlossen), dieselbe Länge der Unterhaltung – Katalog geprüft am 15. Oktober 2026. Die Geschwindigkeiten sind Schätzungen, keine mit Twoody gemessenen Werte, berechnet aus öffentlichen llama.cpp-Benchmarks. Zahlen geprüft am 16. Oktober 2026.
So lesen Sie die Ergebnisse
Wählen Sie Ihren Computer und seinen Arbeitsspeicher. Der Rechner geht die Modelle aus dem Katalog von Twoody durch, dazu einige größere, die Twoody nicht anbietet, und zeigt, wie jedes davon auf diesem Computer laufen würde.
- Was Twoody vorschlägt
- Das Modell, das die App auf diesem Computer zuerst installiert, eines der Modelle, die Twoody mit seinem Gedächtnis, seinen Werkzeugen und Ihren Dokumenten gemessen hat, und der Arbeitsspeicher, den es dort braucht.
- Laufen gut auf diesem Computer
- Die Modelle, die in seinen Speicher passen, das stärkste zuerst: „Läuft problemlos“ oder „Läuft – andere Apps schließen“, wenn wenig Platz bleibt. Weiter unten die Modelle, die teils auf dem Prozessor laufen würden, deutlich langsamer, danach die zu großen.
- Speicher
- Was Twoody auf diesem Computer unter „Modelle“ anzeigt: die Dateien des Modells, die Unterhaltung, die es im Blick behält, und Platz zum Arbeiten. Der Balken zeigt, wie viel es von dem Speicher belegt, den ein Modell dort nutzen darf.
- Schreibt
- Wie schnell das Modell seine Antwort schreibt, in Token pro Sekunde. Ein Token ist ein Wortstück, und beim stillen Lesen schaffen Sie etwa 5 Token pro Sekunde.
- Liest ein Dokument
- Wie lange das Modell braucht, um ein Dokument von etwa 20 Seiten zu lesen, bevor es Fragen dazu beantwortet.
- Geeignet für
- Wofür sich seine Größe eignet: Chat und Schreiben, Ihre Dokumente, Übersetzung, Code, logisches Denken oder Agenten.
- Mit einem Klick in Twoody
- Das Modell ist im Katalog von Twoody und lässt sich in der App mit einem Klick installieren; bei den anderen steht „Nicht im Katalog von Twoody“.
Wie viel Arbeitsspeicher braucht ein lokales LLM?
Der Arbeitsspeicher entscheidet, welche Modelle passen: die Modelldatei und die Datei, mit der das Modell Bilder liest, die Unterhaltung, die es im Gedächtnis behält (8k bis 64k Token, je nach Arbeitsspeicher des Computers, wie in Twoody), und etwas Platz zum Arbeiten. Ein Mac lässt seine Grafikeinheit bis 32 GB etwa zwei Drittel seines Arbeitsspeichers nutzen, darüber drei Viertel. Was problemlos läuft:
| Arbeitsspeicher | Stärkste Modelle, die problemlos laufen | Von Twoody vorgeschlagen |
|---|---|---|
| 8 GB | Qwen3.5 4B, Qwen3 4B Instruct 2507, Nemotron 3 Nano 4B | Qwen3.5 4B (4 GB) |
| 16 GB | Gemma 4 12B, GLM-4.6V Flash, Qwen3.5 9B | Qwen3.5 9B (7,4 GB) |
| 24 GB | Qwen3 14B, Phi-4 14B, Ministral 3 14B | Qwen3.5 9B (7,4 GB) |
| 32 GB | Qwen3.6 35B-A3B, Gemma 4 31B, Qwen3 30B-A3B Instruct 2507 | Qwen3.5 9B (7,9 GB) |
| 48 GB | Qwen3.6 35B-A3B, Qwen3.6 35B-A3B (4 bits), Qwen3.5 35B-A3B | Qwen3.5 9B (7,9 GB) |
| 64 GB | Qwen3-Next 80B-A3B*, Llama 3.3 70B, Qwen3.6 35B-A3B | Qwen3.5 9B (7,9 GB) |
| 128 GB | Qwen3.5 122B-A10B*, Mistral Small 4 119B*, Qwen3-Next 80B-A3B* | Qwen3.5 9B (7,9 GB) |
| 256 GB | Qwen3 235B-A22B Instruct 2507*, Qwen3.5 122B-A10B*, Mistral Small 4 119B* | Qwen3.5 9B (7,9 GB) |
| 512 GB | Qwen3 235B-A22B Instruct 2507*, Qwen3.5 122B-A10B*, Mistral Small 4 119B* | Qwen3.5 9B (7,9 GB) |
* Nicht im Katalog von Twoody; die anderen lassen sich mit einem Klick installieren.
Warum die Speicherbandbreite das Tempo bestimmt
Für jedes Wort liest der Computer die aktiven Gewichte des Modells aus dem Speicher. Das Tempo hängt daher mehr von der Speicherbandbreite ab als von der Rechenleistung des Prozessors. Qwen3 8B in 4 Bit auf einigen Geräten:
| Computer | Speicherbandbreite | Schreibt |
|---|---|---|
| M1 | 68 GB/s | 8,7–12 Token/s |
| M2 | 100 GB/s | 13–19 Token/s |
| M4 | 120 GB/s | 15–21 Token/s |
| M5 | 153 GB/s | 19–27 Token/s |
| M4 Pro | 273 GB/s | 31–45 Token/s |
| M4 Max | 546 GB/s | 53–76 Token/s |
| M5 Max | 614 GB/s | 72–104 Token/s |
| GeForce RTX 4090 (24 GB) | 1 008 GB/s | 100+ Token/s |
4 Bit oder 8 Bit?
Modelle werden komprimiert verteilt. 4-Bit-Dateien (Q4_K_M, bei Gemma Q4_0, bei gpt-oss MXFP4) sind halb so groß wie 8-Bit-Dateien, bei geringem Qualitätsverlust: Das installiert Twoody (das größere Qwen3.6 35B-A3B in 3 Bit, damit es auf einen Mac mit 24 GB passt), und damit rechnet dieser Rechner. 8 Bit ist etwas feiner und braucht doppelt so viel Arbeitsspeicher.
Token pro Sekunde: wie sich das anfühlt
Ein Token ist ein Wortstück: im Englischen etwa drei Viertel eines Wortes, im Deutschen weniger. Beim stillen Lesen schaffen Sie etwa 5 Token pro Sekunde.
| unter 5 | langsamer, als Sie lesen |
| 5 bis 10 | etwa Ihr Lesetempo |
| 10 bis 20 | schneller, als Sie lesen |
| 20 bis 50 | nahezu verzögerungsfrei |
| über 50 | wirkt verzögerungsfrei |
Ein Modell, das zuerst nachdenkt, schreibt vor seiner Antwort 300 bis 3.000 Token an Überlegungen: bei 10 Token pro Sekunde eine halbe Minute bis fünf Minuten. In Twoody legen die Stufen „Schnell“, „Nachdenken“ und „Gründlich“ fest, wie lange es nachdenkt.
Ein Dokument lesen
Bevor das Modell eine Frage zu einem Dokument beantwortet, liest es das Dokument – und genau hier legen neuere Chips am meisten zu. Qwen3 8B liest ein Dokument mit 20 Seiten, bei 16 GB:
| M1 | 3 min |
| M4 | 76 s |
| M5 | 27 s |
Mac oder PC?
Ein Mac teilt seinen Arbeitsspeicher zwischen Prozessor und Grafikeinheit: Ein Mac mit 64 GB führt Modelle aus, die in keine Grafikkarte mit 24 GB passen. Eine PC-Grafikkarte hat weniger Speicher, liest ihn aber sehr schnell: Mit einem Modell, das hineinpasst, schreibt eine RTX 4090 schneller als jeder Mac. Twoody ist in der privaten Beta auf Mac, Windows und Linux: Unter Windows nutzt es die Grafikkarte über Vulkan, wenn der Treiber es unterstützt; unter Linux lässt es das Modell auf dem Prozessor laufen.
Das beste lokale LLM, je nach Computer
Methode und Quellen
Der Arbeitsspeicher ist keine Schätzung dieser Website: Es ist die Berechnung der Twoody-App, mit denselben Dateien und derselben Länge der Unterhaltung – die Modelldatei, die Datei, mit der es Bilder liest, und 0,3 GB, um sie zu nutzen, die Unterhaltung (in q8_0, mit 8 Bit, bei einem hybriden Modell wie Qwen3.5; sonst mit 16 Bit), der Zustand seiner rekurrenten Schichten und 0,3 GB Arbeitsspeicher für die Engine. Mit llama.cpp gemessen belegt Qwen3.5 9B bei einer Unterhaltung von 32k Token 7,4 GB, wie berechnet. Die Modelle sind die des Katalogs von Twoody, am 15. Oktober 2026 auf Hugging Face geprüft, und einige größere, die Twoody nicht anbietet, auf dieselbe Weise gerechnet.
Das Tempo jedes Geräts wird aus seiner gemessenen Geschwindigkeit mit dem Referenzmodell von llama.cpp (LLaMA 2 7B, 4 Bit) berechnet, skaliert nach dem, was jedes Modell pro Wort liest, mit den Speicherbandbreiten aus den technischen Daten von Apple und NVIDIA. Geprüft an 20 veröffentlichten Messungen, die nicht in die Berechnung eingeflossen sind: Abweichung im Median 4,5 %, höchstens 23 %, alle innerhalb der angegebenen Spannen.
Zahlen geprüft am 16. Oktober 2026.
Quellen
- www.apple.com/newsroom/
- support.apple.com/specs
- github.com/ggml-org/llama.cpp/discussions/4167
- github.com/ggml-org/llama.cpp/discussions/15013
- github.com/ggml-org/llama.cpp/discussions/10879
- github.com/ggml-org/llama.cpp/discussions/15396
- www.nvidia.com/en-us/geforce/graphics-cards/compare/
- huggingface.co/models
- www.sciencedirect.com/science/article/abs/pii/S0749596X19300786
Fragen zu lokalen LLMs
Kann ich mit 8 GB Arbeitsspeicher ein lokales LLM ausführen?
Ja, ein kleines. Auf einem Mac mit Apple-Chip und 8 GB sind die stärksten Modelle, die problemlos laufen, Qwen3.5 4B, Qwen3 4B Instruct 2507 und Nemotron 3 Nano 4B. Alle lassen sich mit einem Klick aus dem Katalog von Twoody installieren. Twoody schlägt von sich aus Qwen3.5 4B vor, das dort 4 GB Arbeitsspeicher braucht: eines der Modelle, die Twoody mit seinem Gedächtnis, seinen Werkzeugen und Ihren Dokumenten gemessen hat. Schließen Sie währenddessen speicherhungrige Apps.
Welches LLM für einen Mac mit 16 GB?
Auf einem Mac mit Apple-Chip und 16 GB sind die stärksten Modelle, die problemlos laufen, Gemma 4 12B, GLM-4.6V Flash und Qwen3.5 9B. Alle lassen sich mit einem Klick aus dem Katalog von Twoody installieren. Twoody schlägt von sich aus Qwen3.5 9B vor, das dort 7,4 GB Arbeitsspeicher braucht: eines der Modelle, die Twoody mit seinem Gedächtnis, seinen Werkzeugen und Ihren Dokumenten gemessen hat.
Wie viel Arbeitsspeicher braucht ein 70B-Modell?
In Twoody etwa 45 GB, für eine Unterhaltung bis 16k Token: Ein Mac mit 64 GB führt Llama 3.3 70B aus, je nach Chip mit 4,2–15 Token/s. Mixture-of-Experts-Modelle wie gpt-oss 120B brauchen mehr Arbeitsspeicher (60 GB), schreiben aber deutlich schneller.
Ist ein 4-Bit-Modell viel schlechter als ein 8-Bit-Modell?
Nur geringfügig. Beim Schreiben, bei Zusammenfassungen und bei Fragen zu Dokumenten fällt der Unterschied kaum auf, und 4 Bit halbiert den Speicherbedarf und verdoppelt das Tempo: Das installiert Twoody, und damit rechnet dieser Rechner.
Mac oder NVIDIA-Grafikkarte für ein lokales LLM?
Eine Grafikkarte schreibt schneller, wenn das Modell in ihren Speicher passt (8 bis 32 GB); ein Mac fasst in seinem gemeinsamen Arbeitsspeicher deutlich größere Modelle (bis zu 512 GB). Für eine einzelne Person, die mit Dokumenten arbeitet, ist ein Mac mit 16 bis 64 GB die einfachste Wahl.
Wird ein MacBook Air durch ein lokales LLM zu heiß?
Ein MacBook Air hat keinen Lüfter: Nach einigen Minuten ununterbrochenen Schreibens wird es langsamer, um kühl zu bleiben. Bei Antworten normaler Länge merkt man das nicht; bei langen Sitzungen hält ein MacBook Pro oder ein Mac mini sein Tempo.
Muss ich außer Twoody noch etwas installieren?
Nein: Mit einem Klick lädt Twoody das Modell herunter und führt es mit llama.cpp aus, seiner eigenen Engine. Auf einem Mac mit Apple-Chip kann es auf Ihren Wunsch auch MLX installieren, die Engine von Apple (Modelle › „Erweitert“).
Wie genau sind diese Zahlen?
Der Arbeitsspeicher ist der, den die Twoody-App anzeigt, auf dieselbe Weise berechnet: Für Qwen3.5 9B mit einer Unterhaltung von 32k Token hat llama.cpp 7,4 GB gemessen, wie berechnet. Die Geschwindigkeiten sind Schätzungen: Bei 20 veröffentlichten Messungen, die nicht in die Formel eingeflossen sind, liegt die Abweichung im Median bei 4,5 % und höchstens bei 23 %; jede Messung lag innerhalb der angegebenen Spanne. Ihr Tempo hängt außerdem von der App ab, von ihrer Version und davon, was der Computer sonst noch tut.
Probieren Sie Twoody, bevor es für alle offensteht.
Die private Beta ist kostenlos, auf Mac, Windows und Linux sowie auf iPhone und Android mit Twoody auf Ihrem Computer. Hinterlassen Sie Ihre E-Mail-Adresse, um eine Einladung anzufragen: Wir schreiben Ihnen, sobald sie für Sie bereit ist.