Twoody
Rechner für lokale LLMs
Welches lokale LLM läuft auf Ihrem Computer – und wie schnell?
Wählen Sie Ihren Mac oder PC. Sehen Sie, welche offenen Modelle in seinen Arbeitsspeicher passen, wie schnell sie schreiben, wie lange sie für ein Dokument brauchen und wofür sie sich eignen.
Die Modelle für diesen Computer
PC mit GeForce RTX 4070 (12 GB) und 32 GB RAM: 33 von 62 Modellen laufen gut.
Was Twoody für diesen PC vorschlägt
Unter Windows wie unter Linux: Qwen3.5 9B, mit einem Klick, für Unterhaltungen bis 64k Token.
Ab 24 GB bietet Twoody auch das größere Qwen3.6 35B-A3B an: Es braucht auf diesem Computer 16,8 GB Arbeitsspeicher.
Twoody für Windows und Linux ist in der privaten Beta: Unter Windows lässt es das Modell über Vulkan auf der Grafikkarte laufen, wenn der Treiber es unterstützt, sonst auf dem Prozessor; unter Linux auf dem Prozessor. Die Geschwindigkeiten unten sind Schätzungen für ein Modell, das auf der Grafikkarte läuft, keine mit Twoody gemessenen Werte.
Laufen gut auf diesem Computer
11,2 von 10,6 GB
Läuft – andere Apps schließen
34–48 Token/s
nahezu verzögerungsfrei
20 Seiten in 11 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
11,6 von 10,6 GB
Läuft – andere Apps schließen
36–52 Token/s
nahezu verzögerungsfrei
20 Seiten in 10 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
7,6 von 10,6 GB
Läuft problemlos
41–59 Token/s
wirkt verzögerungsfrei
20 Seiten in 9 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
7,9 von 10,6 GB
Läuft problemlos
47–68 Token/s
wirkt verzögerungsfrei
20 Seiten in 8 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
7,9 von 10,6 GB
Läuft problemlos
40–80 Token/s
wirkt verzögerungsfrei
20 Seiten in 7 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
6,7 von 10,6 GB
Läuft problemlos
47–68 Token/s
wirkt verzögerungsfrei
20 Seiten in 7 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
8,4 von 10,6 GB
Läuft problemlos
55–79 Token/s
wirkt verzögerungsfrei
20 Seiten in 7 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
8 von 10,6 GB
Läuft problemlos
51–73 Token/s
wirkt verzögerungsfrei
20 Seiten in 7 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
7,2 von 10,6 GB
Läuft problemlos
56–81 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
6,9 von 10,6 GB
Läuft problemlos
58–84 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
8,2 von 10,6 GB
Läuft problemlos
59–85 Token/s
wirkt verzögerungsfrei
20 Seiten in 5 s
- Chat und Schreiben
- Ihre Dokumente
6,6 von 10,6 GB
Läuft problemlos
85–123 Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Übersetzung
4,9 von 10,6 GB
Läuft problemlos
73–146 Token/s
wirkt verzögerungsfrei
20 Seiten in 4 s
- Chat und Schreiben
- Übersetzung
4,9 von 10,6 GB
Läuft problemlos
96–138 Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Übersetzung
3,6 von 10,6 GB
Läuft problemlos
67–135 Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
5 von 10,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Übersetzung
4,6 von 10,6 GB
Läuft problemlos
100–143 Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Übersetzung
3,9 von 10,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
- Chat und Schreiben
- Übersetzung
4,7 von 10,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
2,9 von 10,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
1,7 von 10,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 1 s
10,4 von 10,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 4 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
10,5 von 10,6 GB
Läuft problemlos
36–52 Token/s
nahezu verzögerungsfrei
20 Seiten in 10 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
6,7 von 10,6 GB
Läuft problemlos
47–68 Token/s
wirkt verzögerungsfrei
20 Seiten in 7 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
7,2 von 10,6 GB
Läuft problemlos
56–81 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
6,9 von 10,6 GB
Läuft problemlos
58–84 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
5,5 von 10,6 GB
Läuft problemlos
63–90 Token/s
wirkt verzögerungsfrei
20 Seiten in 6 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
4,9 von 10,6 GB
Läuft problemlos
96–138 Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
- Übersetzung
4,6 von 10,6 GB
Läuft problemlos
100–143 Token/s
wirkt verzögerungsfrei
20 Seiten in 3 s
- Chat und Schreiben
3,2 von 10,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
- Chat und Schreiben
- Übersetzung
2,4 von 10,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
2,5 von 10,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 2 s
1,6 von 10,6 GB
Läuft problemlos
100+ Token/s
wirkt verzögerungsfrei
20 Seiten in 1 s
Laufen, aber deutlich langsamer (23)
16,8 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
25–50 Token/s
nahezu verzögerungsfrei
20 Seiten in 11 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
21,2 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
16–32 Token/s
nahezu verzögerungsfrei
20 Seiten in 11 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
22,9 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
14–28 Token/s
nahezu verzögerungsfrei
20 Seiten in 11 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
22,7 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
2,3–3,2 Token/s
langsamer, als Sie lesen
20 Seiten in 61 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
19,6 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
2,6–3,7 Token/s
langsamer, als Sie lesen
20 Seiten in 61 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Agenten
21,4 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
11–22 Token/s
schneller, als Sie lesen
20 Seiten in 13 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
19,4 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
2,9–4,1 Token/s
langsamer, als Sie lesen
20 Seiten in 58 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
19,2 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
17–30 Token/s
nahezu verzögerungsfrei
20 Seiten in 15 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
20,5 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
2,1–4,2 Token/s
langsamer, als Sie lesen
20 Seiten in 53 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
21,4 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
1,9–3,9 Token/s
langsamer, als Sie lesen
20 Seiten in 53 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
21,5 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
1,9–3,8 Token/s
langsamer, als Sie lesen
20 Seiten in 53 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
15,5 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
22–38 Token/s
nahezu verzögerungsfrei
20 Seiten in 17 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
17,3 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
4,1–5,9 Token/s
etwa Ihr Lesetempo
20 Seiten in 45 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Agenten
11,9 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
15–22 Token/s
schneller, als Sie lesen
20 Seiten in 27 s
- Chat und Schreiben
- Ihre Dokumente
22,8 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
2,2–3,2 Token/s
langsamer, als Sie lesen
20 Seiten in 61 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
18,1 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
21–37 Token/s
nahezu verzögerungsfrei
20 Seiten in 13 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
19,1 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
17–30 Token/s
nahezu verzögerungsfrei
20 Seiten in 15 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Agenten
19,2 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
17–30 Token/s
nahezu verzögerungsfrei
20 Seiten in 15 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
16,1 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
4,5–6,5 Token/s
etwa Ihr Lesetempo
20 Seiten in 45 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
16,1 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
4,5–6,5 Token/s
etwa Ihr Lesetempo
20 Seiten in 45 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Agenten
12 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
38–65 Token/s
wirkt verzögerungsfrei
20 Seiten in 16 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Code
- Logisches Denken
- Agenten
11,7 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
17–24 Token/s
nahezu verzögerungsfrei
20 Seiten in 28 s
- Chat und Schreiben
- Ihre Dokumente
- Übersetzung
- Logisches Denken
11,9 von 10,6 GB
Teils auf dem Prozessor: deutlich langsamer
15–22 Token/s
schneller, als Sie lesen
20 Seiten in 27 s
- Chat und Schreiben
- Ihre Dokumente
- Logisches Denken
Zu groß für diesen Computer (6)
- Llama 3.3 70B · 44,9 von 10,6 GB
- Qwen3-Next 80B-A3B · 46,3 von 10,6 GB · Nicht im Katalog von Twoody
- gpt-oss 120B · 59,9 von 10,6 GB · Nicht im Katalog von Twoody
- Mistral Small 4 119B · 69,4 von 10,6 GB · Nicht im Katalog von Twoody
- Qwen3.5 122B-A10B · 74,7 von 10,6 GB · Nicht im Katalog von Twoody
- Qwen3 235B-A22B Instruct 2507 · 136,1 von 10,6 GB · Nicht im Katalog von Twoody
Der Arbeitsspeicher jedes Modells ist der, den Twoody auf diesem Computer unter „Modelle“ anzeigt: dieselbe Formel, dieselben Dateien (die zum Lesen von Bildern eingeschlossen), dieselbe Länge der Unterhaltung – Katalog geprüft am 15. Oktober 2026. Die Geschwindigkeiten sind Schätzungen, keine mit Twoody gemessenen Werte, berechnet aus öffentlichen llama.cpp-Benchmarks. Zahlen geprüft am 16. Oktober 2026.
So lesen Sie die Ergebnisse
Wählen Sie Ihren Computer und seinen Arbeitsspeicher. Der Rechner geht die Modelle aus dem Katalog von Twoody durch, dazu einige größere, die Twoody nicht anbietet, und zeigt, wie jedes davon auf diesem Computer laufen würde.
- Was Twoody vorschlägt
- Das Modell, das die App auf diesem Computer zuerst installiert, eines der Modelle, die Twoody mit seinem Gedächtnis, seinen Werkzeugen und Ihren Dokumenten gemessen hat, und der Arbeitsspeicher, den es dort braucht.
- Laufen gut auf diesem Computer
- Die Modelle, die in seinen Speicher passen, das stärkste zuerst: „Läuft problemlos“ oder „Läuft – andere Apps schließen“, wenn wenig Platz bleibt. Weiter unten die Modelle, die teils auf dem Prozessor laufen würden, deutlich langsamer, danach die zu großen.
- Speicher
- Was Twoody auf diesem Computer unter „Modelle“ anzeigt: die Dateien des Modells, die Unterhaltung, die es im Blick behält, und Platz zum Arbeiten. Der Balken zeigt, wie viel es von dem Speicher belegt, den ein Modell dort nutzen darf.
- Schreibt
- Wie schnell das Modell seine Antwort schreibt, in Token pro Sekunde. Ein Token ist ein Wortstück, und beim stillen Lesen schaffen Sie etwa 5 Token pro Sekunde.
- Liest ein Dokument
- Wie lange das Modell braucht, um ein Dokument von etwa 20 Seiten zu lesen, bevor es Fragen dazu beantwortet.
- Geeignet für
- Wofür sich seine Größe eignet: Chat und Schreiben, Ihre Dokumente, Übersetzung, Code, logisches Denken oder Agenten.
- Mit einem Klick in Twoody
- Das Modell ist im Katalog von Twoody und lässt sich in der App mit einem Klick installieren; bei den anderen steht „Nicht im Katalog von Twoody“.
Wie viel Arbeitsspeicher braucht ein lokales LLM?
Der Arbeitsspeicher entscheidet, welche Modelle passen: die Modelldatei und die Datei, mit der das Modell Bilder liest, die Unterhaltung, die es im Gedächtnis behält (8k bis 64k Token, je nach Arbeitsspeicher des Computers, wie in Twoody), und etwas Platz zum Arbeiten. Ein Mac lässt seine Grafikeinheit bis 32 GB etwa zwei Drittel seines Arbeitsspeichers nutzen, darüber drei Viertel. Was problemlos läuft:
| Arbeitsspeicher | Stärkste Modelle, die problemlos laufen | Von Twoody vorgeschlagen |
|---|---|---|
| 8 GB | Qwen3.5 4B, Qwen3 4B Instruct 2507, Nemotron 3 Nano 4B | Qwen3.5 4B (4 GB) |
| 16 GB | Gemma 4 12B, GLM-4.6V Flash, Qwen3.5 9B | Qwen3.5 9B (7,4 GB) |
| 24 GB | Qwen3 14B, Phi-4 14B, Ministral 3 14B | Qwen3.5 9B (7,4 GB) |
| 32 GB | Qwen3.6 35B-A3B, Gemma 4 31B, Qwen3 30B-A3B Instruct 2507 | Qwen3.5 9B (7,9 GB) |
| 48 GB | Qwen3.6 35B-A3B, Qwen3.6 35B-A3B (4 bits), Qwen3.5 35B-A3B | Qwen3.5 9B (7,9 GB) |
| 64 GB | Qwen3-Next 80B-A3B*, Llama 3.3 70B, Qwen3.6 35B-A3B | Qwen3.5 9B (7,9 GB) |
| 128 GB | Qwen3.5 122B-A10B*, Mistral Small 4 119B*, Qwen3-Next 80B-A3B* | Qwen3.5 9B (7,9 GB) |
| 256 GB | Qwen3 235B-A22B Instruct 2507*, Qwen3.5 122B-A10B*, Mistral Small 4 119B* | Qwen3.5 9B (7,9 GB) |
| 512 GB | Qwen3 235B-A22B Instruct 2507*, Qwen3.5 122B-A10B*, Mistral Small 4 119B* | Qwen3.5 9B (7,9 GB) |
* Nicht im Katalog von Twoody; die anderen lassen sich mit einem Klick installieren.
Warum die Speicherbandbreite das Tempo bestimmt
Für jedes Wort liest der Computer die aktiven Gewichte des Modells aus dem Speicher. Das Tempo hängt daher mehr von der Speicherbandbreite ab als von der Rechenleistung des Prozessors. Qwen3 8B in 4 Bit auf einigen Geräten:
| Computer | Speicherbandbreite | Schreibt |
|---|---|---|
| M1 | 68 GB/s | 8,7–12 Token/s |
| M2 | 100 GB/s | 13–19 Token/s |
| M4 | 120 GB/s | 15–21 Token/s |
| M5 | 153 GB/s | 19–27 Token/s |
| M4 Pro | 273 GB/s | 31–45 Token/s |
| M4 Max | 546 GB/s | 53–76 Token/s |
| M5 Max | 614 GB/s | 72–104 Token/s |
| GeForce RTX 4090 (24 GB) | 1 008 GB/s | 100+ Token/s |
4 Bit oder 8 Bit?
Modelle werden komprimiert verteilt. 4-Bit-Dateien (Q4_K_M, bei Gemma Q4_0, bei gpt-oss MXFP4) sind halb so groß wie 8-Bit-Dateien, bei geringem Qualitätsverlust: Das installiert Twoody (das größere Qwen3.6 35B-A3B in 3 Bit, damit es auf einen Mac mit 24 GB passt), und damit rechnet dieser Rechner. 8 Bit ist etwas feiner und braucht doppelt so viel Arbeitsspeicher.
Token pro Sekunde: wie sich das anfühlt
Ein Token ist ein Wortstück: im Englischen etwa drei Viertel eines Wortes, im Deutschen weniger. Beim stillen Lesen schaffen Sie etwa 5 Token pro Sekunde.
| unter 5 | langsamer, als Sie lesen |
| 5 bis 10 | etwa Ihr Lesetempo |
| 10 bis 20 | schneller, als Sie lesen |
| 20 bis 50 | nahezu verzögerungsfrei |
| über 50 | wirkt verzögerungsfrei |
Ein Modell, das zuerst nachdenkt, schreibt vor seiner Antwort 300 bis 3.000 Token an Überlegungen: bei 10 Token pro Sekunde eine halbe Minute bis fünf Minuten. In Twoody legen die Stufen „Schnell“, „Nachdenken“ und „Gründlich“ fest, wie lange es nachdenkt.
Ein Dokument lesen
Bevor das Modell eine Frage zu einem Dokument beantwortet, liest es das Dokument – und genau hier legen neuere Chips am meisten zu. Qwen3 8B liest ein Dokument mit 20 Seiten, bei 16 GB:
| M1 | 3 min |
| M4 | 76 s |
| M5 | 27 s |
Mac oder PC?
Ein Mac teilt seinen Arbeitsspeicher zwischen Prozessor und Grafikeinheit: Ein Mac mit 64 GB führt Modelle aus, die in keine Grafikkarte mit 24 GB passen. Eine PC-Grafikkarte hat weniger Speicher, liest ihn aber sehr schnell: Mit einem Modell, das hineinpasst, schreibt eine RTX 4090 schneller als jeder Mac. Twoody ist in der privaten Beta auf Mac, Windows und Linux: Unter Windows nutzt es die Grafikkarte über Vulkan, wenn der Treiber es unterstützt; unter Linux lässt es das Modell auf dem Prozessor laufen.
Das beste lokale LLM, je nach Computer
Methode und Quellen
Der Arbeitsspeicher ist keine Schätzung dieser Website: Es ist die Berechnung der Twoody-App, mit denselben Dateien und derselben Länge der Unterhaltung – die Modelldatei, die Datei, mit der es Bilder liest, und 0,3 GB, um sie zu nutzen, die Unterhaltung (in q8_0, mit 8 Bit, bei einem hybriden Modell wie Qwen3.5; sonst mit 16 Bit), der Zustand seiner rekurrenten Schichten und 0,3 GB Arbeitsspeicher für die Engine. Mit llama.cpp gemessen belegt Qwen3.5 9B bei einer Unterhaltung von 32k Token 7,4 GB, wie berechnet. Die Modelle sind die des Katalogs von Twoody, am 15. Oktober 2026 auf Hugging Face geprüft, und einige größere, die Twoody nicht anbietet, auf dieselbe Weise gerechnet.
Das Tempo jedes Geräts wird aus seiner gemessenen Geschwindigkeit mit dem Referenzmodell von llama.cpp (LLaMA 2 7B, 4 Bit) berechnet, skaliert nach dem, was jedes Modell pro Wort liest, mit den Speicherbandbreiten aus den technischen Daten von Apple und NVIDIA. Geprüft an 20 veröffentlichten Messungen, die nicht in die Berechnung eingeflossen sind: Abweichung im Median 4,5 %, höchstens 23 %, alle innerhalb der angegebenen Spannen.
Zahlen geprüft am 16. Oktober 2026.
Quellen
- www.apple.com/newsroom/
- support.apple.com/specs
- github.com/ggml-org/llama.cpp/discussions/4167
- github.com/ggml-org/llama.cpp/discussions/15013
- github.com/ggml-org/llama.cpp/discussions/10879
- github.com/ggml-org/llama.cpp/discussions/15396
- www.nvidia.com/en-us/geforce/graphics-cards/compare/
- huggingface.co/models
- www.sciencedirect.com/science/article/abs/pii/S0749596X19300786
Fragen zu lokalen LLMs
Kann ich mit 8 GB Arbeitsspeicher ein lokales LLM ausführen?
Ja, ein kleines. Auf einem Mac mit Apple-Chip und 8 GB sind die stärksten Modelle, die problemlos laufen, Qwen3.5 4B, Qwen3 4B Instruct 2507 und Nemotron 3 Nano 4B. Alle lassen sich mit einem Klick aus dem Katalog von Twoody installieren. Twoody schlägt von sich aus Qwen3.5 4B vor, das dort 4 GB Arbeitsspeicher braucht: eines der Modelle, die Twoody mit seinem Gedächtnis, seinen Werkzeugen und Ihren Dokumenten gemessen hat. Schließen Sie währenddessen speicherhungrige Apps.
Welches LLM für einen Mac mit 16 GB?
Auf einem Mac mit Apple-Chip und 16 GB sind die stärksten Modelle, die problemlos laufen, Gemma 4 12B, GLM-4.6V Flash und Qwen3.5 9B. Alle lassen sich mit einem Klick aus dem Katalog von Twoody installieren. Twoody schlägt von sich aus Qwen3.5 9B vor, das dort 7,4 GB Arbeitsspeicher braucht: eines der Modelle, die Twoody mit seinem Gedächtnis, seinen Werkzeugen und Ihren Dokumenten gemessen hat.
Wie viel Arbeitsspeicher braucht ein 70B-Modell?
In Twoody etwa 45 GB, für eine Unterhaltung bis 16k Token: Ein Mac mit 64 GB führt Llama 3.3 70B aus, je nach Chip mit 4,2–15 Token/s. Mixture-of-Experts-Modelle wie gpt-oss 120B brauchen mehr Arbeitsspeicher (60 GB), schreiben aber deutlich schneller.
Ist ein 4-Bit-Modell viel schlechter als ein 8-Bit-Modell?
Nur geringfügig. Beim Schreiben, bei Zusammenfassungen und bei Fragen zu Dokumenten fällt der Unterschied kaum auf, und 4 Bit halbiert den Speicherbedarf und verdoppelt das Tempo: Das installiert Twoody, und damit rechnet dieser Rechner.
Mac oder NVIDIA-Grafikkarte für ein lokales LLM?
Eine Grafikkarte schreibt schneller, wenn das Modell in ihren Speicher passt (8 bis 32 GB); ein Mac fasst in seinem gemeinsamen Arbeitsspeicher deutlich größere Modelle (bis zu 512 GB). Für eine einzelne Person, die mit Dokumenten arbeitet, ist ein Mac mit 16 bis 64 GB die einfachste Wahl.
Wird ein MacBook Air durch ein lokales LLM zu heiß?
Ein MacBook Air hat keinen Lüfter: Nach einigen Minuten ununterbrochenen Schreibens wird es langsamer, um kühl zu bleiben. Bei Antworten normaler Länge merkt man das nicht; bei langen Sitzungen hält ein MacBook Pro oder ein Mac mini sein Tempo.
Muss ich außer Twoody noch etwas installieren?
Nein: Mit einem Klick lädt Twoody das Modell herunter und führt es mit llama.cpp aus, seiner eigenen Engine. Auf einem Mac mit Apple-Chip kann es auf Ihren Wunsch auch MLX installieren, die Engine von Apple (Modelle › „Erweitert“).
Wie genau sind diese Zahlen?
Der Arbeitsspeicher ist der, den die Twoody-App anzeigt, auf dieselbe Weise berechnet: Für Qwen3.5 9B mit einer Unterhaltung von 32k Token hat llama.cpp 7,4 GB gemessen, wie berechnet. Die Geschwindigkeiten sind Schätzungen: Bei 20 veröffentlichten Messungen, die nicht in die Formel eingeflossen sind, liegt die Abweichung im Median bei 4,5 % und höchstens bei 23 %; jede Messung lag innerhalb der angegebenen Spanne. Ihr Tempo hängt außerdem von der App ab, von ihrer Version und davon, was der Computer sonst noch tut.
Probieren Sie Twoody, bevor es für alle offensteht.
Die private Beta ist kostenlos, auf Mac, Windows und Linux sowie auf iPhone und Android mit Twoody auf Ihrem Computer. Hinterlassen Sie Ihre E-Mail-Adresse, um eine Einladung anzufragen: Wir schreiben Ihnen, sobald sie für Sie bereit ist.