Lokales LLM unter Windows
Ein LLM lokal auf Ihrem Windows-PC ausführen
Ein großes Sprachmodell kann komplett auf Ihrem Windows-PC laufen: privat, offline und kostenlos. Was Sie brauchen, welches Modell Sie wählen sollten, Grafikkarte oder Prozessor – und wie Sie am einfachsten starten.
Warum ein LLM auf Ihrem PC?
Das Modell antwortet und liest Ihre Dateien direkt auf dem PC. Es funktioniert ohne Internet. Es gibt kein Abo und kein Kontingent, und Sie brauchen kein Konto. Der Kompromiss: Ein Modell, das auf einen PC passt, ist kleiner als die größten Online-Modelle – hervorragend zum Schreiben, für Zusammenfassungen und Ihre Dokumente, weniger für die schwierigsten Denkaufgaben.
Was Sie brauchen
Windows 10 oder 11, 64 Bit. Zwei Speicher zählen. Auf dem Prozessor entscheidet der Arbeitsspeicher des Computers (RAM): 8 GB für etwa 4 Milliarden Parameter, 16 GB für 8 Milliarden, 24 GB für 14 Milliarden. Auf einer Grafikkarte entscheidet ihr eigener Speicher (VRAM): 8 GB für Modelle mit 4 bis 8 Milliarden Parametern, 16 GB für 14 Milliarden oder gpt-oss-20b, 24 bis 32 GB für 32 Milliarden. Ein Modell, das in die Grafikkarte passt, schreibt viel schneller als auf dem Prozessor.
Welches Modell Sie wählen sollten
Qwen3.5 schreibt in jeder Größe gut, und das in vielen Sprachen; Llama, Gemma, Mistral und gpt-oss sind gute Alternativen. Mit einer Grafikkarte wählen Sie ein Modell, das vollständig in ihren Speicher passt: Eines, das in den Arbeitsspeicher des Computers überläuft, wird deutlich langsamer. Ohne Grafikkarte bleiben Sie bei den kleinen Modellen mit etwa 4 Milliarden Parametern.
Drei Möglichkeiten
- Twoody – dieselbe App wie auf dem Mac: Sie schlägt das passende Modell für Ihren PC vor und installiert es mit einem Klick, liest Ihre Dokumentordner und nennt sie als Quellen. Ihr Installationsprogramm ist von Osmove signiert; das Modell läuft über Vulkan auf der Grafikkarte, wenn der Treiber es zulässt, sonst auf dem Prozessor.
- LM Studio – eine App, um Tausende Modelle und ihre Einstellungen zu erkunden. Ein x64-PC, dessen Prozessor AVX2 unterstützt, oder ein ARM-PC (Snapdragon X Elite); 16 GB Arbeitsspeicher empfohlen.
- Ollama – eine Engine, bedient über das Terminal, eine API oder die eigene App. Windows 10 22H2 oder neuer; es nutzt NVIDIA-Karten sowie AMD-Radeon-Karten über ROCm oder Vulkan.
Was sich vom Mac unterscheidet
Es ist dieselbe App, mit denselben Unterhaltungen und Dokumenten. Drei Dinge gibt es nur auf dem Mac: das Lesen gescannter PDFs, Kontakte und Kalender sowie das Diktat mit der Spracherkennung von macOS – unter Windows wird Ihre Stimme auf dem PC von whisper.cpp transkribiert, das in der App enthalten ist. Wie auf dem Mac aktualisiert sich Twoody selbst, nach Ihrem Klick.
Mit Twoody in drei Schritten
-
1
Tragen Sie sich in die Warteliste ein: Twoody ist in der privaten Beta, unter Windows wie auf dem Mac und unter Linux, und wir schreiben Ihnen, sobald es für Sie offen ist.
-
2
Installieren Sie das Modell, das Twoody für Ihren PC vorschlägt: 2,8 oder 5,8 GB, ein Klick.
-
3
Stellen Sie Ihre erste Frage – und schalten Sie das WLAN aus, wenn Sie möchten.
Häufige Fragen
Ist es kostenlos, ein LLM lokal unter Windows auszuführen?
Ja: Die offenen Modelle lassen sich kostenlos herunterladen, und Twoody, LM Studio und Ollama sind kostenlos. Es kostet nur Arbeitsspeicher Ihres PCs und Strom.
Brauche ich eine Grafikkarte?
Nein, aber sie beschleunigt erheblich. Ohne Grafikkarte läuft das Modell auf dem Prozessor: Kleine Modelle funktionieren, nur langsamer. Twoody nutzt die Grafikkarte über Vulkan, wenn ihr Treiber es zulässt; LM Studio und Ollama nutzen ebenfalls NVIDIA- und AMD-Karten.
Wie viel Arbeitsspeicher brauche ich für ein LLM unter Windows?
8 GB für ein kleines Modell wie Qwen3.5 4B, 16 GB für Qwen3.5 9B. Mit einer Grafikkarte entscheidet ihr Speicher (VRAM): 8 GB für Modelle mit 4 bis 8 Milliarden Parametern, 16 GB für 14 Milliarden. Der LLM-Rechner zeigt, was auf welche Karte passt und wie schnell es läuft.
Windows meldet „Der Computer wurde durch Windows geschützt“: Ist das normal?
Ja, bei einer neuen App, bis sie sich einen Ruf aufgebaut hat – auch wenn sie signiert ist. Prüfen Sie, dass das Installationsprogramm von Osmove signiert ist (Eigenschaften › Digitale Signaturen), und klicken Sie dann auf „Weitere Informationen“ und „Trotzdem ausführen“.
Kann ich Twoody heute schon unter Windows nutzen?
In der privaten Beta ja: Twoody läuft unter Windows 10 und 11 (64 Bit), wie auf dem Mac und unter Linux. Die Downloads sind den Teilnehmern der Beta vorbehalten: Hinterlassen Sie Ihre E-Mail-Adresse, um auf die Warteliste zu kommen.
Twoody ist in der privaten Beta.
Auf Mac, Windows und Linux, kostenlos, ohne Konto und ohne Abo – und auf iPhone und Android, mit Twoody auf Ihrem Computer. Hinterlassen Sie Ihre E-Mail-Adresse: Wir schreiben Ihnen, sobald Twoody für Sie offensteht.