Ein LLM lokal unter Linux ausführen

Warum ein LLM auf Ihrem Rechner?

Das Modell antwortet und liest Ihre Dateien direkt auf dem Rechner. Es funktioniert ohne Internet. Es gibt kein Abo und kein Kontingent, und Sie brauchen kein Konto. Der Kompromiss: Ein Modell, das auf einen eigenen Computer passt, ist kleiner als die größten Online-Modelle – hervorragend zum Schreiben, für Zusammenfassungen und Ihre Dokumente, weniger für die schwierigsten Denkaufgaben.

Was Sie brauchen

Einen x86_64-PC mit Linux. Auf dem Prozessor entscheidet der Arbeitsspeicher des Computers (RAM): 8 GB für etwa 4 Milliarden Parameter, 16 GB für 8 Milliarden, 24 GB für 14 Milliarden. Schneller Speicher zählt: Mit DDR5 schreibt das Modell schneller als mit DDR4. Eine NVIDIA- oder AMD-Grafikkarte beschleunigt erheblich, mit den Werkzeugen, die sie unter Linux nutzen.

Welches Modell Sie wählen sollten

Qwen3.5 schreibt in jeder Größe gut, und das in vielen Sprachen; Llama, Gemma, Mistral und gpt-oss sind gute Alternativen. Auf dem Prozessor bleiben Sie bei den kleinen Modellen mit etwa 4 bis 9 Milliarden Parametern: Ein größeres passt zwar in den Arbeitsspeicher, schreibt aber zu langsam, um angenehm zu sein.

Drei Möglichkeiten

• Twoody – dieselbe App wie auf dem Mac und unter Windows: Sie schlägt das passende Modell für Ihren Rechner vor und installiert es mit einem Klick, liest Ihre Dokumentordner und nennt sie als Quellen. Als AppImage oder .deb-Paket, getestet unter Ubuntu 24.04; das Modell läuft auf dem Prozessor.
• LM Studio – eine App, um Tausende Modelle und ihre Einstellungen zu erkunden. Ein AppImage für Ubuntu 20.04 oder neuer, auf x64 (mit AVX2) und ARM64.
• Ollama – eine Engine, bedient über das Terminal oder seine API, mit einem einzigen Befehl installiert. Es nutzt NVIDIA-Karten (CUDA) und AMD-Karten (ROCm).

Was sich von Mac und Windows unterscheidet

Es ist dieselbe App, mit denselben Unterhaltungen und Dokumenten. Unter Linux läuft das Modell auf dem Prozessor: Twoody nutzt dort die Grafikkarte nicht. Updates erfolgen vorerst von Hand: Sie laden die neue Version selbst herunter. Und drei Dinge gibt es nur auf dem Mac: das Lesen gescannter PDFs, Kontakte und Kalender sowie das Diktat mit der Spracherkennung von macOS – unter Linux wird Ihre Stimme auf dem Rechner von whisper.cpp transkribiert, das in der App enthalten ist.

Mit Twoody in drei Schritten

1. 1

   Tragen Sie sich in die Warteliste ein: Twoody ist in der privaten Beta, unter Linux wie auf dem Mac und unter Windows, und wir schreiben Ihnen, sobald es für Sie offen ist.

2. 2

   Installieren Sie das Modell, das Twoody für Ihren Rechner vorschlägt: 2,8 oder 5,8 GB, ein Klick.

3. 3

   Stellen Sie Ihre erste Frage – und schalten Sie das WLAN aus, wenn Sie möchten.