Twoody

Lokales LLM unter Linux

Ein LLM lokal unter Linux ausführen

Ein großes Sprachmodell kann komplett auf Ihrem Linux-Rechner laufen: privat, offline und kostenlos. Was Sie brauchen, welches Modell Sie wählen sollten und wie Sie am einfachsten starten – mit einem AppImage oder einem .deb-Paket.

Warum ein LLM auf Ihrem Rechner?

Das Modell antwortet und liest Ihre Dateien direkt auf dem Rechner. Sobald das Modell installiert ist, funktioniert es ohne Internet. Es gibt kein Abo und kein Kontingent, und Sie brauchen kein Konto. Der Kompromiss: Ein Modell, das auf einen eigenen Computer passt, ist kleiner als die größten Online-Modelle – hervorragend zum Schreiben, für Zusammenfassungen und Ihre Dokumente, weniger für die schwierigsten Denkaufgaben.

Was Sie brauchen

Einen x86_64-PC mit Linux. Auf dem Prozessor entscheidet der Arbeitsspeicher des Computers (RAM): 8 GB für etwa 4 Milliarden Parameter, 16 GB für 8 Milliarden, 24 GB für 14 Milliarden. Schneller Speicher zählt: Mit DDR5 schreibt das Modell schneller als mit DDR4.

Welches Modell Sie wählen sollten

Qwen3.5 schreibt in jeder Größe gut, und das in vielen Sprachen; Llama, Gemma, Mistral und gpt-oss sind gute Alternativen. Auf dem Prozessor bleiben Sie bei den kleinen Modellen mit etwa 4 bis 9 Milliarden Parametern: Ein größeres passt zwar in den Arbeitsspeicher, schreibt aber zu langsam, um angenehm zu sein.

Was Twoody für Sie tut

  • Es schlägt das Modell vor, das zu Ihrem Rechner passt, und installiert es mit einem Klick; sein Katalog umfasst 57 Modelle, jedes mit Angabe des Arbeitsspeichers, den es braucht.
  • Es liest Ihre Dokumentordner, und seine Antworten nennen ihre Quellen, bis auf die Seite genau.
  • Als AppImage oder .deb-Paket, getestet unter Ubuntu 24.04; das Modell läuft auf dem Prozessor.

Was sich von Mac und Windows unterscheidet

Es ist dieselbe App, mit denselben Unterhaltungen und Dokumenten. Unter Linux läuft das Modell auf dem Prozessor: Twoody nutzt dort die Grafikkarte nicht. Updates erfolgen vorerst von Hand: Sie laden die neue Version selbst herunter. Und einige Funktionen gibt es nur auf dem Mac: das Lesen gescannter PDFs, Kalender und Kontakte des Mac, das Diktat mit der Spracherkennung von macOS (unter Linux wird Ihre Stimme auf dem Rechner von whisper.cpp transkribiert, das in der App enthalten ist) und MLX.

Mit Twoody in drei Schritten

  1. 1

    Tragen Sie sich in die Warteliste ein: Twoody ist in der privaten Beta, unter Linux wie auf dem Mac und unter Windows, und wir schreiben Ihnen, sobald es für Sie offen ist.

  2. 2

    Installieren Sie das Modell, das Twoody für Ihren Rechner vorschlägt, mit einem Klick: 3,5 GB für Qwen3.5 4B, 6,7 GB für das 9B.

  3. 3

    Stellen Sie Ihre erste Frage – und schalten Sie das WLAN aus, wenn Sie möchten.

Häufige Fragen

Ist es kostenlos, ein LLM lokal unter Linux auszuführen?

Ja: Die offenen Modelle lassen sich kostenlos herunterladen, und Twoody ist kostenlos. Es kostet nur Arbeitsspeicher Ihres Rechners und Strom.

Nutzt Twoody unter Linux die Grafikkarte?

Nein: Unter Linux führt Twoody das Modell auf dem Prozessor aus; bleiben Sie also bei den kleinen Modellen mit etwa 4 bis 9 Milliarden Parametern. Twoody kann auch einen OpenAI-kompatiblen Server nutzen, der auf Ihrem Rechner mit der Grafikkarte läuft: Modelle › „Erweitert“ › „Engine“ › „Andere Adresse“.

Auf welchen Distributionen läuft Twoody?

Twoody ist unter Ubuntu 24.04 (x86_64) getestet. Das AppImage läuft auf den meisten Distributionen; das .deb-Paket installiert Twoody unter Debian, Ubuntu und ihren Derivaten.

Wie viel Arbeitsspeicher brauche ich für ein LLM unter Linux?

8 GB für ein kleines Modell wie Qwen3.5 4B. Unter Linux schlägt Twoody Qwen3.5 9B ab 32 GB vor; ab 16 GB können Sie es selbst wählen. Der LLM-Rechner zeigt, was ein PC ohne Grafikkarte ausführt, mit DDR4- oder DDR5-Speicher, und wie schnell.

Kann ich Twoody heute schon unter Linux nutzen?

In der privaten Beta ja: Twoody läuft unter Linux (x86_64), wie auf dem Mac und unter Windows. Die Downloads sind den Teilnehmern der Beta vorbehalten: Hinterlassen Sie Ihre E-Mail-Adresse, um auf die Warteliste zu kommen.

Probieren Sie Twoody, bevor es für alle offensteht.

Die private Beta ist kostenlos, auf Mac, Windows und Linux sowie auf iPhone und Android mit Twoody auf Ihrem Computer. Hinterlassen Sie Ihre E-Mail-Adresse, um eine Einladung anzufragen: Wir schreiben Ihnen, sobald sie für Sie bereit ist.

Eine Bestätigungs-E-Mail, eine E-Mail, sobald Twoody für Sie bereit ist, und Neuigkeiten von Twoody. Abmeldung mit einem Klick. Was wir mit Ihrer Adresse tun.