Een LLM lokaal draaien op Linux

Waarom een LLM op uw computer

Het model antwoordt en leest uw bestanden op de computer zelf. Zodra het model is geïnstalleerd, werkt het zonder internet. Er is geen abonnement, geen limiet en geen account nodig. De keerzijde: een model dat op een gewone computer past, is kleiner dan de grootste online modellen — uitstekend voor schrijven, samenvattingen en uw documenten, minder voor het moeilijkste denkwerk.

Wat u nodig heeft

Een x86_64-pc met Linux. Op de processor bepaalt het werkgeheugen van de computer (RAM) het model: 8 GB voor ongeveer 4 miljard parameters, 16 GB voor 8 miljard, 24 GB voor 14 miljard. Snel geheugen telt: met DDR5 schrijft het model sneller dan met DDR4.

Welk model u kiest

Qwen3.5 schrijft in elke grootte goed, en in veel talen; Llama, Gemma, Mistral en gpt-oss zijn goede alternatieven. Blijf op de processor bij de kleine modellen, van ongeveer 4 tot 9 miljard parameters: een groter model past wel in het geheugen, maar schrijft te langzaam om prettig te werken.

Wat Twoody voor u doet

• Het stelt het model voor dat bij uw computer past en installeert het met één klik; de catalogus telt er 57, elk met het geheugen dat het vraagt.
• Het leest uw documentmappen, en de antwoorden vermelden hun bronnen, tot op de pagina.
• Als AppImage of als .deb-pakket, getest op Ubuntu 24.04; het model draait op de processor.

Wat er anders is dan op de Mac en Windows

Het is dezelfde app, met dezelfde gesprekken en documenten. Op Linux draait het model op de processor: Twoody gebruikt daar de videokaart niet. Updates gaan voorlopig met de hand: u downloadt de nieuwe versie zelf. En een paar functies zijn er alleen op de Mac: gescande pdf's lezen, de Agenda en Contacten van de Mac, dicteren met de spraakherkenning van macOS (op Linux wordt uw stem op de computer omgezet in tekst door whisper.cpp, dat met de app wordt meegeleverd) en MLX.

Met Twoody, in drie stappen

1. 1

   Schrijf u in op de wachtlijst: Twoody is in besloten bèta, op Linux net als op de Mac en Windows, en we schrijven u zodra het voor u opengaat.

2. 2

   Installeer met één klik het model dat Twoody voor uw computer voorstelt: 3,5 GB voor Qwen3.5 4B, 6,7 GB voor de 9B.

3. 3

   Stel uw eerste vraag — en zet wifi uit als u wilt.