Faire tourner un LLM en local sous Linux

Pourquoi faire tourner un LLM sur votre machine

Le modèle répond et lit vos fichiers sur la machine. Ça fonctionne sans Internet. Pas d'abonnement, pas de quota, et aucun compte nécessaire. La contrepartie : un modèle qui tient sur un ordinateur personnel est plus petit que les plus grands modèles en ligne — excellent pour rédiger, résumer et interroger vos documents, moins pour les raisonnements les plus difficiles.

Ce qu'il vous faut

Un PC x86_64 sous Linux. Sur le processeur, c'est la mémoire de l'ordinateur (RAM) qui décide : 8 Go pour environ 4 milliards de paramètres, 16 Go pour 8 milliards, 24 Go pour 14 milliards. Une mémoire rapide compte : la DDR5 écrit plus vite que la DDR4. Une carte graphique NVIDIA ou AMD accélère beaucoup, avec les outils qui l'utilisent sous Linux.

Quel modèle choisir

Qwen3.5 écrit bien dans de nombreuses langues, à toutes les tailles ; Llama, Gemma, Mistral et gpt-oss sont de bonnes alternatives. Sur le processeur, restez sur les petits modèles, d'environ 4 à 9 milliards de paramètres : un plus grand tient en mémoire, mais écrit trop lentement pour être confortable.

Trois façons de faire

• Twoody — la même app que sur Mac et Windows : elle propose le modèle adapté à votre machine et l'installe en un clic, lit vos dossiers de documents et les cite. En AppImage ou en paquet .deb, testée sur Ubuntu 24.04 ; le modèle tourne sur le processeur.
• LM Studio — une app pour explorer des milliers de modèles et leurs réglages. En AppImage, pour Ubuntu 20.04 ou plus récent, sur x64 (avec AVX2) et ARM64.
• Ollama — un moteur utilisé depuis le terminal ou son API, qui s'installe en une commande. Il utilise les cartes NVIDIA (CUDA) et AMD (ROCm).

Ce qui change par rapport au Mac et à Windows

C'est la même app, avec les mêmes conversations et les mêmes documents. Sous Linux, le modèle tourne sur le processeur : Twoody n'y utilise pas la carte graphique. Les mises à jour sont manuelles pour l'instant : vous téléchargez vous-même la nouvelle version. Et trois choses sont propres au Mac : la lecture des PDF scannés, Contacts et Calendrier, et la dictée par la reconnaissance vocale de macOS — sous Linux, votre voix est transcrite sur la machine par whisper.cpp, fourni avec l'application.

Avec Twoody, en trois étapes

1. 1

   Rejoignez la liste d'attente : Twoody est en bêta privée, sous Linux comme sur Mac et Windows, et nous vous écrirons quand il vous sera ouvert.

2. 2

   Installez le modèle qu'il propose pour votre machine : 2,8 ou 5,8 Go, en un clic.

3. 3

   Posez votre première question — et coupez le Wi-Fi si vous voulez.