LinuxでローカルLLM
LinuxでローカルLLMを動かす
大規模言語モデルは、Linuxマシンの中だけで動かせます。プライベートに、オフラインで、無料で。必要なもの、モデルの選び方、そしてAppImageまたは.debパッケージを使った最も簡単な始め方を紹介します。
自分のマシンでLLMを動かす理由
モデルはマシンの上で回答し、ファイルを読み込みます。モデルをインストールした後は、インターネットがなくても動きます。サブスクリプションも利用上限もなく、アカウントも不要です。その代わり、パソコンに収まるモデルはオンラインの最大級のモデルより小さくなります。文章作成や要約、文書への質問には十分ですが、最も難しい推論は得意ではありません。
必要なもの
Linuxが動くx86_64のPC。CPUで動かす場合は、パソコンのメモリ(RAM)で決まります。約40億パラメータなら8GB、80億なら16GB、140億なら24GBが目安です。メモリの速さも重要で、DDR5はDDR4より速く文章を書きます。
モデルの選び方
Qwen3.5はどのサイズでも、日本語を含む多くの言語を上手に書きます。Llama、Gemma、Mistral、gpt-ossも良い選択肢です。CPUで動かす場合は、約40億〜90億パラメータの小さなモデルにとどめましょう。それより大きなモデルはメモリには収まっても、快適に使うには文章を書く速度が遅すぎます。
Twoodyがしてくれること
- マシンに合ったモデルを提案し、ワンクリックでインストールします。カタログには57のモデルがあり、それぞれに必要なメモリが示されています。
- 文書のフォルダを読み込み、回答にはページ単位まで出典を示します。
- AppImageまたは.debパッケージで提供し、Ubuntu 24.04で動作確認済みです。モデルはCPUで動きます。
Mac・Windowsとの違い
同じアプリで、会話も文書も同じです。LinuxではモデルはCPUで動き、TwoodyはGPUを使いません。アップデートは今のところ手動で、新しいバージョンをご自身でダウンロードしていただく必要があります。また、Macだけの機能がいくつかあります。スキャンしたPDFの読み取り、Macの「カレンダー」と「連絡先」、macOSの音声認識による音声入力(Linuxでは、アプリに同梱されたwhisper.cppが、あなたの声をマシン上で文字に起こします)、そしてMLXです。
Twoodyなら3ステップ
-
1
ウェイトリストに登録します。TwoodyはLinux、Mac、Windowsのいずれも非公開ベータ版です。ご利用いただけるようになりましたら、メールでお知らせします。
-
2
マシンに合わせて提案されたモデルを、ワンクリックでインストールします(Qwen3.5 4Bは3.5GB、9Bは6.7GB)。
-
3
最初の質問をしてみましょう。お好みでWi-Fiをオフにしても構いません。
よくある質問
LinuxでローカルLLMを動かすのは無料ですか?
はい。オープンウェイトのモデルは無料でダウンロードでき、Twoodyも無料です。かかるのはマシンのメモリと電気代だけです。
TwoodyはLinuxでGPUを使いますか?
いいえ。Linuxでは、TwoodyはモデルをCPUで動かすため、約40億〜90億パラメータの小さなモデルにとどめましょう。GPUを使ってマシン上で動くOpenAI互換サーバーがあれば、Twoodyからそれを使うこともできます(「モデル」›「詳細設定」›「エンジン」›「ほかのアドレス」)。
Twoodyはどのディストリビューションで動きますか?
TwoodyはUbuntu 24.04(x86_64)で動作確認しています。AppImageはほとんどのディストリビューションで動き、.debパッケージはDebian、Ubuntuとその派生ディストリビューションにTwoodyをインストールします。
LinuxでLLMを動かすには、どれくらいのメモリが必要ですか?
Qwen3.5 4Bのような小さなモデルなら8GBです。Linuxでは、メモリが32GB以上ならTwoodyがQwen3.5 9Bを提案し、16GB以上あれば自分で選ぶこともできます。計算ツールで、GPUのないPCがDDR4またはDDR5のメモリでどのモデルを動かせるか、どれくらいの速度かを確認できます。
TwoodyはもうLinuxで使えますか?
非公開ベータ版でなら使えます。TwoodyはMacやWindowsと同じく、Linux(x86_64)で動作します。ダウンロードはベータ版の参加者に限られています。メールアドレスを登録して、ウェイトリストにご参加ください。
一般公開の前に、Twoodyをお試しください。
非公開ベータ版は無料です。Mac、Windows、Linuxで、そしてパソコンのTwoodyと連携してiPhone・Androidでもお使いいただけます。メールアドレスをご登録のうえ招待をリクエストしていただければ、準備が整い次第お知らせします。