Linux에서 로컬 LLM
Linux에서 LLM을 로컬로 실행하기
대규모 언어 모델은 Linux 컴퓨터에서 완전히 실행될 수 있습니다. 비공개로, 오프라인에서, 무료로. 필요한 것, 모델 고르는 법, AppImage 또는 .deb 패키지로 가장 쉽게 시작하는 방법을 알려 드립니다.
내 컴퓨터에서 LLM을 실행하는 이유
모델이 컴퓨터 안에서 답하고 파일을 읽습니다. 모델을 설치한 뒤에는 인터넷 없이도 작동합니다. 구독도, 사용량 제한도 없고, 계정도 필요 없습니다. 대신 개인용 컴퓨터에 맞는 모델은 가장 큰 온라인 모델보다 작습니다. 글쓰기, 요약, 내 문서 작업에는 훌륭하지만, 가장 어려운 추론에는 부족합니다.
필요한 것
Linux를 실행하는 x86_64 PC. 프로세서로 실행할 때는 컴퓨터의 메모리(RAM)가 결정합니다. 8 GB는 약 40억 매개변수, 16 GB는 80억, 24 GB는 140억입니다. 메모리 속도도 중요합니다. DDR5가 DDR4보다 빠르게 답을 씁니다.
어떤 모델을 고를까
Qwen3.5는 모든 크기에서 여러 언어로 글을 잘 씁니다. Llama, Gemma, Mistral, gpt-oss도 좋은 대안입니다. 프로세서로 실행한다면 약 40억~90억 매개변수의 작은 모델을 쓰세요. 더 큰 모델은 메모리에 들어가더라도 쾌적하게 쓰기에는 답을 너무 느리게 씁니다.
Twoody가 해 드리는 일
- 컴퓨터에 맞는 모델을 제안하고 클릭 한 번으로 설치합니다. 카탈로그에는 모델 57개가 있으며, 모델마다 필요한 메모리가 표시됩니다.
- 문서 폴더를 읽고, 답변에 출처를 쪽 단위까지 밝힙니다.
- AppImage 또는 .deb 패키지로 설치하며, Ubuntu 24.04에서 테스트했습니다. 모델은 프로세서에서 실행됩니다.
Mac, Windows와 다른 점
같은 대화와 문서를 다루는 같은 앱입니다. Linux에서는 모델이 프로세서에서 실행되며, Twoody는 그래픽 카드를 사용하지 않습니다. 업데이트는 현재 수동입니다. 새 버전을 직접 다운로드해야 합니다. 그리고 몇 가지 기능은 Mac 전용입니다. 스캔한 PDF 읽기, Mac의 캘린더와 연락처, macOS 음성 인식을 이용한 받아쓰기(Linux에서는 앱에 포함된 whisper.cpp가 컴퓨터에서 음성을 텍스트로 변환합니다), 그리고 MLX입니다.
Twoody로 세 단계면 됩니다
-
1
대기자 명단에 등록하세요. Twoody는 Linux에서도 Mac, Windows에서도 비공개 베타 중이며, 이용할 수 있게 되면 연락드립니다.
-
2
Twoody가 컴퓨터에 맞게 제안하는 모델을 클릭 한 번으로 설치하세요. Qwen3.5 4B는 3.5 GB, 9B는 6.7 GB입니다.
-
3
첫 질문을 해 보세요. 원한다면 Wi-Fi를 끈 채로요.
자주 묻는 질문
Linux에서 LLM을 로컬로 실행하는 것은 무료인가요?
네. 오픈 웨이트 모델은 무료로 다운로드할 수 있고, Twoody도 무료입니다. 드는 비용은 컴퓨터의 메모리와 전기뿐입니다.
Linux에서 Twoody는 그래픽 카드를 사용하나요?
아니요. Linux에서 Twoody는 모델을 프로세서에서 실행하므로, 매개변수 약 40억~90억 개의 작은 모델을 쓰세요. 그래픽 카드로 모델을 실행하는 OpenAI 호환 서버가 컴퓨터에 있다면 Twoody에서 그 서버를 쓸 수도 있습니다. ‘모델’ › ‘고급’ › ‘엔진’ › ‘다른 주소’에서 지정하세요.
Twoody는 어떤 배포판에서 실행되나요?
Twoody는 Ubuntu 24.04(x86_64)에서 테스트했습니다. AppImage는 대부분의 배포판에서 실행되며, .deb 패키지는 Debian, Ubuntu와 그 파생 배포판에 Twoody를 설치합니다.
Linux에서 LLM을 실행하려면 메모리가 얼마나 필요한가요?
Qwen3.5 4B 같은 작은 모델은 8 GB면 됩니다. Linux에서 Twoody는 메모리가 32 GB 이상이면 Qwen3.5 9B를 제안하며, 16 GB부터는 이 모델을 직접 고를 수도 있습니다. 계산기에서 그래픽 카드 없는 PC가 DDR4 또는 DDR5 메모리로 무엇을 얼마나 빠르게 실행하는지 확인할 수 있습니다.
지금 Linux에서 Twoody를 사용할 수 있나요?
비공개 베타에서는 가능합니다. Twoody는 Mac, Windows와 마찬가지로 Linux(x86_64)에서 실행됩니다. 다운로드는 베타 참여자용입니다. 이메일을 남기고 대기자 명단에 등록하세요.
모두에게 공개되기 전에 Twoody를 먼저 써 보세요.
비공개 베타는 무료이며, Mac, Windows, Linux에서, 그리고 컴퓨터의 Twoody와 함께 iPhone과 Android에서 사용할 수 있습니다. 이메일을 남겨 초대를 요청하시면 준비되는 대로 연락드리겠습니다.