로컬 LLM 계산기
NVIDIA 그래픽카드에 가장 알맞은 로컬 LLM
RTX 3060부터 RTX 5090까지: 카드별 메모리에 들어가는 가장 강력한 모델과 그 쓰기 속도.
| 내 컴퓨터 | 메모리 | 원활하게 실행되는 가장 강력한 모델 | 쓰기 속도 | Twoody 기본 제안 |
|---|---|---|---|---|
GeForce RTX 5090 (32 GB) |
32GB | Qwen3.6 35B-A3B Twoody에서 클릭 한 번 | 초당 100 토큰 이상 | Qwen3.5 9B(7.9GB) |
GeForce RTX 5080 (16 GB) |
16GB | Qwen3 14B Twoody에서 클릭 한 번 | 초당 66~95 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 5070 Ti (16 GB) |
16GB | Qwen3 14B Twoody에서 클릭 한 번 | 초당 63~91 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 5070 (12 GB) |
12GB | Gemma 4 12B Twoody에서 클릭 한 번 | 초당 56~81 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 5060 Ti (16 GB) |
16GB | Qwen3 14B Twoody에서 클릭 한 번 | 초당 32~46 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 5060 Ti (8 GB) |
8GB | Qwen3.5 4B Twoody에서 클릭 한 번 | 초당 77~154 토큰 | Qwen3.5 9B(7.9GB) 일부가 프로세서에서 실행: 훨씬 느림 |
GeForce RTX 5060 (8 GB) |
8GB | Qwen3.5 4B Twoody에서 클릭 한 번 | 초당 82~147 토큰 | Qwen3.5 9B(7.9GB) 일부가 프로세서에서 실행: 훨씬 느림 |
GeForce RTX 4090 (24 GB) |
24GB | Qwen3.6 35B-A3B Twoody에서 클릭 한 번 | 초당 100 토큰 이상 | Qwen3.5 9B(7.9GB) |
GeForce RTX 4080 SUPER (16 GB) |
16GB | Qwen3 14B Twoody에서 클릭 한 번 | 초당 52~74 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 4080 (16 GB) |
16GB | Qwen3 14B Twoody에서 클릭 한 번 | 초당 50~72 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 4070 Ti SUPER (16 GB) |
16GB | Qwen3 14B Twoody에서 클릭 한 번 | 초당 47~67 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 4070 Ti (12 GB) |
12GB | Gemma 4 12B Twoody에서 클릭 한 번 | 초당 47~67 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 4070 SUPER (12 GB) |
12GB | Gemma 4 12B Twoody에서 클릭 한 번 | 초당 47~67 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 4070 (12 GB) |
12GB | Gemma 4 12B Twoody에서 클릭 한 번 | 초당 41~59 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 4060 Ti (16 GB) |
16GB | Qwen3 14B Twoody에서 클릭 한 번 | 초당 21~30 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 4060 Ti (8 GB) |
8GB | Qwen3.5 4B Twoody에서 클릭 한 번 | 초당 53~105 토큰 | Qwen3.5 9B(7.9GB) 일부가 프로세서에서 실행: 훨씬 느림 |
GeForce RTX 4060 (8 GB) |
8GB | Qwen3.5 4B Twoody에서 클릭 한 번 | 초당 53~95 토큰 | Qwen3.5 9B(7.9GB) 일부가 프로세서에서 실행: 훨씬 느림 |
GeForce RTX 3090 (24 GB) |
24GB | Qwen3.6 35B-A3B Twoody에서 클릭 한 번 | 초당 100 토큰 이상 | Qwen3.5 9B(7.9GB) |
GeForce RTX 3080 (10 GB) |
10GB | Gemma 4 12B Twoody에서 클릭 한 번 | 초당 62~89 토큰 | Qwen3.5 9B(7.9GB) |
GeForce RTX 3070 (8 GB) |
8GB | Qwen3.5 4B Twoody에서 클릭 한 번 | 초당 62~123 토큰 | Qwen3.5 9B(7.9GB) 일부가 프로세서에서 실행: 훨씬 느림 |
GeForce RTX 3060 Ti (8 GB) |
8GB | Qwen3.5 4B Twoody에서 클릭 한 번 | 초당 70~140 토큰 | Qwen3.5 9B(7.9GB) 일부가 프로세서에서 실행: 훨씬 느림 |
GeForce RTX 3060 (12 GB) |
12GB | Gemma 4 12B Twoody에서 클릭 한 번 | 초당 33~48 토큰 | Qwen3.5 9B(7.9GB) |
속도는 Twoody로 측정한 값이 아니라 llama.cpp 공개 벤치마크를 바탕으로 계산한 추정치입니다. 수치 확인일: 2026년 10월 16일.
이 표 읽는 법
그래픽카드마다 한 줄입니다. 어떤 모델이 들어가는지는 카드 자체의 메모리(VRAM)가 결정하며, 속도는 모델을 카드에서 실행할 때의 값입니다. PC 본체의 메모리는 32GB로 계산했습니다.
- 원활하게 실행되는 가장 강력한 모델
- 여유 있게 들어가고, 적어도 내가 읽는 속도(초당 5 토큰)로 쓰는 가장 강력한 모델입니다. 이름 아래에는 Twoody에서 클릭 한 번으로 설치할 수 있는지 표시합니다.
- 쓰기 속도
- 그 컴퓨터에서의 속도를 초당 토큰 수로 나타냅니다. llama.cpp 공개 벤치마크로 계산한 추정치이며, Twoody로 측정한 값이 아닙니다.
- Twoody 기본 제안
- 앱이 그 컴퓨터에 가장 먼저 설치하는 모델과 거기서 필요한 메모리입니다. 가장 강력한 모델은 아닐 수 있지만, Twoody가 기억, 도구, 내 문서로 측정한 모델 중 하나입니다.
Twoody는 비공개 베타 중입니다. 이메일을 남겨 참여를 신청해 주세요.
PC에서는 그래픽카드 메모리(VRAM)가 결정합니다. 매개변수 40억~80억 개 모델에는 8GB, 140억 개 모델이나 gpt-oss 20B에는 16GB, 320억 개 모델에는 24~32GB가 필요합니다.
그래픽카드는 메모리를 매우 빠르게 읽습니다. 메모리에 들어가는 모델이라면 어떤 Mac보다도 빠르게 씁니다.
Windows·Linux용 Twoody는 비공개 베타 중입니다. Windows 10·11(x64)에서는 드라이버가 지원하면 Vulkan을 통해 NVIDIA 카드에서, 그렇지 않으면 프로세서에서 모델을 실행하고, Linux에서는 프로세서에서 실행합니다. 이 페이지의 속도는 그래픽카드에서 실행되는 모델을 기준으로 한 추정치이며, Twoody로 측정한 값이 아닙니다.
LLM을 로컬에서 실행하는 방법에 관한 질문
RTX 4090에는 어떤 LLM이 좋을까요?
원활하게 실행되는 가장 강력한 모델은 Qwen3.6 35B-A3B입니다. 초당 100 토큰 이상으로 씁니다. Twoody 카탈로그에서 클릭 한 번으로 설치할 수 있습니다. 메모리가 32GB인 PC에서 Twoody가 기본으로 제안하는 모델은 Qwen3.5 9B입니다. 여기서 필요한 메모리는 7.9GB이며, Twoody가 기억, 도구, 내 문서로 측정한 모델 중 하나입니다.
8GB 그래픽카드로 충분한가요?
작은 모델이라면 충분합니다. 원활하게 실행되는 가장 강력한 모델은 Qwen3.5 4B입니다. 그래픽 카드에 따라 초당 53~154 토큰으로 씁니다. Twoody 카탈로그에서 클릭 한 번으로 설치할 수 있습니다. 더 큰 모델은 컴퓨터 메모리로 넘쳐 훨씬 느려집니다.
Twoody는 NVIDIA 카드를 단 Windows에서 실행되나요?
비공개 베타에서는 그렇습니다. Windows 10·11(x64)에서 Twoody는 드라이버가 지원하면 Vulkan을 통해 NVIDIA 카드에서, 그렇지 않으면 프로세서에서 모델을 실행합니다. 플랫폼 페이지에 이메일을 남기시면 대기자 명단에 등록됩니다.
모두에게 공개되기 전에 Twoody를 먼저 써 보세요.
비공개 베타는 무료이며, Mac, Windows, Linux에서, 그리고 컴퓨터의 Twoody와 함께 iPhone과 Android에서 사용할 수 있습니다. 이메일을 남겨 초대를 요청하시면 준비되는 대로 연락드리겠습니다.