Calculator voor lokale LLM's
Een lokale LLM op een RTX 3060 Ti
Met 8 GB eigen geheugen: welke open modellen op een RTX 3060 Ti passen, hoe snel ze schrijven en lezen, en de vergelijking met RTX 3060, RTX 3070, RTX 4060 Ti (8 GB) en RTX 5060 Ti (16 GB). Berekend met het geheugen dat de Twoody-app toont en openbare benchmarks van llama.cpp.
Het beste lokale LLM voor een RTX 3060 Ti
| Geheugen | Het sterkste dat ruim draait | Schrijft | Standaard voorgesteld door Twoody |
|---|---|---|---|
| 8 GB | Qwen3.5 4B Met één klik in Twoody | 70–140 tokens/s | Qwen3.5 9B (7,9 GB) Deels op de processor: veel trager |
De snelheden zijn schattingen, geen metingen met Twoody, berekend op basis van openbare llama.cpp-benchmarks. Cijfers gecontroleerd op 16 oktober 2026.
„Het sterkste dat ruim draait”: het sterkste model dat ruim in het geheugen van de kaart past en minstens op uw leessnelheid schrijft (5 tokens per seconde). „Standaard voorgesteld door Twoody”: het model dat de app als eerste installeert op een pc met deze kaart en 32 GB geheugen, en het geheugen dat het er nodig heeft.
Twoody is in besloten bèta: laat uw e-mailadres achter om toegang aan te vragen.
Alle modellen die goed draaien op een RTX 3060 Ti
23 van de 62 modellen die de calculator kent (de catalogus van Twoody en een paar grotere) draaien hier goed, het sterkste eerst: het geheugen dat de Twoody-app voor elk ervan op deze computer aangeeft, hoe snel het schrijft en hoe lang het over het lezen van een document doet.
| Model | Geheugen | Schrijft | Leest een document |
|---|---|---|---|
| GLM-4 9B Met één klik in Twoody | Heeft 6,7 GB geheugen nodig Draait – sluit andere apps | 44–63 tokens/s | 20 pagina's in 9 s |
| Qwen3 8B Met één klik in Twoody | Heeft 7,2 GB geheugen nodig Draait – sluit andere apps | 52–75 tokens/s | 20 pagina's in 8 s |
| Llama 3.1 8B Met één klik in Twoody | Heeft 6,9 GB geheugen nodig Draait – sluit andere apps | 54–78 tokens/s | 20 pagina's in 8 s |
| Gemma 4 E4B Met één klik in Twoody | Heeft 6,6 GB geheugen nodig Draait – sluit andere apps | 83–119 tokens/s | 20 pagina's in 5 s |
| Qwen3.5 4B Met één klik in Twoody | Heeft 4,9 GB geheugen nodig Draait ruim | 70–140 tokens/s | 20 pagina's in 5 s |
| Qwen3 4B Instruct 2507 Met één klik in Twoody | Heeft 4,9 GB geheugen nodig Draait ruim | 93–133 tokens/s | 20 pagina's in 4 s |
| Nemotron 3 Nano 4B Met één klik in Twoody | Heeft 3,6 GB geheugen nodig Draait ruim | 65–131 tokens/s | 20 pagina's in 4 s |
| Ministral 3 3B Met één klik in Twoody | Heeft 5 GB geheugen nodig Draait ruim | 100+ tokens/s | 20 pagina's in 4 s |
| Phi-4 mini Met één klik in Twoody | Heeft 4,6 GB geheugen nodig Draait ruim | 95–137 tokens/s | 20 pagina's in 4 s |
| Llama 3.2 3B Met één klik in Twoody | Heeft 3,9 GB geheugen nodig Draait ruim | 100+ tokens/s | 20 pagina's in 3 s |
| Gemma 4 E2B Met één klik in Twoody | Heeft 4,7 GB geheugen nodig Draait ruim | 100+ tokens/s | 20 pagina's in 2 s |
| Qwen3.5 2B Met één klik in Twoody | Heeft 2,9 GB geheugen nodig Draait ruim | 100+ tokens/s | 20 pagina's in 2 s |
| Qwen3.5 0.8B Met één klik in Twoody | Heeft 1,7 GB geheugen nodig Draait ruim | 100+ tokens/s | 20 pagina's in 1 s |
| GLM-Z1 9B Met één klik in Twoody | Heeft 6,7 GB geheugen nodig Draait – sluit andere apps | 44–63 tokens/s | 20 pagina's in 9 s |
| DeepSeek-R1 8B Met één klik in Twoody | Heeft 7,2 GB geheugen nodig Draait – sluit andere apps | 52–75 tokens/s | 20 pagina's in 8 s |
| DeepSeek-R1 Distill Llama 8B Met één klik in Twoody | Heeft 6,9 GB geheugen nodig Draait – sluit andere apps | 54–78 tokens/s | 20 pagina's in 8 s |
| DeepSeek-R1 Distill Qwen 7B Met één klik in Twoody | Heeft 5,5 GB geheugen nodig Draait ruim | 58–84 tokens/s | 20 pagina's in 8 s |
| Qwen3 4B Thinking 2507 Met één klik in Twoody | Heeft 4,9 GB geheugen nodig Draait ruim | 93–133 tokens/s | 20 pagina's in 4 s |
| Phi-4 mini reasoning Met één klik in Twoody | Heeft 4,6 GB geheugen nodig Draait ruim | 95–137 tokens/s | 20 pagina's in 4 s |
| SmolLM3 3B Met één klik in Twoody | Heeft 3,2 GB geheugen nodig Draait ruim | 100+ tokens/s | 20 pagina's in 3 s |
| LFM2.5 2.6B Met één klik in Twoody | Heeft 2,4 GB geheugen nodig Draait ruim | 100+ tokens/s | 20 pagina's in 3 s |
| MiniCPM5 2B Met één klik in Twoody | Heeft 2,5 GB geheugen nodig Draait ruim | 100+ tokens/s | 20 pagina's in 3 s |
| Llama 3.2 1B Met één klik in Twoody | Heeft 1,6 GB geheugen nodig Draait ruim | 100+ tokens/s | 20 pagina's in 1 s |
Daarnaast zouden 33 modellen deels op de processor draaien, veel trager, en zijn er 6 te groot voor deze computer. Bekijk ze allemaal in de calculator.
Het geheugen van elk model is wat Twoody voor deze computer onder ‘Modellen’ toont: dezelfde formule, dezelfde bestanden (ook het bestand om afbeeldingen te lezen), dezelfde gesprekslengte; catalogus gecontroleerd op 15 oktober 2026.
RTX 3060 Ti vergeleken met RTX 3060, RTX 3070, RTX 4060 Ti (8 GB) en RTX 5060 Ti (16 GB)
| Computer | Geheugen | Qwen3.5 9B schrijft | Leest een document | Het sterkste dat ruim draait |
|---|---|---|---|---|
| RTX 3060 Ti | 8 GB | 14–28 tokens/s Deels op de processor: veel trager | 20 pagina's in 25 s | Qwen3.5 4B 70–140 tokens/s |
| RTX 3060 | 12 GB | 32–63 tokens/s | 20 pagina's in 10 s | Gemma 4 12B 33–48 tokens/s |
| RTX 3070 | 8 GB | 13–27 tokens/s Deels op de processor: veel trager | 20 pagina's in 28 s | Qwen3.5 4B 62–123 tokens/s |
| RTX 4060 Ti (8 GB) | 8 GB | 12–24 tokens/s Deels op de processor: veel trager | 20 pagina's in 15 s | Qwen3.5 4B 53–105 tokens/s |
| RTX 5060 Ti (16 GB) | 16 GB | 39–78 tokens/s | 20 pagina's in 6 s | Qwen3 14B 32–46 tokens/s |
Het eigen geheugen van de kaart bepaalt welke modellen passen; de bandbreedte, hoe snel ze schrijven. Voor elke pc is 32 GB geheugen naast de kaart aangenomen.
Deze kaart heeft 8 GB eigen geheugen (VRAM), gelezen met 448 GB/s: een model dat er helemaal in past, schrijft snel; een groter model loopt over naar het geheugen van de computer en wordt veel trager.
De tabellen gaan uit van 32 GB geheugen in de pc, naast de kaart. De snelheden zijn die van een model dat op de kaart draait, geschat op basis van openbare benchmarks van llama.cpp.
Twoody voor Windows en Linux is in besloten bèta: op Windows 10 en 11 (x64) draait het het model via Vulkan op de RTX 3060 Ti als het stuurprogramma dat ondersteunt, en anders op de processor; op Linux op de processor. De snelheden op deze pagina zijn schattingen voor een model dat op de kaart draait, geen metingen met Twoody.
Vragen over een LLM lokaal draaien
Welke lokale LLM voor een RTX 3060 Ti?
Het sterkste model dat er ruim draait, is Qwen3.5 4B; het schrijft 70–140 tokens/s. Het is met één klik te installeren vanuit de catalogus van Twoody. Op een pc met 32 GB geheugen stelt Twoody standaard Qwen3.5 9B voor, dat er 7,9 GB nodig heeft: een van de modellen die Twoody heeft gemeten met zijn geheugen, zijn tools en uw documenten.
Wat past er in de 8 GB van een RTX 3060 Ti?
23 van de 62 modellen die de calculator kent (de catalogus van Twoody en een paar grotere) draaien er goed, op de kaart; het grootste is Qwen3 8B, dat 7,2 GB nodig heeft. Grotere modellen lopen over naar het geheugen van de computer en worden veel trager.
Hoeveel tokens per seconde schrijft een RTX 3060 Ti?
Met Qwen3.5 9B, het model dat Twoody er voorstelt: 14–28 tokens/s bij het schrijven, en een document van ongeveer 20 pagina's gelezen in 25 s. Een deel draait er op de processor: veel trager. Deze snelheden zijn schattingen op basis van openbare benchmarks van llama.cpp, voor een model dat op de kaart draait, geen metingen met Twoody.
RTX 3060 Ti vergeleken met RTX 3060, RTX 3070, RTX 4060 Ti (8 GB) en RTX 5060 Ti (16 GB): welke schrijft sneller?
Met Qwen3.5 9B, het model dat Twoody voorstelt: RTX 3060 Ti, 14–28 tokens/s (deels op de processor); RTX 3060, 32–63 tokens/s; RTX 3070, 13–27 tokens/s (deels op de processor); RTX 4060 Ti (8 GB), 12–24 tokens/s (deels op de processor); RTX 5060 Ti (16 GB), 39–78 tokens/s. Het geheugen van de kaart bepaalt welke modellen passen; de bandbreedte, hoe snel ze schrijven.
Gebruikt Twoody een RTX 3060 Ti?
In de besloten bèta, op Windows 10 en 11 (x64), wel: Twoody draait het model via Vulkan op de kaart als het stuurprogramma dat ondersteunt, en anders op de processor. Op Linux draait het het model op de processor. Laat uw e-mailadres achter om op de wachtlijst te komen.
Probeer Twoody voordat het voor iedereen opengaat.
De besloten bèta is gratis, op Mac, Windows en Linux, en op iPhone en Android met Twoody op uw computer. Laat uw e-mailadres achter om een uitnodiging aan te vragen: we schrijven u zodra die voor u klaarstaat.