Cette page technique cible le besoin local LLM server : installer un runtime, choisir une machine, router les providers, lire les benchmarks et comprendre comment Twoody Server garde l'expérience stable. This technical page targets the local LLM server need: install a runtime, choose a machine, route providers, read benchmarks and understand how Twoody Server keeps the experience stable.
Ollama simplifie le démarrage, MLX cible Apple Silicon, llama.cpp privilégie la portabilité, vLLM et TGI visent le serving. Ollama simplifies startup, MLX targets Apple Silicon, llama.cpp favors portability, vLLM and TGI target serving.
Twoody Server garde une interface stable pendant que vous changez de runtime ou de modèle. Twoody Server keeps a stable interface while you change runtime or model.
Les tok/s dépendent de la machine, quantization, contexte et charge ; les chiffres restent des ordres de grandeur. Tok/s depend on machine, quantization, context and load; figures stay rough estimates.
RAM et GPU déterminent les modèles viables. RAM and GPU determine viable models.
Installer un runtime et télécharger les poids. Install a runtime and download weights.
Déclarer un endpoint que Twoody Server peut appeler. Register an endpoint Twoody Server can call.
Comparer latence, tok/s, mémoire et qualité perçue. Compare latency, tok/s, memory and perceived quality.
Twoody Server appelle un endpoint OpenAI-compatible ou un adapter explicite, avec URL, modèle, timeout et limites déclarés côté serveur. Twoody Server calls an OpenAI-compatible endpoint or explicit adapter, with URL, model, timeout and limits declared server-side.
RAM, GPU memory, stockage des poids, context window et quantization décident quels modèles restent confortables. RAM, GPU memory, weight storage, context window and quantization determine which models stay comfortable.
Health check, latence, tok/s, modèle actif et indisponibilité doivent rester visibles pour éviter les bascules opaques. Health check, latency, tok/s, active model and unavailability should stay visible to avoid opaque switching.
Ollama est souvent le plus direct pour essayer. MLX est pertinent sur Mac Apple Silicon. llama.cpp est portable. vLLM et TGI deviennent utiles pour du serving plus spécialisé. Ollama is often the most direct way to try. MLX is relevant on Apple Silicon Mac. llama.cpp is portable. vLLM and TGI become useful for more specialized serving.
Non. C'est un libellé technique et SEO. Le nom produit public reste Twoody Private LLM. No. It is a technical and SEO label. The public product name remains Twoody Private LLM.