Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je déploierai une IA locale avec vllm sur n'importe quel cloud ou votre propre serveur
Ingénieur logiciel, lecteur et chercheur
Je me suis lancé dans la tech il y a sept ans. J'ai d'abord créé des pipelines de données. Ensuite, j'ai travaillé sur la fusion de capteurs pour véhicules autonomes (ego). Après cela, j'ai travaillé ...
À propos de ce service
Si vous utilisez des LLM à grande échelle ou si vous travaillez dans un secteur réglementé ou que vous vous souciez de la confidentialité, alors vous devez posséder l'IA. Je déploie et optimise des LLM/vision-llms/modèles d'apprentissage profond entièrement sur VOTRE infrastructure.
CE QUE VOUS OBTENEZ
- vLLM, SGLang, Ollama, llama.cpp et MLX en service
- Point de terminaison API compatible OpenAI/Anthropic
- Quantification adaptée à votre matériel
- P99 TTFT, optimisation du débit et de la taille des lots selon vos SLO
- cache KV et cache de préfixe
- décodage spéculatif et pré-remplissage par morceaux pour la vitesse
- NVIDIA CUDA, AMD ROCm, Apple Silicon ou uniquement CPU
- AWS, GCP, Azure, RunPod, Lambda ou votre propre serveur
- Testé sous charge : latence P50/P99, tokens/sec, concurrence maximale
ÉGALEMENT DISPONIBLE
- IA en navigateur avec WebLLM (MLC)
- Voix sur appareil iOS/Android et Faster-Whisper
Une inférence rapide est un équilibre : TTFT, tokens/sec et utilisateurs simultanés se disputent la même VRAM. Je l'ajuste selon vos SLO.
FAQ
Traduction automatique
Quel moteur d'inférence devrais-je choisir ?
Cela dépend de votre charge : Ollama pour petites équipes (~10 utilisateurs), vLLM pour le débit en production, SGLang pour les charges multi-tours/agent. J’évalue votre cas avant votre commande.
Quels matériels supportez-vous ?
NVIDIA CUDA, AMD ROCm, Vulkan, Apple MLX et serveurs uniquement CPU. La génération du matériel compte. Ampere, Hopper et Blackwell sont différents.
Pouvez-vous déployer sur mobile ou dans un navigateur ?
Oui. En navigateur via WebLLM. Sur appareil iOS/Android uniquement pour les modèles supportés.
Quelle sera la vitesse de mon modèle ?
La vitesse dépend de trois facteurs : le temps jusqu'au premier token, tokens par seconde et le nombre d'utilisateurs pouvant tenir en mémoire. Vous ne pouvez pas maximiser les trois en même temps. Dites-moi vos contraintes et je configurerai le moteur pour trouver le bon équilibre.
