Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je déploierai votre LLM sur Kubernetes avec vllm, docker et support GPU
Ingénieur en voix IA et automatisation, DevOps
Bonjour 👋 Je suis Khuzaima Ahmed. Je suis passionné par l’aide aux petites entreprises pour exploiter la puissance des automatisations IA afin de gagner du temps, réduire les coûts et rester compétit...
Niveau 1
Répond à certains critères de performance et présente un fort potentiel sur la place de marché.
Très réactif
Connu(e) pour ses réponses exceptionnellement rapides
À propos de ce service
Vous avez un modèle LLM open-source fonctionnant localement mais vous souhaitez le transformer en API prête pour la production ?
Je vous aiderai à déployer votre Hugging Face ou modèle LLM open-source sur Kubernetes en utilisant une stack de déploiement AI prête pour la production : vLLM, Docker, CUDA, déploiement Kubernetes, nœuds GPU, service, ingress et endpoints API compatibles OpenAI.
Ce que je peux faire pour vous :
- Revoir votre modèle, votre cas d’usage et vos besoins en matériel
- Choisir un modèle compatible Hugging Face ou personnalisé
- Configurer le moteur d’inférence adapté : vLLM, TensorRT-LLM ou SGLang
- Emballez le modèle, les bibliothèques et l’environnement d’exécution dans un conteneur déployable
- Préparer les manifests Kubernetes pour votre service AI
- Configurer un déploiement GPU-aware pour les clusters compatibles
- Mettre en place un service ou un ingress pour l’accès API
- Créer un endpoint compatible OpenAI si possible
- Tester le flux complet de requête et réponse
- Fournir une documentation claire pour la passation
Les familles de modèles supportées peuvent inclure Qwen, Llama, Mistral, Gemma, DeepSeek et d’autres modèles Hugging Face compatibles.
Veuillez me contacter avant de commander pour que je puisse vérifier votre modèle, votre fournisseur cloud, votre configuration Kubernetes, la disponibilité GPU et vos besoins en déploiement.
Outils:
Kubernetes
•
Docker
Frameworks:
Terraform
•
Pulumi
•
Ansible
•
Crossplane
•
Autres
Langage de programmation:
Bash
•
Go
•
JavaScript
•
Python
•
Autres
Expertise:
Installation
•
Débogage
•
Configuration
Mon portfolio
FAQ
Traduction automatique
Pourquoi devrais-je vous envoyer un message avant de commander ?
Le déploiement du LLM dépend fortement de la taille du modèle, de la mémoire GPU, de la configuration Kubernetes et des exigences API. La prise de contact préalable permet de confirmer la compatibilité, d’éviter les retards et de choisir le bon package.
Pouvez-vous m’aider à choisir le bon modèle pour mon matériel ?
Oui. Je peux examiner votre GPU, votre VRAM, votre cas d’usage et vos objectifs de performance pour suggérer une taille de modèle et une approche de déploiement adaptées avant de commencer le projet.
De quel accès avez-vous besoin pour réaliser le déploiement ?
Je pourrais avoir besoin d’accéder à votre cluster Kubernetes, console cloud, registre de conteneurs, dépôt de modèles, détails du domaine ou de l’ingress, et environnement de déploiement. L’accès précis dépend de votre configuration.
Pouvez-vous déployer un modèle fine-tuned ou personnalisé ?
Oui, si le modèle est compatible avec le moteur d’inférence choisi et votre matériel disponible. Merci de partager les détails du modèle avant de commander pour que je puisse confirmer la faisabilité.
Les coûts cloud, GPU ou serveur sont-ils inclus ?
Non. Les coûts liés au cloud, GPU, domaine, stockage et infrastructure ne sont pas inclus dans le prix du gig. Vous êtes responsable de fournir les ressources serveur, cluster et cloud nécessaires.
Dois-je déjà disposer d’un cluster Kubernetes ?
Oui, vous devez avoir accès à un cluster Kubernetes ou à un environnement cloud. Si ce n’est pas encore le cas, contactez-moi d’abord pour que je vous guide sur la configuration requise avant le déploiement.
Proposez-vous la configuration et l’installation GPU ?
Je peux configurer un déploiement Kubernetes compatible GPU. Cela peut inclure la sélection des nœuds GPU, la configuration des ressources, la mise en place d’un runtime compatible CUDA et une validation de base.
Quels modèles LLM pouvez-vous déployer ?
Je peux aider à déployer des modèles Hugging Face ou open-source compatibles tels que Qwen, Llama, Mistral, Gemma, DeepSeek et autres. La compatibilité finale dépend de votre GPU, VRAM, taille du modèle et configuration de déploiement.
Supportez-vous vLLM, TensorRT-LLM et SGLang ?
Oui. vLLM est l’option par défaut pour la plupart des déploiements. Selon votre modèle, GPU et besoins en performance, je peux également travailler avec TensorRT-LLM ou SGLang pour des configurations d’inférence plus avancées.
Fournirez-vous un endpoint API compatible OpenAI ?
Oui, si le moteur d’inférence et la configuration du modèle le permettent, je peux exposer un endpoint API compatible OpenAI pour que votre application puisse appeler le LLM privé comme les API de chat standard.
