Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais mettre en place un déploiement privé et sans serveur de llm sur google cloud run
Senior Software Engineer et ingénieur en IA
Je combine plusieurs années d'expérience en ingénierie logicielle (notamment pour BMW et Airbus) avec les technologies modernes d'IA pour aider les entreprises à mettre en œuvre des solutions IA évolu...
À propos de ce service
Vous souhaitez avoir un contrôle total sur vos données d'IA sans dépenser des milliers d'euros pour des serveurs dédiés ? Je vais configurer un LLM open-source privé (par exemple Gemma 4, Llama 3, Mistral) dans votre environnement Google Cloud (GCP).
Pourquoi cette configuration ?
- Souveraineté totale des données : Vos prompts ne quittent jamais votre cloud. Pas de dépendance aux API tierces. Idéal pour les données sensibles d'entreprise.
- Scalabilité illimitée : Contrairement à un hébergement rigide ou à des serveurs locaux, cette architecture s'adapte automatiquement. Elle clone des instances lors des pics de trafic et peut réduire à zéro en période d'inactivité (paiement à l'usage).
- Haute performance : Le modèle fonctionne sur des GPU NVIDIA L4 puissants.
Ce que vous recevrez :
- Manuel détaillé (en anglais) : Guide étape par étape pour l'infrastructure GCP, les permissions IAM et la demande de quotas GPU.
- Script d'automatisation 1 : Un script Bash intelligent qui télécharge et prépare automatiquement votre modèle souhaité.
- Script d'automatisation 2 : Un script de déploiement pour toute la stack cloud (Cloud Run et Storage Bucket).
- Support : Une courte assistance lors de votre première configuration pour garantir que tout fonctionne parfaitement.
Fournisseur de services cloud:
Google Cloud Platform
Expertise:
Déploiement
Frameworks:
Autres
FAQ
Traduction automatique
Quels modèles peuvent être hébergés ?
Tout modèle disponible au format GGUF qui tient dans la VRAM de 24 Go du GPU NVIDIA L4. Les modèles avec 8B à 14B paramètres sont idéaux.
Quels sont les coûts d'exploitation sur Google ?
Pendant les périodes d'inactivité, vous ne payez que des coûts de stockage minimes (~0,20 $/mois). Lors de l'utilisation active, vous payez pour la puissance de calcul (~2,25 $/heure, facturé à la seconde).
L'API est-elle compatible avec mes applications ?
Oui ! Le moteur d'inférence fournit un endpoint compatible OpenAI /v1/chat/completions.
Comment gère-t-il plusieurs utilisateurs ?
Le système est très élastique. Google ajuste automatiquement le nombre d'instances GPU lors des pics de charge et les arrête lorsque le trafic diminue.
