Je vais configurer un llm privé auto-hébergé sur votre serveur avec Ollama, vLLM, Open WebUI


Level 1
Certifié par Fiverr Pro
Junaid Aslam a été sélectionné par l'équipe Fiverr Pro pour son expertise.
À propos de ce service
Traduction automatique
Veuillez me contacter pour discuter de vos exigences avant de passer commande.
Vous souhaitez un assistant IA qui garde vos données sur votre propre serveur ? Je configure un LLm privé sur votre VPS ou votre serveur GPU. Aucun prompt ni document n’est envoyé à un tiers.
Ce que je mets en place
- Ollama ou vLLM servant un modèle ouvert : Llama 3, Mistral, DeepSeek, Qwen, Gemma ou tout modèle Hugging Face
- Open WebUI comme écran du chat, avec comptes utilisateurs et rôles
- Une API compatible OpenAI, afin que vos applications l’appellent comme OpenAI
- Option RAG sur vos PDFs et documents, avec pgvector ou Qdrant
- Configuration Docker Compose, Nginx, HTTPS et un guide de bascule rédigé
Où cela tourne
Sur n’importe quel serveur Linux : votre VPS, machine sur site, AWS, Azure, Google Cloud, ou un GPU loué sur RunPod. GPUs : NVIDIA H100, A100, L40S, RTX 4090. Je vous indique d’abord le coût mensuel.
Localisation des données
Je peux héberger dans l’UE, au Royaume-Uni, aux États-Unis ou dans n’importe quel pays ou région de votre choix. Cela respecte les règles de résidence des données telles que le RGPD, le UK GDPR et le CCPA.
Ce que je ne fais pas
Je ne réalise pas de fine-tuning ni de quantification des modèles. Je déploie et connecte des modèles ouverts existants.
Avant de passer commande
Discutons du type de documents, du nombre d’utilisateurs et du budget. Puis je vous recommande un modèle et une taille de serveur.
Découvrez Junaid Aslam
ASP Dot NET Core, Web API, React, JS, TS, SQL, NoSQL, AWS, Azure, AI Chatbot RAG
Level 1
Junaid Aslam fait partie du catalogue Fiverr Pro et a été trié sur le volet par une équipe Fiverr Pro agréée pour ses compétences et son expertise.
Certifié pour
Développement de logiciels
- DePakistan
- Membre depuissept. 2015
- Temps de réponse moy.1 heure
- Dernière commande1 mois
Langues
Ourdou, Anglais
Traduction automatique
Mon portfolio
Autres services de Développement IA I Offre
FAQ
Traduction automatique
Ai-je besoin de mon propre serveur ou GPU ?
Non. Je peux configurer sur un VPS, votre compte cloud ou un GPU loué sur RunPod. Je vous indique la taille et le coût mensuel avant de commencer. Vous payez directement le prestataire.
Quels serveurs et quelles GPUs pouvez-vous utiliser ?
Tout serveur Linux avec accès SSH : AWS, Azure, Google Cloud, RunPod ou votre matériel. GPUs : NVIDIA H100, A100, L40S et RTX 4090.
Quels LLMs ouverts pouvez-vous exécuter ?
Llama 3, Mistral, DeepSeek, Qwen et Gemma, selon les tailles supportées par votre matériel. Je vous aide à choisir le meilleur modèle pour votre utilisation.
Mes données sont-elles privées ?
Oui. Le modèle tourne sur votre serveur. Aucun prompt ni document n’est envoyé à un service IA externe sans votre demande.
Ollama ou vLLM, lequel me faut-il ?
Ollama est simple et adapté aux petites équipes. vLLM est plus rapide pour de nombreux utilisateurs sur GPU. Je recommande l’un après que vous m’ayez indiqué votre nombre d’utilisateurs.
Votre application peut-elle l’appeler comme l’API OpenAI ?
Oui. Ollama et vLLM offrent tous deux une API compatible OpenAI. Vos applications ne changent que l’URL de base et le nom du modèle.
Peut-il répondre à partir de mes propres documents (RAG) ?
Oui, dans le package Premium. J’ajoute le RAG sur vos PDFs et fichiers avec pgvector ou Qdrant.
Pouvez-vous héberger dans l’UE, au Royaume-Uni ou aux États-Unis pour le RGPD ?
Je peux héberger dans la région de votre choix. Cela respecte les règles de résidence des données telles que le RGPD, le UK GDPR et le CCPA. Je ne donne pas de conseils juridiques ni ne certifie la conformité.
Faites-vous du fine-tuning ou de la quantification des modèles ?
Non. Je déploie et connecte des modèles ouverts existants. Je ne les entraîne pas ni ne les ajuste.
