Je déploierai et ajusterai un llm privé auto-hébergé sur votre propre serveur GPU

S
stchopko
S
stchopko
Stepan C.
Certaines informations ont été traduites automatiquement.
deploy and tune a private self hosted llm on your own GPU server
Plein écran
deploy and tune a private self hosted llm on your own GPU server
Plein écran
Plein écran
deploy and tune a private self hosted llm on your own GPU serverdeploy and tune a private self hosted llm on your own GPU serverdeploy and tune a private self hosted llm on your own GPU server

À propos de ce service

Traduction automatique

Vous cherchez une IA de type ChatGPT qui tourne sur votre matériel, sans envoyer de données à des tiers ? Je vais l’installer et l’optimiser pour être rapide.


La plupart des configurations se contentent d’installer un moteur d’exécution avec des paramètres par défaut et laissent 2 à 3 fois de performance sur la table. J’effectue des benchmarks et j’ajuste en fonction de votre GPU et de votre RAM exacts. Des résultats réels issus de mon propre serveur (Tesla P100 16 Go + EPYC) :

  • Modèle MoE de 177 milliards de paramètres sur trois anciens GPUs de 16 Go à 13,5 tokens/s
  • Traitement des invites 3,4 fois plus rapide (75 à 254 tokens/s) en ajustant les tailles de lot
  • Modèle de codage 80 milliards à 30 tokens/s sur deux GPUs plus anciens
  • La quantification adaptée à votre génération de GPU

Ce que vous obtenez :

  • serveur llama.cpp avec une API compatible OpenAI
  • Interface de chat web
  • Sélection du modèle adaptée à votre matériel et à votre cas d’utilisation
  • Service de démarrage automatique et accès distant sécurisé
  • Rapport de benchmark : quelle vitesse vous obtenez et pourquoi

Envoyez-moi votre GPU, votre RAM et ce que vous voulez que l’IA fasse, et je vous dirai ce qui est réaliste avant que vous passiez commande.

  • Moteur d'IA

    • Claude
    • Meta Llama
    • Hugging Face
    • Autres

  • Outils & frameworks

    • Autres

  • Type de solution IA

    • Chatbot IA
    • Assistant IA
    • Outil interne d’IA

  • Objectif

    • Gestion des connaissances
    • Traitement documentaire
    • Productivité des employés
    • Opérations internes

Découvrez Stepan C.

Stepan C.

PHP Developer and Self Hosted LLM Engineer

  • DeUkraine
  • Membre depuismai 2021

  • Langues

    Ukrainien, Anglais
Backend developer with 9 years of commercial PHP (Symfony, Laravel, legacy code), including 6 years as Senior PHP Developer at an Irish software company, and hands-on experience running large language models on my own hardware. I fix and upgrade PHP sites that broke after a PHP 8.x update, migrate projects to modern Linux servers, and deploy private, self-hosted LLMs that run on your own GPU - no data leaves your server. I don't guess: I find the root cause, fix it, and tell you what was wrong. Clear written communication, fast replies.

Traduction automatique

Balises associées