Je mettrai en place l’inférence pour vos modèles open source


À propos de ce service
Traduction automatique
Je mettrai en place l’inférence pour vos modèles open source en utilisant des moteurs tels que TensorRT-LLM, vLLM et sGLang. Pour des flux de travail à faible latence, je vous aiderai à atteindre une latence faible par des méthodes telles que la quantification, la compilation du modèle, le batching et le streaming. Je mettrai également en place des mesures de sécurité pour vos points d’accès d’inférence avec des clés API et le support RAG afin d’attacher des documents à vos prompts. Ce service est inclusif pour les environnements sur site et dans le cloud, aussi bien sur CPU que sur GPU.
Découvrez Erick
Selfhosted solutions
- DeKenya
- Membre depuissept. 2022
- Temps de réponse moy.19 heures
- Dernière commande3 mois
Langues
Anglais, Swahili
Traduction automatique
1 avis concernant ce service
| (1) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
B benrudidi82

Cameroun
Collaboration en coursfor me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...
50 $US-100 $US
Prix
4 jours
Durée
Utile?
1 avis concernant ce service
| (1) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
B benrudidi82

Cameroun
Collaboration en coursfor me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...
50 $US-100 $US
Prix
4 jours
Durée
Utile?
