Je vais affiner et entraîner des llms avec pytorch et huggingface

Je ajuste des modèles open sur vos données pour qu'ils comprennent réellement votre terminologie, vos documents et votre cas d'utilisation.

Ce que je fais

• Je fine-tune des LLM open-weights avec LoRA ou un fine-tuning complet, sur PyTorch et HuggingFace
• Je nettoie et structure vos données brutes pour en faire un ensemble d'entraînement utilisable, ce qui est généralement la partie la plus difficile
• Je crée un système d’évaluation pour mesurer la qualité, plutôt que de deviner
• J’exporte pour la production : ONNX, TorchScript ou une API d’inférence déployée
• Je l’exécute sur votre infrastructure, pour éviter les coûts par token via une API

Travail récent : j’ai fine-tuné un modèle sur la documentation interne d’un client. La précision sur leur benchmark est passée d’environ 60 % à plus de 90 %, en utilisant leur propre matériel.

Ma méthode de travail

Je construis l’ensemble d’évaluation avant de commencer l’entraînement. Sans cela, il est impossible de savoir si une modification a amélioré ou empiré les choses, et la plupart des projets de fine-tuning sautent cette étape.

Je vous dirai aussi quand le fine-tuning n’est pas la meilleure solution, parfois RAG ou un meilleur prompting suffisent pour beaucoup moins cher.

Contactez-moi avec votre cas d’utilisation et la taille de votre dataset, et je vous dirai ce qui est réaliste.