Je vais affiner votre LLM sur des données personnalisées avec lora et qlora

Le fine-tuning en vaut la peine lorsqu’un modèle doit parler dans votre domaine, suivre votre format ou gérer votre terminologie de manière cohérente. Ce n’est pas utile si vous avez simplement besoin que le modèle recherche des informations. Je vous dirai ce dont vous avez réellement besoin avant que vous ne dépensiez quoi que ce soit.

Ce que je fais :

Fine-tuning LoRA et QLoRA de modèles open : Llama, Mistral, Qwen, Gemma, Phi

Fine-tuning complet et instruction tuning lorsque vos données le justifient

Fine-tuning OpenAI via leur API

Adaptation au domaine pour les textes médicaux, juridiques, financiers et techniques

Systèmes RAG lorsque la récupération est la meilleure solution

Préparation des données d’entraînement, qui est généralement le facteur déterminant de la réussite ou de l’échec d’un projet

Stack : Hugging Face Transformers, PEFT, Unsloth, Axolotl, PyTorch, Weights and Biases pour le suivi

Vous recevez les poids entraînés hébergés où vous le souhaitez, le script d’entraînement avec toute la documentation, les résultats d’évaluation comparant votre modèle ajusté au modèle de base pour que vous puissiez voir ce qui a changé, un script d’inférence, et un guide pour le retrain lorsque vos données augmentent.

Vous avez besoin d’environ 50 à 100 exemples pour un fine-tune léger d’OpenAI, ou 500 ou plus pour des modèles open. La qualité prime sur la quantité, et je vous aiderai à constituer le jeu de données.