Je vais affiner llama ou qwen llms sur votre jeu de données avec lora
Ingénieur IA, systèmes RAG, fine-tuning LLM, LangChain Python
À propos de ce service
Adaptez un LLM à poids ouverts à votre tâche avec un fine-tuning LoRA personnalisé en Python et Hugging Face. Je travaille avec Llama, Qwen, Mistral, Gemma et Phi, en fonction de la compatibilité du modèle et des ressources GPU.
Les cas d’utilisation incluent le suivi d’instructions, la synthèse, la classification et les réponses spécifiques à un domaine.
Choisissez votre formule :
- Basic : fine-tuning supervisé avec LoRA sur jusqu’à 1 000 échantillons préparés ; adaptateurs et code source.
- - Standard : SFT sur jusqu’à 5 000 échantillons, préparation de dataset et métriques d’évaluation.
- - Premium : SFT plus alignement DPO, fiche du modèle et déploiement sur Hugging Face pour le périmètre convenu.
Mon projet EdgeAlign a utilisé SFT et DPO sur Qwen3-0.6B avec LoRA. Les résultats dépendent du dataset et de la tâche ; l’amélioration est évaluée par rapport à une ligne de base.
Avant de commander, envoyez un échantillon de données, le nombre d’échantillons, la description de la tâche, le modèle préféré et les détails du GPU. DPO nécessite des données de préférence adaptées. Nous confirmerons la taille du modèle, le périmètre de formation, l’évaluation et les coûts de calcul ou d’hébergement avant le début du travail.
Langage de programmation:
Python
Type de données:
Texte
•
Données tabulaires
Moteur d'IA:
LLaMa
•
Falcon
•
Langchain
•
Autres
Mon portfolio
FAQ
Traduction automatique
Dans quel format doit être mon dataset ?
Idéalement, un fichier JSONL avec des champs d'instructions/d'entrée/de sortie, ou un fichier CSV. Je peux vous aider à reformater les données brutes selon la structure appropriée si nécessaire ; il suffit de me fournir un exemple au préalable.
Que se passe-t-il si mon ensemble de données est petit (moins de 500 échantillons) ?
Les petits ensembles de données conviennent parfaitement au réglage fin de LoRa. Envoyez-moi un message avec le nombre d'échantillons et je vous conseillerai sur la meilleure approche.
Je serai propriétaire du modèle fine-tuned ?
Oui, vous obtenez la pleine propriété des adaptateurs LoRa et de l'intégralité du code. Le forfait Premium inclut le déploiement sur votre compte Hugging Face.
Est-il possible d'affiner les réglages de GPT-4 ou de Claude ?
Non, ce sont des modèles propriétaires et ils ne peuvent pas être ajustés de cette manière. J'utilise des modèles open source sur Hugging Face (LLaMA, Qwen, Mistral, Gemma, Phi, etc.).
Quelles métriques d’évaluation fournissez-vous ?
Score BLEU, score BERTScore, courbes de perte d'entraînement/validation et comparaisons des résultats par rapport à la valeur de référence. Le forfait Premium inclut une étude d'ablation complète.
