Je vais optimiser un modèle linéaire mixte open source sur votre jeu de données personnalisé.
Ingénieur IA, systèmes RAG, fine-tuning LLM, LangChain Python
À propos de ce service
Cherchez-vous à optimiser un LLM open-source sur votre
Vos propres données ? Je crée des pipelines de réglage fin personnalisés qui
améliorer réellement les performances du modèle.
J'ai récemment terminé EdgeAlign - un pipeline d'alignement SFT vers DPO complet sur Qwen3-0.6B utilisant des adaptateurs LoRA et une quantification NF4 4 bits.
Résultats:
- Score BLEU : de 3,70 (valeur de base) à 10,22 (+176 % d'amélioration)
- Score BERTScore : de 0,7675 (valeur de référence) à 0,8149
- J'ai mené 10 essais systématiques en faisant varier le rang LoRA, le taux d'apprentissage et le bêta du DPO.
- Les deux adaptateurs LoRA sont disponibles sur HuggingFace
Ce que vous obtiendrez :
- Réglage fin personnalisé sur votre ensemble de données (SFT et/ou DPO)
- Adaptateurs LoRA (légers, faciles à déployer)
- Métriques d'évaluation (BLEU, BERTScore, courbes de perte)
- Code Python propre et documenté
- Carte mannequin HuggingFace (Premium)
- Modèle déployé sur HuggingFace Hub (Premium)
Modèles que je peux peaufiner :
- Qwen (0,6B, 1,8B, 7B)
- LLaMA (1B, 3B, 8B)
- Mistral (7B)
- Phi-3 / Phi-2
- Gemma (2B, 7B)
- N'importe quel modèle open-source sur HuggingFace
Ce dont j'ai besoin de vous :
- Votre ensemble de données (JSONL, CSV ou texte brut)
- Description de la tâche (suivre les instructions, résumer,
classification, questions-réponses, etc.)
- Modèle de base préféré (ou celui que je vous recommande)
Envoyez-moi un message avant de commander.
Langage de programmation:
Python
Type de données:
Texte
•
Données tabulaires
Moteur d'IA:
GPT
•
LLaMa
•
Falcon
•
Langchain
•
Autres
Mon portfolio
FAQ
Traduction automatique
Dans quel format doit être mon dataset ?
Idéalement, un fichier JSONL avec des champs d'instructions/d'entrée/de sortie, ou un fichier CSV. Je peux vous aider à reformater les données brutes selon la structure appropriée si nécessaire ; il suffit de me fournir un exemple au préalable.
Que se passe-t-il si mon ensemble de données est petit (moins de 500 échantillons) ?
Les petits ensembles de données conviennent parfaitement au réglage fin de LoRa. Envoyez-moi un message avec le nombre d'échantillons et je vous conseillerai sur la meilleure approche.
Je serai propriétaire du modèle fine-tuned ?
Oui, vous obtenez la pleine propriété des adaptateurs LoRa et de l'intégralité du code. Le forfait Premium inclut le déploiement sur votre compte Hugging Face.
Est-il possible d'affiner les réglages de GPT-4 ou de Claude ?
Non, ce sont des modèles propriétaires et ils ne peuvent pas être ajustés de cette manière. J'utilise des modèles open source sur Hugging Face (LLaMA, Qwen, Mistral, Gemma, Phi, etc.).
Quelles métriques d’évaluation fournissez-vous ?
Score BLEU, score BERTScore, courbes de perte d'entraînement/validation et comparaisons des résultats par rapport à la valeur de référence. Le forfait Premium inclut une étude d'ablation complète.
