Je vais préparer votre dataset pour le fine tuning de llm ou l'ingestion de rag
Corrigez la cause, pas le symptôme
À propos de ce service
Je nettoie et prépare votre dataset pour le fine-tuning de LLM ou l'ingestion de RAG exporté dans le format attendu par votre formateur (JSONL / Parquet / HuggingFace / OpenAI / Axolotl / LLaMA-Factory).
Ce que vous obtenez :
Valeurs manquantes traitées, déduplication (exacte + fuzzy), outliers gérés
Audit des étiquettes + divisions stratifiées train/val/test
Nettoyage du texte : suppression HTML, normalisation Unicode, détection de la langue
Export du format pour HuggingFace Datasets, OpenAI JSONL, Axolotl ou LLaMA-Factory
Rapport de validation des données (Great Expectations)
Stack : Pandas, NumPy, Polars, LangChain, LlamaIndex, HuggingFace Datasets.
Taille du dataset : 50K lignes (Basic) / 500K lignes (Standard) / 5M lignes (Premium). Chunking RAG + export d'embeddings inclus dans le Premium.
Envoyez-moi un message avec une phrase sur votre cas d'utilisation, je répondrai dans les 2 heures avec un devis fixe.
Langage de programmation:
Python
Type de données:
Texte
Moteur d'IA:
GPT
•
LLaMa
•
Autres
FAQ
Traduction automatique
Quels formats de dataset acceptez-vous ?
CSV, TSV, Excel, JSON, JSONL, Parquet, et tout format compatible avec HuggingFace Datasets. J'accepte aussi le texte extrait de PDFs, exportations Notion, pages Confluence, threads Slack, et transcriptions du support client.
Pouvez-vous gérer le chunking spécifique à RAG ?
Oui, dans la version Premium, j'effectue un chunking basé sur les tokens ou sémantique et j'exporte des embeddings dans un schéma prêt pour Pinecone, Weaviate ou Qdrant avec métadonnées conservées pour le filtrage lors de la requête.
Supportez-vous des modèles open-source comme Llama 3 ou Mistral ?
Oui — je formate les sorties pour correspondre au modèle de chat HuggingFace, Axolotl ou LLaMA-Factory. La structure de conversation multi-tours est conservée. Configurations pour LLM locaux (unsloth, PEFT, QLoRA) disponibles sur demande.
Pouvez-vous supprimer les PII ou données sensibles de mon dataset ?
Le nettoyage PII (regex + spaCy NER) est disponible sur demande — ce n'est pas un substitut à votre propre revue de conformité. NDA signé disponible avant tout transfert de données.
