Je vais nettoyer et prétraiter votre ensemble de données désordonné avec python et Pandas

Des données désordonnées ralentissent tout, avec des types de données incorrects, des valeurs manquantes, des lignes en double, un formatage incohérent. Je vais nettoyer votre ensemble de données avec Python et Pandas pour qu'il soit prêt pour l'analyse ou la modélisation.

J'ai récemment géré ce problème à grande échelle lors d'un stage en ML, en nettoyant et préparant des données sur 18 fichiers mensuels (~79 millions de lignes au total) pour un modèle de scoring de style production, y compris la correction d'un bug difficile où une colonne numérique était stockée silencieusement comme un type invalide et devait être convertie correctement avant de pouvoir être utilisée.

Ce que je livrerai :

• Suppression des doublons et des lignes non pertinentes
• Gestion appropriée des valeurs manquantes (pas seulement suppression aveugle)
• Correction et validation des types de données
• Sortie CSV/Excel propre et prête à l'emploi
• Une courte note sur ce que j'ai corrigé et pourquoi

Envoyez votre fichier et dites-moi ce que vous souhaitez en faire, je m'occupe du reste.