Je vais effectuer le nettoyage, la déduplication et la mise en forme de fichiers de données désordonnés

Oui, et c'est la majorité du travail sur une commande typique. Noms de colonnes différents, formats de date variés, lignes qui se chevauchent et un fichier avec une colonne supplémentaire que personne n'a documentée. Je les mappe à un seul schéma et je vous indique d'où viennent les lignes.

Non. Au-delà d'environ 50 000 lignes, le travail quitte la feuille de calcul pour passer à Python et Pandas, ce qui est plus rapide et reproductible plutôt que lent. Un demi-million de lignes est une tâche ordinaire. Envoyez un échantillon et je confirmerai le niveau avant que vous passiez commande.

Vous me dites, et c'est la partie qu'il vaut mieux convenir avant que je commence. Les correspondances exactes sont faciles. Le vrai travail consiste à faire du fuzzy matching : Acme Ltd contre ACME Limited, la même adresse écrite de quatre façons différentes, deux enregistrements qui ne diffèrent que par des espaces. Je vous montre les correspondances avant de fusionner.

Oui, chaque service comprend un changelog : lignes importées, lignes exportées, ce qui a été fusionné, ce qui a été supprimé et pourquoi, ainsi que les champs standardisés. Vous ne devriez pas avoir à faire confiance à un fichier propre. Vous devriez pouvoir le vérifier.

Inclus dans Standard et Premium, en Python, commenté, pour que vous puissiez l'exécuter lors de l'export du mois prochain sans repasser commande. La version Basic fournit uniquement le fichier nettoyé, ce qui est la bonne option si c'est vraiment une opération unique.

Oui, et c'est une situation courante. Mojibake dû à un mauvais encodage, entités HTML laissées dans les champs de texte, espaces et sauts de ligne indésirables dans les cellules, nombres stockés en tant que texte avec des symboles monétaires attachés. Envoyez un échantillon et je vous dirai ce qui peut être récupéré.

Les tableaux récapitulatifs, les pivots et les graphiques sont inclus dans Standard et Premium, et ils sont utiles pour vérifier la cohérence du nettoyage. Si vous avez besoin d’un vrai travail statistique ou de modélisation, c’est une autre tâche et je préférerais vous orienter vers quelqu’un d’autre plutôt que de le faire de manière satisfaisante.

Oui, sous forme de pipeline programmé plutôt qu'une commande répétée : le fichier arrive, le script s’exécute, la version nettoyée apparaît où vous en avez besoin. C’est mon service de pipeline de données, pas celui-ci. Contactez-moi et je vous enverrai le lien plutôt que de vous facturer douze fois.

Dites-le-moi avant de l’envoyer. Je peux travailler dessus, et je supprimerai les fichiers sources après livraison sur demande, mais je préférerais le savoir à l’avance plutôt que de découvrir des noms et adresses dans un fichier où je ne m’y attendais pas. Les données pseudonymisées ou échantillonnées conviennent pour définir le périmètre.

Envoyez d’abord le fichier, ou un échantillon. Certains travaux semblent simples et nécessitent un fuzzy matching entre trois sources ; d’autres ont l’air terrifiants et se résument à une recherche et remplacement. Je vous indiquerai le niveau ou je vous ferai une offre personnalisée avant que vous dépensiez quoi que ce soit.