Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais mettre en place des vérifications de validation et de qualité des données avec pyspark, snowflake et aws
Ingénierie des données, analyse de données, développement web, automatisation, développement IA
J'ai 11 ans d'expérience approfondie en programmation analytique de données, automatisation, cadre de qualité des données, REST APIs, entreposage de données, ingénierie cloud et développement web.
Je...
Niveau 1
Répond à certains critères de performance et présente un fort potentiel sur la place de marché.
À propos de ce service
De mauvaises données conduisent à de mauvaises décisions. Je vous aide à détecter, valider et corriger les problèmes de données en construisant des cadres de validation de données évolutifs et prêts pour la production utilisant des outils modernes d’ingénierie des données.
Ce que je vais faire
- Validation de données et vérifications de qualité
- Reconciliation des données source et cible
- Validation du nombre de lignes, du schéma et du type de données
- Vérifications de null, doublons et anomalies
- Validation des règles métier
- Pipeline de validation automatisés
- Rapports détaillés de validation et journaux
️ Stack technologique
- PySpark validation de données à grande échelle
- Python règles personnalisées et automatisation
- Snowflake validation au niveau de l’entrepôt
- SQL reconciliation et vérifications analytiques
- AWS S3, Glue, EC2, Lambda, CloudWatch, Redshift, RDS, Secrets Manager
Expertise:
Automatisations
•
Big data
•
etl
•
Normalisation
•
SQL
•
NoSQL
