Je vais construire un pipeline ETL automatisé avec Python et Airflow

Ne prenez plus de décisions commerciales basées sur des données désordonnées et peu fiables.

Je suis un Data Engineer spécialisé dans le Modern Data Stack. Je conçois des pipelines de données robustes, idempotents et entièrement automatisés qui transforment des entrées brutes et non structurées en données propres et prêtes pour l’analyse.

Que vous ayez besoin d’un simple script pour déplacer des données via API ou d’un lac de données complet en « Medallion Architecture », je conçois des systèmes qui évoluent.

Mon expertise et ma stack technologique :

• Orchestration : Apache Airflow
• Streaming en temps réel : Apache Kafka
• Transformations et qualité : dbt Core (tests automatisés et modélisation des données)
• Stockage : PostgreSQL, AWS S3, MinIO
• Infrastructure : Docker Compose, Terraform (AWS EC2, RDS)
• Visualisation : intégrations Metabase

Ce que vous pouvez attendre :

• Fiabilité : Pipelines qui gèrent les échecs avec des retries automatiques.
• Qualité des données : Tests intégrés avec dbt (vérifications null, unicité) pour ne requêter que des données précises.
• Livraison propre : Code entièrement conteneurisé (Docker) avec une documentation complète (README.md) pour un déploiement facile sur vos propres serveurs.

N’hésitez pas à me contacter avant de passer commande pour que nous discutions de vos sources de données et de vos besoins métier spécifiques !