Je vais construire votre pipeline de données ETL avec Python, SQL et Apache Airflow

Je crée des pipelines ETL/ELT fiables, de qualité production, qui déplacent et transforment vos données sans erreurs ni interruption. En tant qu'ingénieur data, j'ai conçu des pipelines synchronisant des milliards d'enregistrements entre systèmes avec déduplication en temps réel, synchronisation complète et delta, et aucune perte de données en production, ainsi que des clusters Apache NiFi pour gérer l'intégration continue des données d'entreprise.

Que vous ayez besoin d'un script simple pour déplacer des données d'un CSV vers une base de données, ou d'un pipeline programmé qui extrait via une API et charge dans votre entrepôt, je le concevrai pour qu'il soit propre, documenté et facile à transmettre à votre équipe.

Ce avec quoi je peux aider : extraction de données depuis des API, bases de données ou fichiers ; transformation et nettoyage ; déduplication et logique d'upsert ; synchronisations programmées et automatisées ; migration entre bases comme MySQL, SQL Server et PostgreSQL.

J'apporte la même fiabilité que j'utilise dans les systèmes en production supportant des millions d'utilisateurs à chaque projet. Une communication claire et un code propre, bien documenté, font toujours partie de la livraison.