Je vais concevoir, réparer et optimiser des pipelines ETL et ELT en utilisant Python et Apache Airflow
Ingénieur de données
À propos de ce service
Je conçois et construis des pipelines ETL/ELT fiables, de qualité production, en utilisant Apache Airflow. Avec plus de 2 ans d’expérience dans l’automatisation des flux de données pour les secteurs des télécommunications, de la logistique et du commerce en ligne, j’aide les entreprises à transférer des données depuis des API, des bases de données et des sources cloud vers des destinations propres, prêtes pour l’analyse, sans intervention manuelle.
Ce que je propose :
- Des DAG Airflow personnalisés pour l’ingestion planifiée ou incrémentielle des données
- Intégration avec PostgreSQL, MySQL, API REST et plateformes cloud
- Gestion des erreurs, tentatives de relance et surveillance intégrées
- Une documentation claire pour que votre équipe puisse assurer la maintenance
J’ai construit des pipelines traitant des milliards d’enregistrements chaque jour et réduit le délai de reporting de 80 %. Automatisons votre flux de données.
Destination Platform:
Snowflake
•
PostgreSQL
•
mySQL
Outils et plateformes:
Autres
FAQ
Traduction automatique
Q : Dois-je déjà avoir Apache Airflow configuré ?
Q : Dois-je déjà avoir Apache Airflow configuré ? R : Oui, si vous n’avez pas encore Airflow en fonctionnement, je ne peux pas le mettre en place pour vous. Si vous avez déjà Airflow, je peux simplement ajouter de nouveaux connecteurs/DAGs à votre configuration existante.
Q : Pouvez-vous travailler avec ma base de code/DAGs existants ?
R : Oui, je peux examiner et étendre les DAGs Airflow existants plutôt que de repartir de zéro.
Q : Quelles sources de données pouvez-vous connecter ?
R : API REST, PostgreSQL, MySQL et la plupart des bases de données opérationnelles courantes. Contactez-moi avec votre source spécifique avant de commander si vous n’êtes pas sûr.

