Je vais automatiser vos workflows ETL avec Apache Airflow
Ingénieur de données senior, certifié AWS, développeur Spark Cloudera
À propos de ce service
Vous souhaitez que vos jobs ETL soient planifiés, surveillés et fiables plutôt que de les exécuter manuellement ?
Je crée des workflows Apache Airflow qui orchestrent des pipelines de données à travers des bases de données, des API, des stockages cloud, des entrepôts de données et des jobs Spark ou Python.
Ce que je peux livrer :
- Conception et mise en œuvre de DAG Airflow
- Opérateurs Python, opérateurs Bash, capteurs et groupes de tâches
- Reprises, SLAs, alertes et gestion des échecs
- Workflows paramétrés et configurations d’environnement
- Intégration avec AWS S3, Glue, EMR, Redshift, Snowflake, Databricks et API
- Documentation et conseils pour le déploiement
Pourquoi travailler avec moi :
- 9 ans en tant que Data Engineer senior
- Expérience en orchestration ETL et plateformes cloud de données
- Solide expérience en Python, SQL, Spark, AWS et entrepôts de données
- Code propre avec surveillance pratique et notes de transfert
Veuillez m’envoyer un message avant de commander pour que je puisse confirmer vos dépendances de planification, systèmes sources et environnement de déploiement.
Autres services de Data engineering I Offre
FAQ
Traduction automatique
Pouvez-vous travailler avec des environnements Airflow existants ?
Oui. Je peux mettre à jour des DAGs existants ou créer de nouveaux workflows pour Composer, MWAA, Airflow auto-géré ou d’autres déploiements Airflow.
