Je créerai, mettrai à jour les DAG airflow, support complet de projet en configuration docker, DAGs
Data Engineer : dbt, BigQuery, PySpark, Python, SQL, GCP, AWS
Niveau 1
Répond à certains critères de performance et présente un fort potentiel sur la place de marché.
À propos de ce service
Je vais créer, mettre à jour et optimiser les DAG Apache Airflow et fournir un support complet de projet. Que vous ayez besoin de nouveaux pipelines, d’améliorations pour des DAG existants ou d’une configuration complète d’Airflow en Docker, je vous aiderai à construire des workflows évolutifs, efficaces et prêts pour la production, adaptés à vos besoins.
Je peux vous aider avec les pipelines ETL/ELT, l’orchestration de données, l’automatisation des workflows, la configuration d’Airflow en Docker, les intégrations API/base de données et l’optimisation des performances pour que vos pipelines fonctionnent plus rapidement, plus fluidement et avec moins de défaillances.
Ce qui est inclus :
- Création de nouveaux DAG Airflow à partir de zéro
- Mise à jour et refonte de DAG existants
- Configuration de Airflow en Docker avec paramètres
- Conception de pipelines ETL/ELT de bout en bout
- Intégration d’API, de bases de données et de sources de données externes
- Débogage, correction de bugs et résolution des échecs de tâches
- Optimisation des performances des DAG pour une exécution plus rapide
- Configuration de la planification, des dépendances et de l’orchestration
- Mise en place de la surveillance, de la journalisation et de la gestion des erreurs
- Support continu pour la montée en charge et la maintenance des pipelines
Envoyez-moi simplement un DM, et je vous répondrai immédiatement pour discuter de vos besoins de projet.
