Je serai votre ingénieur de données pour les projets Airflow, Spark et dbt

Je conçois et dépanne des pipelines de données avec Airflow, dbt et Spark.

Je dirige la plateforme de données d’une grande place de marché e-commerce : plus de 1 000 DAG Airflow, 600 To de données, 130+ utilisateurs de données. Je travaille dans l’ingénierie des données depuis 2019.

Ce que je peux faire pour vous :

• Réparer des DAG Airflow défaillants ou lents, des jobs Spark et des modèles dbt
• Construire des pipelines ETL/ELT à partir de bases de données, d’APIs et de fichiers vers votre entrepôt
• Mettre en place Airflow, dbt et Spark dans Docker ou Kubernetes
• Concevoir des tables dans ClickHouse, PostgreSQL, Trino et Iceberg
• Transférer les changements de bases de données avec Debezium et Kafka
• Ajouter des tests de qualité des données et des alertes

Ma façon de travailler :

1. Vous décrivez la tâche et nous validons le périmètre et le délai avant de commander.
2. Je travaille dans votre dépôt ou je livre du code que vous déployez vous-même.
3. Vous obtenez du code opérationnel, une courte documentation et un appel de remise.

Envoyez-moi un message avant de commander afin que je puisse vérifier que la tâche correspond au package.