Je vais construire des pipelines de données AWS et ETL avec Python, Airflow et dbt

Les pipelines de données sont faciles à construire mais difficiles à maintenir en fonctionnement. Je crée ceux qui résistent aux changements de schéma, aux fichiers tardifs et aux lundis matin.

Je suis un ingénieur principal en Data et IA avec plus de 9 ans d'expérience. J'ai construit des plateformes de données chez Amazon, Delivery Hero, Goldman Sachs et Orion, et je possède 13 certifications cloud, dont AWS Data Engineer Associate et AWS Solutions Architect.

CE QUE JE CONSTRUIS POUR VOUS

Ingestion depuis APIs, bases de données, S3, outils SaaS et flux d'événements

Orchestration avec Airflow, Dagster ou AWS Step Functions

Transformations sous forme de modèles dbt avec tests et documentation

Chargements incrémentiels, rétroactions et reruns sécurisés pour être répétés

Contrôles de qualité des données et alertes, pour que les échecs vous atteignent, pas vos clients

Infrastructure as code avec Terraform, avec CI/CD

STACK

Python, SQL, Airflow, dbt, AWS Glue, Spark, Kafka, Snowflake, Redshift, BigQuery, Terraform

CE QUE VOUS OBTENEZ

Code documenté dans votre propre dépôt, un runbook et un appel de transfert.

Indiquez-moi vos sources, vos volumes et la fraîcheur requise des données, et je vous dirai honnêtement ce qu'il faut faire.