Je vais construire une pipeline de production de données avec Python et Airflow
Ingénieur Data sénior, Architecte Big Data, Ingénieur ML/IA, Développeur
À propos de ce service
Je concevrai et mettrai en place une pipeline ETL/ELT fiable en utilisant Python et Apache Airflow.
Je peux intégrer des bases de données, des API, des fichiers et d'autres sources de données et transformer ces données en une structure adaptée à l'analyse, au reporting ou à des applications en aval.
Technologies typiques :
Python
Apache Airflow
PostgreSQL
ClickHouse
MongoDB
dbt
Airbyte
AWS
GCP
Docker
Kubernetes
Je peux également aider sur des pipelines existants qui sont lents, peu fiables, difficiles à maintenir ou produisent des données incorrectes.
Fort de plus de 35 ans d'expérience en génie logiciel, je privilégie des solutions de production de qualité plutôt que des scripts rapides.
Pour des plateformes de données plus grandes ou complexes, merci de me contacter avant de commander afin que nous puissions définir le périmètre.
