Je vais construire une pipeline de production de données avec Python et Airflow

Certaines informations ont été traduites automatiquement.

Italie

Je parle Portugais, Anglais

Ingénieur Data sénior, Architecte Big Data, Ingénieur ML/IA, Développeur

Je suis un ingénieur data senior et un architecte Big Data avec plus de 35 ans d’expérience en génie logiciel, dont 8 ans dédiés aux plateformes de données à l’échelle entreprise. Je me spécialise dan...
À propos de ce service

Je concevrai et mettrai en place une pipeline ETL/ELT fiable en utilisant Python et Apache Airflow.


Je peux intégrer des bases de données, des API, des fichiers et d'autres sources de données et transformer ces données en une structure adaptée à l'analyse, au reporting ou à des applications en aval.


Technologies typiques :

Python

Apache Airflow

PostgreSQL

ClickHouse

MongoDB

dbt

Airbyte

AWS

GCP

Docker

Kubernetes


Je peux également aider sur des pipelines existants qui sont lents, peu fiables, difficiles à maintenir ou produisent des données incorrectes.

Fort de plus de 35 ans d'expérience en génie logiciel, je privilégie des solutions de production de qualité plutôt que des scripts rapides.


Pour des plateformes de données plus grandes ou complexes, merci de me contacter avant de commander afin que nous puissions définir le périmètre.

Expertise:

Automatisations

•

Big data

•

Extraction des données

Technologie:

Apache Kafka

•

Apache Spark

•

Python

•

SAS

•

SPSS

Mon portfolio

Autres services de Data engineering I Offre

Balises associées