Je vais créer des pipelines de données évolutifs etl elt avec python airflow spark AWS azure

Je vais créer des pipelines de données ETL ELT évolutifs avec Python, Airflow, Spark, AWS, Azure et GCP.

Fort de plus de 10 ans d’expérience en ingénierie des données, intelligence artificielle et analyse de données, j’ai conçu et développé des pipelines de données de bout en bout pour plusieurs entreprises technologiques. Je possède 9 publications dans des revues à comité de lecture (dont une récompensée en IA), ce qui me confère une expertise technique approfondie et des compétences en résolution de problèmes basées sur la recherche.

Vous avez du mal avec des processus manuels, des flux de données peu fiables ou des problèmes de scalabilité ? Je crée des pipelines ETL/ELT robustes et automatisés qui fournissent des données propres et à jour pour l’analyse et l’IA.

Ce que vous obtenez :

• Des pipelines de données en batch et en temps réel de bout en bout
• Une orchestration avec Airflow, Prefect ou Dagster
• Une intégration depuis des bases de données, API, SaaS et sources cloud
• Des transformations avancées avec Python, SQL, PySpark et dbt
• Un déploiement sur AWS, Azure, GCP ou Databricks
• La surveillance, la journalisation, la gestion des erreurs et les pipelines CI/CD

Principaux avantages :

• Des solutions hautement évolutives traitant des millions d’enregistrements chaque jour
• Une réduction du travail manuel, des erreurs et des coûts opérationnels
• Des pipelines prêts pour la production, bien documentés et faciles à maintenir