Je vais construire des pipelines ETL sur Databricks avec Spark

Bonjour, je suis un consultant en ingénierie des données avec plus de 5 ans d'expérience dans la création de pipelines de données en production sur Databricks.

J'ai conçu de véritables charges de travail Databricks en production, notamment une plateforme de données client traitant de grands ensembles de données avec PySpark, Delta Live Tables et une architecture medallion. Je travaille quotidiennement sur Databricks, pas seulement comme un mot à la mode.

Ce que je vais réaliser pour vous :

• Des pipelines ETL de bout en bout (batch ou streaming)
• Architecture medallion bronze, silver, gold
• Delta Lake avec ACID, évolution du schéma, voyage dans le temps
• Transformations PySpark optimisées
• Ingestion depuis APIs, SQL Server, MySQL, Postgres, ADLS, S3, GCS, CSV, JSON, Parquet
• Chargements incrémentiels avec MERGE INTO et CDC
• Autoloader, planification de tâches, orchestration de workflow
• Code propre, modulaire, versionné

Pourquoi travailler avec moi :

• Expérience réelle en production, pas des tutoriels
• 5 ans d’expérience sur Databricks, Fabric, dbt, BigQuery, Synapse
• Code paramétré, testable, réutilisable
• Documentation avec chaque livraison
• Anglais courant et mises à jour détaillées

Pile technologique :

• Databricks
• PySpark
• Delta Lake
• DLT
• Unity Catalog
• ADLS
• S3
• SQL Server
• Python
• Git

Avant de commander :

Contactez-moi avec vos exigences complètes.