Je ferai de l'ingénierie des données, des pipelines ETL et des projets Databricks

Ingénieur en données | Databricks · Delta Lake · Spark | Azure · AWS · GCP | Architecture Medallion | Pipelines GenAI

Vous avez du mal avec des pipelines de données lents, désordonnés ou peu fiables ? Je conçois des solutions d'ingénierie des données prêtes pour la production en utilisant la stack moderne Databricks, Apache Spark, Delta Lake et l'architecture Medallion sur Azure, AWS et GCP.

• Conception et développement de pipelines ETL/ELT
• Architecture Medallion (Bronze, Silver, Gold)
• Optimisation Delta Lake (Z-ordering, vacuuming, time travel)
• Workflows Databricks, Unity Catalog, Auto Loader
• Pipelines de streaming (Kafka, Event Hub, Kinesis)
• Modèles dbt et vérifications de la qualité des données
• Configuration cloud : Azure Data Factory, AWS Glue, GCP Dataflow
• Pipelines de données GenAI et intégrations LLM

Code propre, documentation et livraison à temps garantis. Discutons-en ?