Je vais construire un databricks delta lake lakehouse et une architecture medallion

J
jesseantony
J
jesseantony
Jessay
Certaines informations ont été traduites automatiquement.
build databricks delta lake lakehouse and medallion architecture
Plein écran
build databricks delta lake lakehouse and medallion architecture

À propos de ce service

Traduction automatique

Vous souhaitez créer un data lakehouse moderne et évolutif sur Databricks ? Je vais concevoir et mettre en œuvre un Delta Lake Lakehouse prêt pour la production avec une architecture Medallion (couches Bronze, Silver, Gold).


Fort de plus de 4 ans d’expérience chez Publicis Sapient et Alcon dans la création de plateformes de données d’entreprise, je possède une expertise approfondie en Databricks, PySpark et Delta Lake.


Ce que je vais réaliser pour vous :

  • Configuration de Delta Lake avec des couches medallion Bronze/Silver/Gold optimisées
  • Pipeline PySpark pour ingestion, transformation et agrégation
  • Delta Live Tables (DLT) pour des pipelines déclaratifs et auto-scalables
  • Unity Catalog pour une gouvernance fine des données et un contrôle d’accès
  • Contrôles de qualité des données, application du schéma et transactions ACID
  • Intégration du ML feature store pour les workflows d’apprentissage automatique
  • Optimisation des performances : Z-ordering, partitionnement et compactage des fichiers
  • Automatisation des workflows avec Databricks Jobs et clusters
  • Documentation complète et transfert de compétences


Technologies : Databricks, PySpark, Delta Lake, Delta Live Tables, Unity Catalog, Azure Data Lake Storage, Apache Spark, SQL


Contactez-moi pour discuter de vos besoins !

  • Expertise

    • Algorithmes & Structures de données
    • Performance
    • Base de données

  • Langage de programmation

    • Python

Découvrez Jessay

Jessay

Senior Data Engineer: AWS, Azure, Spark, ETL Pipelines and Data Architecture

  • DeInde
  • Membre depuisavr. 2025
  • Temps de réponse moy.1 heure
  • Dernière commande7 mois

  • Langues

    Malayalam, Anglais
Struggling with slow pipelines or messy data? I design and build scalable ETL pipelines that deliver real results. With 5+ years on AWS and Azure, I specialize in Databricks, Apache Spark, AWS Glue, and Azure Data Factory. I have built production-grade data warehouses, optimized Spark performance, and integrated Hadoop, Hive, and HBase environments. Stack: Python, PySpark, Scala, SQL, S3, Lambda, Step Functions, Azure Data Lake Gen2, Redshift, PostgreSQL. Ready to turn your raw data into clean, actionable insights.

Traduction automatique

Mon portfolio

Balises associées