Je vais concevoir et optimiser des pipelines databricks delta lake évolutifs

Certaines informations ont été traduites automatiquement.

Pakistan

Je parle Anglais

Ingénierie des données, Azure, AWS, Databricks, Lakehouse, Spark, Fabric

Je suis un professionnel certifié Databricks et ingénieur de données certifié Microsoft, avec 9 ans d'expérience concrète dans la création de plateformes de données évolutives et performantes. J'aide ...
À propos de ce service

Ingénieur de données senior certifié Microsoft & Databricks (plus de 9 ans d’expérience)

Arrêtez de lutter avec des données désordonnées. Construisez un Lakehouse de niveau entreprise qui évolue. En tant qu’expert certifié double, je conçois et optimise des plateformes de données prêtes pour la production sur AWS, Azure et Databricks.

Ce que je propose :

  • Architecture Medallion : Mise en œuvre complète des couches Bronze, Silver et Gold pour assurer l’intégrité des données.
  • Pipeline évolutif : ETL/ELT batch et streaming haute performance avec PySpark et Spark SQL.
  • Écosystème Databricks : Maîtrise de Unity Catalog (Gouvernance), Delta Live Tables (DLT) et Asset Bundles (DABs).
  • Intégration Cloud : Configuration experte pour AWS (S3, Glue, EMR, Athena) et Azure (Fabric, ADF, Synapse, OneLake).
  • Optimisation des coûts : Réglages avancés (Z-Order, Liquid Clustering) pour réduire vos dépenses en cloud computing.
  • Données prêtes pour l’IA : Préparation spécialisée pour GenAI, chatbots RAG et Mosaic AI.

Pourquoi travailler avec moi ?

  • Plus de 9 ans d’expérience : Expérience approfondie dans des environnements de données complexes à l’échelle enterprise.
  • Prêt pour la production : Code propre, bien documenté et facile à maintenir.
  • Orientation performance : Systèmes optimisés pour des requêtes en moins d’une seconde et une efficacité maximale.
  • Transformez vos données brutes en un atout stratégique. Contactez-moi dès aujourd’hui

Destination Platform:

Amazon Redshift

Azure Synapse Analytics

Outils et plateformes:

AWS Glue DataBrew

Apache NiFi

Talend

Mon portfolio