Je vais construire un pipeline de données databricks avec delta lake
Ingénieur en données, certifié Databricks et Fabric, 4 ans d’expérience
À propos de ce service
Vous avez besoin d’un pipeline Databricks prêt pour la production, réalisé par un ingénieur certifié ?
Ingénieur de données certifié Databricks avec 4 ans d’expérience, dont 2 ans au Royaume-Uni. Je crée des pipelines évolutifs en suivant les meilleures pratiques d’entreprise.
CE QUE VOUS OBTENEZ :
Architecture Medallion (Bronze-Silver-Gold)
Delta Lake pour des transactions ACID
Gouvernance Unity Catalog
Workflows automatisés
Tests de qualité des données
Optimisation des performances
Documentation complète
COMPÉTENCES TECHNIQUES :
- Mise en œuvre complète du pipeline Medallion
- Delta Live Tables
- Streaming en temps réel avec Spark
- Intégration de plusieurs sources de données
- Transformations PySpark
- Gestion des erreurs et surveillance
- Déploiement sur Azure Databricks
SOURCES DE DONNÉES :
CSV, JSON, Parquet, Azure Blob/ADLS, bases SQL, API REST, streaming (Kafka, Event Hubs)
POURQUOI MOI :
- Certifié Databricks & Fabric
- 4 ans d’expérience professionnelle
- Normes d’entreprise formées au Royaume-Uni
- Qualité de niveau production
- Support après livraison
J’ai construit plus de 5 pipelines Databricks en production traitant des millions d’enregistrements par jour.
Contactez-moi avant de commander pour discuter de vos besoins !
Outils et plateformes:
Azure Data Factory
•
Autres
Mon portfolio
Autres services de Data engineering I Offre
FAQ
Traduction automatique
De quoi ai-je besoin pour commencer ?
Vos sources de données (fichiers, identifiants de bases de données ou détails API), exigences métier, transformations souhaitées et KPIs spécifiques à suivre. Je vous guiderai pour le reste et concevrai l’architecture.
Fournissez-vous le code et les notebooks Databricks ?
Oui ! Vous recevez tous les notebooks Databricks, configurations de workflows et documentation complète. Tout vous appartient pour modifier et maintenir.
Pouvez-vous travailler avec mon infrastructure Azure existante ?
Absolument ! Je peux intégrer vos ressources Azure existantes (comptes de stockage, bases SQL, Event Hubs, etc.) et suivre les standards et politiques de sécurité de votre organisation.
Que comprend la configuration Unity Catalog ?
La configuration Unity Catalog inclut la mise en place de l’espace de travail, la création du metastore, les politiques de gouvernance des données, les contrôles d’accès et le suivi de la lignée. Disponible dans les packages Standard et Premium.
Offrez-vous une assistance après la livraison ?
Oui ! Tous les packages incluent un support après livraison. Le standard couvre 30 jours, le Premium 60 jours. Je suis disponible pour répondre à vos questions et aider pour de petites modifications.

