Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais migrer votre pipeline de données vers l'architecture medallion
Ingénieur en données, certifié Databricks et Fabric, 4 ans d’expérience
Ingénieur en données avec 4 ans d’expérience dans la création de solutions de données d’entreprise. Certifié Data Engineer Associate par Databricks et Microsoft Fabric. Je me spécialise dans les pipel...
À propos de ce service
Ingénieur de données certifié Databricks | Spécialiste en architecture medallion
Vous avez du mal avec des pipelines de données désordonnés ? Je vais migrer vos données vers une architecture medallion évolutive (Bronze-Silver-Gold) sur Databricks.
CE QUE VOUS OBTENEZ :
- couche Bronze : ingestion de données brutes depuis bases de données, stockage cloud, API
- couche Silver : données nettoyées, déduplication, contrôles de qualité
- couche Gold : tables analytiques prêtes pour l'entreprise avec agrégations
- Delta Lake pour transactions ACID et historique temporel
- configuration d'orchestration (Airflow/Azure Data Factory)
- documentation complète et diagrammes
POURQUOI MEDALLION ?
- sépare les données brutes, traitées et prêtes pour l'analyse
- débogage facile et suivi de la lignée
- traitement incrémental pour réduire les coûts
- évolutif pour les charges de travail batch et en temps réel
MON EXPERTISE :
- plus de 4 ans en ingénierie des données
- développeur associé certifié Databricks
- création de pipelines en production pour la vente B2B et le e-commerce
- maîtrise de PySpark, Python, SQL, Azure, AWS
CE QUE J'AI BESOIN :
- sources de données et formats actuels
- indicateurs métier à suivre
- identifiants d'accès (partagés en toute sécurité)
Transformez votre chaos de données en un lac organisé ! Commandez dès maintenant.
Outils et plateformes:
Azure Data Factory
•
Autres
Mon portfolio
Autres services de Data engineering I Offre
FAQ
Traduction automatique
À quelles sources de données pouvez-vous vous connecter ?
Je travaille avec des bases de données (PostgreSQL, MySQL, SQL Server), stockage cloud (S3, Azure Blob, GCS), entrepôts de données (Snowflake, Synapse) et API. Si vous avez une source personnalisée, contactez-moi d'abord pour confirmer la compatibilité.
Ai-je déjà besoin d'un compte Databricks ?
Oui, vous devrez disposer d'un espace de travail Databricks actif (AWS, Azure ou GCP). Si vous n'en avez pas, je peux vous guider dans la configuration, mais le coût de l'abonnement est séparé de mon service.
Quelle est la différence entre les couches Bronze, Silver et Gold ?
Bronze = données brutes telles qu'elles proviennent des sources. Silver = données nettoyées, validées, déduplication. Gold = tables analytiques prêtes pour l'entreprise avec agrégations et jointures. Cette séparation facilite le débogage et améliore la performance.
Le pipeline s'exécutera-t-il automatiquement après livraison ?
Oui ! Je vais mettre en place l'orchestration (Airflow ou Azure Data Factory) pour que votre pipeline s'exécute selon un calendrier (quotidien, horaire, etc.). Vous recevrez aussi des alertes de surveillance en cas d'échec.
Que faire si mon volume de données est très important ?
J'optimise la performance en utilisant le partitionnement, la mise en cache et les chargements incrémentaux. Pour des datasets de plus de 1 To ou des transformations complexes, contactez-moi avant de commander pour que je puisse évaluer si un tarif Premium ou personnalisé est nécessaire.
