Je développerai un pipeline ETL à l'aide d'Azure Data Factory et de Databricks

REMARQUE : Veuillez me contacter avant de passer une commande en utilisant le bouton ME CONTACTER dans le coin supérieur droit pour discuter des exigences. Le prix mentionné sur le service est un taux horaire .

Ingénieur de données Azure professionnel avec plus de 3 ans d'expérience et développement pratique de pipelines ETL très complexes.

• Expérience dans la mise en œuvre de flux de travail évolutifs optimisés de bout en bout sur Azure Data Factory / Databricks pour extraire, traiter et stocker des données provenant de diverses sources, ce qui a entraîné une réduction moyenne de 40 % du temps de traitement des données pour mes clients.
• Expérience dans la migration de données depuis des systèmes existants (sur site) et des API vers Azure Data Lake , en effectuant des transformations complexes sur les données à l'aide de DataBricks (Python et PySpark), en déplaçant les données traitées vers SQL Server/PostgreSQL/Data ou Delta Lake , et en écrivant Procédures / fonctions stockées SQL qui peuvent transformer les données et effectuer des calculs dessus en fonction d'une logique métier.
• Je suis également compétent dans le développement et la maintenance d'architectures DeltaLake à l'aide de Databricks et dans l'exploitation de DataLakes pour stocker les données sous-jacentes et appliquer les normes de sécurité.
• Planification des charges de travail à l'aide de déclencheurs Azure Data Factory ou de workflows Databricks.