Je vais concevoir et automatiser des pipelines ETL Azure avec Azure Data Factory et Databricks

Ingénieur Data Azure professionnel avec plus de 3 ans d’expérience et une expertise dans le développement de pipelines ETL très complexes.

• Expérience dans la mise en œuvre de flux de travail optimisés, évolutifs et de bout en bout sur Azure Data Factory / Databricks pour extraire, traiter et stocker des données provenant de sources diverses, ce qui a permis une réduction moyenne de 40 % du temps de traitement des données pour mes clients.
• Expérience dans la migration de données depuis des systèmes legacy (sur site) et des API vers Azure Data Lake, en effectuant des transformations complexes sur les données à l’aide de DataBricks (Python et PySpark), en déplaçant les données traitées vers SQL Server / PostgreSQL / Data ou Delta Lake, et en écrivant des procédures stockées SQL / fonctions capables de transformer les données et d’effectuer certains calculs selon une logique métier.
• Je maîtrise également le développement et la maintenance d’architectures DeltaLake utilisant Databricks et en exploitant DataLakes pour stocker les données sous-jacentes et appliquer des normes de sécurité.
• Planification des charges de travail à l’aide de Azure Data Factory triggers ou workflows Databricks.

Compétences principales : SQL, Python, PySpark, Databricks, Azure, APIs, transformation de données, analytique.

Portfolio : https://arlsnahafeez967.github.io/Arslanhafeez2.github.io/