Je vais construire des pipelines ETL évolutifs en utilisant Microsoft Azure, pyspark, databricks et sql

Certaines informations ont été traduites automatiquement.

Inde

Je parle Anglais, Hindi
Dans mon rôle actuel, je travaille dans le domaine pharmaceutique sur un projet intitulé « AU–EU Pharmaceutical Sales Analytics Pipeline » pour un client pharmaceutique mondial basé aux États-Unis. Le...
À propos de ce service

Vous avez du mal à construire des pipelines de données fiables, automatisés et évolutifs dans Microsoft Azure ?

Vous êtes au bon endroit.

Je suis un Azure Data Engineer avec une expérience pratique dans la création de pipelines ETL/ELT de niveau entreprise pour des clients pharmaceutiques mondiaux. J’aide les entreprises à moderniser leur écosystème de données en utilisant des services Azure tels que :

  • Azure Data Factory (ADF) orchestration, planification et automatisation
  • Azure Databricks (PySpark) transformation et traitement de big data
  • Azure Data Lake Storage Gen2 zones de lac de données structurées (Bronze/Silver/Gold)
  • Azure Synapse Analytics analyses SQL rapides et entreposage de données
  • Azure Functions & Logic Apps automatisation sans serveur, basée sur des événements
  • Azure Key Vault & Monitor sécurité d'entreprise, audit et alertes
  • Azure DevOps pipelines de déploiement CI/CD

Je conçois des pipelines qui sont sécurisés, économiques, faciles à maintenir et optimisés pour la performance.


Ce qui distingue mon service ?

Propriété complète du pipeline

De la validation d’ingestion, transformation, entreposage, reporting,

je gère chaque étape du cycle de vie de vos données.

ETL/ELT haute performance

Je construis des pipelines capables de traiter des millions de lignes, avec des jobs Spark optimisés, un traitement basé sur delta et des architectures évolutives.

Destination Platform:

Amazon Redshift

Azure Synapse Analytics

Outils et plateformes:

AWS Glue DataBrew

Kafka Connect

Talend