Je vais automatiser le pipeline etl à l'aide de Data Factory et de Databricks

Certaines informations ont été traduites automatiquement.

Kapil J

Inde

Je parle Hindi, Anglais

91 commandes terminées

Développeur SQL

Professionnel expérimenté avec plus de 5 ans d'expérience dans l'analyse de données, le serveur SQL, l'optimisation des requêtes, la programmation de bases de données, les scripts Python et Powershell...

Plus d’infos

À propos de ce service

Bonjour,

J'espère que tu vas bien.

J'ai plus de 4 ans d'expérience en tant qu'ingénieur de données dans plusieurs domaines, ayant une expérience pratique du développement de pipelines ETL très complexes.

Mes services comprennent :

Création de la solution de bout en bout dans Azure Data Factory avec copie de données/mappage de données.
optimisation des requêtes complexes
Chargement, transformation et orchestration des données (processus ETL)
Migration de données depuis des systèmes sur site ou des API d'application vers ADLS, stockage Blob
Développer des transformations complexes à l'aide de DataBricks dans Python/PySpark/SparkSQL
Déplacez les données traitées vers Delta Lake , Data Ware house, Azure SQL Database (SSMS), MSSQL
Utilisation d' Azure KeyVault
Créer des procédures/fonctions/vues/requêtes stockées SQL
Prise en charge de plusieurs sources et destinations telles que FTP, DB, Datawarehouse, DataLake
Notification en fonction des événements de pipeline d'échec ou de réussite à l'aide d'applications logiques Azure
Développer et maintenir l'architecture de table dynamique Delta dans Databricks
Créer un tableau de bord dans Databricks
Application de la sécurité et des meilleures pratiques dans le code et les environnements
Programmation du pipeline