Je vais créer des pipelines ETL Azure Data Factory et migrer des données vers ADLS Gen2

Vous souhaitez migrer votre entrepôt de données local vers Azure sans interruption ? Vous êtes au bon endroit !

Je suis ingénieur Cloud & Data spécialisé dans la conception de pipelines d’ingestion de données robustes et adaptés à l’entreprise. Je vous aiderai à déplacer des bases de données transactionnelles de grande envergure ou à mettre en place des chargements incrémentiels automatisés efficacement.

Ce que je propose :

• Migration de l’On-Premise vers le Cloud : transfert fluide des données de MS SQL Server vers Azure Data Lake Storage (ADLS Gen2).
• Pipelines basés sur la métadonnée : architecture avancée ADF utilisant des designs Parent-Child et des boucles ForEach pour un traitement parallèle.
• Chargement incrémentiel (logique Watermark) : architecture de table de contrôle personnalisée avec T-SQL dynamique pour assurer des chargements quotidiens efficaces sans redondance.
• Partitionnement dynamique : structuration d’arbres de répertoires propres avec des expressions ADF et stockage des données en format Parquet compressé à haute performance avec Snappy.
• Configuration IR auto-hébergée : configuration complète du SHIR et dépannage complexe de JRE/JVM.

Pile technologique : Azure Data Factory (ADF), ADLS Gen2, MS SQL Server, T-SQL, Parquet.

Veuillez me contacter avant de passer commande pour discuter de vos besoins !