Je vais construire des pipelines d'ingénierie des données évolutifs avec Azure, Snowflake, dbt, databrick

Construisez des pipelines d'ingénierie des données modernes avec Azure, Snowflake et DBT

Vous avez besoin d'un pipeline de données fiable pour votre projet d'analyse ou de reporting ?

Je peux vous aider à concevoir et à construire des pipelines ETL/ELT modernes qui transforment des données brutes en ensembles de données propres et prêts pour l'analyse en utilisant des technologies cloud standard de l'industrie.

Services que je propose

• Développement de pipelines ETL/ELT de bout en bout
• Création de pipelines Azure Data Factory
• Transformations de données avec Azure Databricks (PySpark)
• Intégration avec Azure Data Lake Gen2
• Développement d'entrepôts de données Snowflake
• Modèles, snapshots, macros et tests DBT
• Développement et optimisation SQL
• Architecture Medallion (Bronze, Silver, Gold)
• Modélisation en étoile et dimensionnelle
• Chargement incrémental de données
• Implémentation SCD Type 2
• Nettoyage et transformation de données
• Tests et validation de la qualité des données
• Contrôle de version Git

Technologies

• Azure Data Factory
• Azure Databricks
• PySpark
• SQL
• Snowflake
• DBT
• Azure Synapse Analytics
• Azure Data Lake Gen2
• AWS S3
• Python
• Git & GitHub

Pourquoi me choisir ?

• Expérience pratique dans la réalisation de projets d'ingénierie des données de bout en bout
• Solides compétences en SQL et modélisation de données
• Code propre, bien documenté et facile à maintenir
• Communication et mises à jour de projet en temps voulu
• Solutions conçues pour la scalabilité et