Je vais concevoir des pipelines ETL avec Azure Data Factory, Databricks et Pyspark

Je propose des conseils en Azure Data Engineering pour les pipelines ETL/ELT, l’architecture de données cloud, l’optimisation des performances et la planification de la mise en œuvre. Mon expertise inclut : conception de pipelines Azure Data Factory, Azure Databricks et PySpark, ADLS Gen2, Azure SQL et Delta Lake, architecture Medallion, chargements batch, incrémentaux et CDC, ingestion SQL, API, CSV et JSON, gestion de la qualité des données et des erreurs, optimisation Spark et SQL, intégration Snowflake et Azure Synapse, optimisation des performances cloud et des coûts. En fonction de votre package, je peux examiner votre environnement de données, identifier les problèmes de conception ou de performance, recommander des services Azure adaptés, créer un diagramme d’architecture et fournir des recommandations pratiques pour les pipelines ETL. Je me concentre sur une architecture évolutive, un mouvement fiable des données, un traitement efficace, une utilisation optimisée des clusters, une communication claire et des conseils techniques exploitables. Veuillez me contacter avant de commander et partager votre source, votre cible, le volume de données, l’environnement Azure, vos besoins et le résultat attendu afin que je puisse vous recommander le bon package.