Je vais construire des pipelines ETL et data pipelines avec azure data factory
Ingénieur de données Azure
À propos de ce service
Vous cherchez de l’aide pour construire, réparer ou optimiser un pipeline Azure Data Factory ?
Je propose des solutions d’ingénierie des données Azure pour l’ingestion, la transformation et le traitement des données en utilisant Azure Data Factory, Azure Data Lake Storage, Azure Databricks, PySpark, SQL et Delta Lake.
Les services incluent :
- Développement de pipelines Azure Data Factory
- Ingestion depuis SQL Server/CSV/API vers Azure
- Intégration ADLS Gen2
- Chargement complet et incrémentiel des données
- Ingestion basée sur le watermark
- Transformations avec Azure Databricks et PySpark
- Implémentation de Delta Lake MERGE/upsert
- Débogage de pipelines et gestion des erreurs
- Pipeline paramétrés et pilotés par métadonnées
- Optimisation des performances
Je me concentre sur la création de pipelines de données fiables et faciles à maintenir selon vos besoins.
N’hésitez pas à me contacter avant de commander si vous avez une demande complexe ou personnalisée en ingénierie des données Azure.
Mon portfolio
FAQ
Traduction automatique
Pouvez-vous réparer un pipeline ADF existant ?
Oui. Je peux diagnostiquer les échecs de pipeline, les problèmes de configuration, les problèmes de chargement incrémentiel et les soucis de déplacement de données.
Pouvez-vous mettre en place un chargement incrémentiel ?
Oui. Je peux implémenter une ingestion incrémentielle basée sur le watermark en utilisant ADF et SQL.
Travaillez-vous avec Azure Databricks ?
Oui. Je peux réaliser des transformations PySpark, gérer des tables Delta et effectuer des opérations MERGE/upsert.
Pouvez-vous construire un pipeline de données Azure de bout en bout ?
Oui. Selon vos besoins, je peux travailler avec ADF, ADLS Gen2, Azure Databricks, SQL et Delta Lake.

