Je serai votre ingénieur en données pour databricks, azure, gcp

Flux de données fiables, évolutifs et natifs du cloud | Spécialiste Azure & Databricks

Vous avez du mal à déplacer, transformer ou faire évoluer vos données de manière fiable ? Je crée des flux de données de bout en bout, de qualité production, qui automatisent l’ingestion, la transformation, la validation et le déploiement, entièrement natifs du cloud et pilotés par CI/CD.

Je possède une expertise pratique en PySpark, Spark SQL, Python, SQL, Databricks, Azure et GCP pour transformer des données brutes et désordonnées en ensembles de données propres, fiables et prêts pour l’analyse.

Ce que je propose :

• Conception de pipelines ETL & ELT (batch & streaming)
• Transformation de données avec PySpark & Spark SQL à grande échelle
• Développement Databricks avec Databricks Asset Bundles (DAB) pour des déploiements reproductibles et versionnés
• CI/CD : configuration de pipelines utilisant Azure DevOps (build, release, tests automatisés et déploiement)
• Intégration sécurisée via Service Principals pour l’authentification entre les environnements
• Déploiement natif du cloud : Azure Data Factory, Azure Data Lake, Azure SQL, Databricks, GCP Dataflow, BigQuery
• Intégrations API, bases de données et stockage cloud
• Architecture de streaming en temps réel (Kafka / Event Hubs / Pub-Sub)
• Pratiques DevOps de bout en bout : gestion de versions, promotion d’environnement