Je construirai des pipelines de données évolutifs utilisant pyspark, databricks et azure
Ingénieur de données senior
À propos de ce service
Vous avez des requêtes SQL lentes, des silos de données désorganisés ou des coûts cloud élevés ? Je suis un ingénieur de données d’entreprise (certifié Microsoft Azure) spécialisé en PySpark, Azure Databricks, Delta Lake et SQL. Je conçois, optimise et construis des architectures de données tolérantes aux pannes qui transforment des données brutes en pipelines prêts pour l’analyse et l’IA.
Ce que je peux faire pour vous :
- Conception de pipelines ETL / ELT : pipelines par lots et en streaming évolutifs utilisant PySpark, Databricks et Azure Data Factory (ADF).
- Architecture Medallion Lakehouse : structurer les données brutes en couches Bronze, Silver et Gold Delta Lake sur ADLS Gen2.
- Optimisation des performances et des coûts : corriger les jobs Spark lents, résoudre le skew des données, optimiser les requêtes Oracle/PostgreSQL et mettre en œuvre Z-Ordering/Liquid Clustering.
- Préparation des données IA et RAG : connecter les lacs de données d’entreprise à des bases de données vectorielles (pgvector) et Kubernetes (AKS) pour une récupération IA en temps réel.
Pourquoi travailler avec moi ?
- Code modulaire et prêt pour la production avec des diagrammes architecturaux clairs.
- Expertise approfondie sur Azure, Databricks, Python et bases de données relationnelles.
- Communication claire et présentation post-déploiement.
Contactez-moi avant de passer commande afin que nous puissions nous aligner sur votre stack de données et votre périmètre !
FAQ
Traduction automatique
Pouvez-vous écrire le code PySpark / SQL réel en complément du plan d’architecture ?
Oui ! En parallèle de l’audit et des plans d’architecture, j’écris des scripts PySpark prêts pour la production, des notebooks Databricks et des requêtes SQL optimisées. Envoyez-moi vos exigences pour une offre de mise en œuvre sur mesure.

