Je vais construire des pipelines databricks avec pyspark
Ingénieur de données
À propos de ce service
Vous recherchez un ingénieur data Databricks expérimenté pour construire un pipeline de données fiable et scalable ? Je suis ingénieur data Databricks certifié, fort de plus de 5 ans d’expérience dans la construction de pipelines ETL à grande échelle utilisant PySpark, Spark SQL et Delta Lake pour des clients mondiaux dans les secteurs de la finance et de la santé.
Ce que je livre :
- Pipeline ETL/ELT par batch en PySpark et Spark SQL
- Architecture Medallion (Bronze Silver Gold) sur Delta Lake
- Ingestion de données depuis CSV, JSON, Parquet et bases de données
- MERGE/upsert, SCD et gestion de l’évolution du schéma
- Workflows Databricks planifiés (jobs)
- Contrôles et validation de la qualité des données
- Code Spark optimisé pour la performance
- Diagramme d’architecture et notes de conception du pipeline
- Code propre et bien documenté
Pourquoi travailler avec moi :
- Code de niveau production basé sur des données réelles
- Expérience du traitement de milliards d’enregistrements
- Communication claire et livraison à temps
Si vous avez plus de 3 sources ou des exigences personnalisées, j’enverrai une offre sur mesure.
FAQ
Traduction automatique
Quelle plateforme cloud supportez-vous ?
Je me spécialise dans Azure Databricks, y compris le stockage ADLS Gen2 et Azure Data Factory.
Et si j’ai plus de 3 sources de données ?
Contactez-moi avant de commander avec vos exigences, et je vous enverrai une offre personnalisée.
Que vais-je recevoir à la fin ?
Notebooks PySpark/Spark SQL, un Databricks Workflow planifié, un diagramme d’architecture et une documentation expliquant comment exécuter et maintenir le pipeline.
Pouvez-vous travailler avec le format de données que j'utilise déjà ?
Oui. Je peux ingérer CSV, JSON, Parquet, Delta et des tables de bases de données. Partagez un échantillon avant de commander si votre format est particulier.

