Je vais construire des pipelines ETL Databricks évolutifs en utilisant pyspark sql
Ingénieur en données et constructeur de systèmes IA, 10 ans d'expérience
À propos de ce service
Vous avez besoin d’un pipeline Databricks fiable plutôt que de notebooks fragiles et de traitements manuels de données ?
Je suis un ingénieur data avec 9 ans d’expérience professionnelle dans la création de pipelines ETL, de plateformes de données et de solutions analytiques. Je travaille avec Databricks, PySpark, Spark SQL, Delta Lake, Python et des services cloud pour transformer des données brutes en ensembles de données propres et prêts pour l’analyse.
Je peux vous aider avec :
- Notebooks Databricks utilisant PySpark et Spark SQL
- Développement de pipelines ETL et ELT par lots
- Architecture lakehouse Bronze, Silver et Gold
- Tables Delta Lake, MERGE et chargements incrémentiels
- Nettoyage, transformation et validation des données
- Configuration des workflows et des jobs
- Débogage et optimisation des performances
- Commentaires clairs dans le code et documentation technique
Vous recevrez un code source maintenable, une logique de pipeline clairement définie et une documentation pratique pour faire fonctionner la solution.
Veuillez me contacter via Fiverr avant de commander le package Premium ou tout projet impliquant un accès en production, du streaming, la configuration d’infrastructure, des données sensibles ou une échéance urgente.
Plateforme de stockage:
Snowflake
•
BigQuery
•
Databricks
Type de projet:
New Build

