Je vais construire des pipelines databricks avec pyspark

Certaines informations ont été traduites automatiquement.

Inde

Je parle Anglais, Hindi

Ingénieur de données

Ingénieur data avec plus de 5 ans d’expérience dans la construction de pipelines de données fiables et bien testés sur Azure Databricks. Je travaille avec Python, SQL, PySpark, Delta Lake et Unity Cat...
À propos de ce service

Vous recherchez un ingénieur data Databricks expérimenté pour construire un pipeline de données fiable et scalable ? Je suis ingénieur data Databricks certifié, fort de plus de 5 ans d’expérience dans la construction de pipelines ETL à grande échelle utilisant PySpark, Spark SQL et Delta Lake pour des clients mondiaux dans les secteurs de la finance et de la santé.


Ce que je livre :

  • Pipeline ETL/ELT par batch en PySpark et Spark SQL
  • Architecture Medallion (Bronze Silver Gold) sur Delta Lake
  • Ingestion de données depuis CSV, JSON, Parquet et bases de données
  • MERGE/upsert, SCD et gestion de l’évolution du schéma
  • Workflows Databricks planifiés (jobs)
  • Contrôles et validation de la qualité des données
  • Code Spark optimisé pour la performance
  • Diagramme d’architecture et notes de conception du pipeline
  • Code propre et bien documenté


Pourquoi travailler avec moi :

  • Code de niveau production basé sur des données réelles
  • Expérience du traitement de milliards d’enregistrements
  • Communication claire et livraison à temps


Si vous avez plus de 3 sources ou des exigences personnalisées, j’enverrai une offre sur mesure.

Langue:

Anglais

•

Hindi

Expertise technique:

Apache Spark

•

Databricks

•

hadoop

Expertise:

Pipelines de data

•

Développement ETL

Secteur:

Analyse de données

•

Services financiers