Je vais aider à construire des notebooks pyspark et à optimiser les jobs

Certaines informations ont été traduites automatiquement.

Inde

Je parle Anglais

4 commandes terminées

Databricks, Unity Catalog, ADF, DLT

Outils avec lesquels je travaille - Databricks, Unity Catalog, DLT, Azure, SQL Ce que j'aide à faire : - Concevoir et construire des pipelines ETL avec Azure Data Factory et Databricks - Optimiser de...
À propos de ce service

Votre job PySpark prend-il des heures ? Votre requête SQL expire-t-elle ?

Je vais identifier précisément ce qui le ralentit et le réparer.

J'ai optimisé des jobs PySpark traitant des milliards d'enregistrements en environnement de production. Je sais exactement où regarder.


Ce que je corrige :

  • Transformations et actions PySpark lentes
  • Problèmes de partitionnement et de mémoire
  • Requêtes SQL inefficaces sur de grands ensembles de données
  • Réglage de la configuration Spark
  • Optimisation des DataFrame et stratégie de mise en cache


Vous partagez votre code. J'analyse, je corrige et j'explique précisément ce qui n'allait pas et pourquoi.

Contactez-moi d'abord avec votre problème. Je vous dirai honnêtement si je peux vous aider.

Langue:

Anglais

Expertise technique:

Apache Spark

•

Databricks

•

Autres

Expertise:

Pipelines de data

•

Développement ETL

Secteur:

Analyse de données

Balises associées