Je vais concevoir, réparer et optimiser des pipelines etl avec azure databricks
Ingénieur Azure Databricks, Pipelines ETL, PySpark, Delta Lake
À propos de ce service
Rencontrez-vous des problèmes avec des pipelines ETL lents, échouant ou inefficaces dans Azure Databricks ?
J’aide les entreprises à construire, réparer et optimiser des pipelines de données en utilisant Databricks et PySpark pour garantir des flux de travail fiables, évolutifs et performants.
Ce que je peux faire :
- Construire des pipelines ETL/ELT avec Azure Databricks
- Traiter et transformer de grands ensembles de données avec PySpark
- Déboguer et corriger les erreurs et échecs de pipeline
- Optimiser les jobs Databricks pour la performance et la réduction des coûts
- Mettre en place Delta Lake, l’architecture Lakehouse et Unity Catalog pour la gouvernance des données
Pourquoi me choisir :
- Expérience pratique avec des projets Databricks réels
- Bonne compréhension des pipelines ETL et de l’optimisation des performances
- Focalisation sur des solutions évolutives et prêtes pour la production
- Communication claire et délai de réponse rapide
N’hésitez pas à m’envoyer un message avant de passer commande pour discuter de vos besoins.
Destination Platform:
Snowflake
•
Databricks Lakehouse
Outils et plateformes:
Oracle GoldenGate
•
Azure Data Factory
Mon portfolio
FAQ
Traduction automatique
De quoi avez-vous besoin pour commencer ?
J’ai besoin d’une brève description de votre besoin, des détails sur la source de données, et l’accès à votre pipeline ou environnement existant si applicable.
Pouvez-vous réparer les problèmes dans mon pipeline Databricks existant ?
Oui, je peux analyser, déboguer et corriger les erreurs dans les pipelines Azure Databricks et PySpark existants, y compris les problèmes de performance.
Supportez-vous l’optimisation des performances ?
Oui, je peux optimiser les jobs, requêtes et pipelines Databricks pour améliorer la performance et réduire les coûts.
Pouvez-vous travailler avec de grands volumes de données ?
Oui, j’ai de l’expérience avec de grands ensembles de données en utilisant PySpark et Databricks pour un traitement évolutif.
Proposez-vous des solutions de pipeline de bout en bout ?
Oui, je peux concevoir et construire des pipelines ETL complets, y compris l’ingestion, la transformation et le stockage des données en utilisant Delta Lake et l’architecture Lakehouse.

