Je vais construire des pipelines ETL Databricks avec pyspark, python et sql

Je concevrai et mettrai en place des solutions d'ingénierie des données évolutives et performantes en utilisant Databricks et Apache Spark. Je me spécialise dans les pipelines ETL/ELT basés sur PySpark, la transformation de données et l'optimisation pour aider les entreprises à traiter efficacement de grands volumes de données.

Mes services incluent la création de notebooks Databricks, l'ingestion de données provenant de plusieurs sources (bases de données, API, stockage cloud), la transformation de données avec Spark SQL et PySpark, et la livraison de jeux de données propres et prêts pour l’analyse. Je mets également en œuvre des vérifications de la qualité des données, des tests unitaires et l'optimisation des performances pour garantir des pipelines fiables et prêts pour la production.

Je travaille principalement avec Databricks sur des plateformes cloud (Azure/AWS) et je suis les meilleures pratiques en modélisation de données, conception de pipelines et documentation. Que vous ayez besoin d'une petite tâche Databricks, d'un pipeline ETL complet ou d'une solution d'ingénierie des données de bout en bout, je vous offre une communication claire, une livraison dans les délais et un code facile à maintenir.

Veuillez m’envoyer un message avant de passer commande afin que nous puissions discuter de vos besoins et choisir le bon package pour votre cas d’usage.