Je vais concevoir des pipelines ETL databricks et pyspark évolutifs

Vous cherchez un ingénieur data senior pour créer des solutions de données performantes ? Vous êtes au bon endroit !

Fort de plus de 11 ans d’expérience en entreprise et de certifications officielles en cloud, je me spécialise dans la conception de pipelines de données robustes qui traitent d’énormes ensembles de données avec une latence minimale et des coûts cloud optimisés.

Mes services principaux :

* Pipelines ETL/ELT : ingestion automatisée de données depuis des API, bases de données et stockage cloud.

* PySpark & SparkSQL : notebooks Databricks modulaires pour le nettoyage et la normalisation complexes des données.

* Optimisation des performances : débogage de jobs Spark lents, tuning de requêtes et optimisation de clusters.

* Entrepôts de données : mise en œuvre d’architectures Medallion et logique d’upsert dynamique.

Stack technique :

Apache Spark | PySpark | Databricks | Azure Data Factory | Azure Synapse | Hive | SparkSQL | SQL Server

Mon processus de transmission :

  1. Analyse approfondie des besoins et alignement architectural.

  2. Rédaction d’un code propre, prêt pour la production, avec tests.

  3. Révisions et ajustements selon vos retours.

  4. Documentation détaillée et présentation.

N’hésitez pas à m’envoyer un message via le chat pour discuter de vos besoins avant de passer commande !