Je vais développer des pipelines de données etl de bout en bout en utilisant python, pyspark et les services azure

Je suis ingénieur en données avec 2,8 ans d’expérience dans l’utilisation d’Azure et Palantir Foundry. Je me spécialise dans la création de pipelines ETL évolutifs et le traitement de grands ensembles de données en utilisant Python, PySpark et SQL.

Je peux concevoir et développer des pipelines de données efficaces, effectuer des transformations de données et intégrer des données provenant de plusieurs sources avec des outils modernes d’ingénierie des données.

Technologies avec lesquelles je travaille :

Python

PySpark

SQL

Azure Data Factory

Azure Data Lake

Palantir Foundry

Services que je propose :

Développement de pipelines ETL

Traitement de données avec PySpark

Optimisation des requêtes SQL

Pipeline Azure Data Factory

Pipeline de données Palantir Foundry

Nettoyage et transformation de données

Je me concentre sur la fourniture de solutions d’ingénierie des données fiables, évolutives et prêtes pour la production.