Je construirai des pipelines de données en pyspark et databricks
Analyste programmeur
À propos de ce service
Vous cherchez des pipelines de données robustes et haute performance, conçus pour l’évolutivité ?
Je me spécialise dans la conception, l’optimisation et l’automatisation de pipelines ETL/ELT de bout en bout en utilisant PySpark, Databricks et les architectures de données cloud modernes. Que vous deviez ingérer des fichiers bruts désordonnés, transformer des ensembles de données complexes ou migrer des données structurées, je fournis des solutions fiables et prêtes pour la production.
Services proposés :
1. Conception de pipelines ETL/ELT sur mesure et automatisation des flux de travail
2. Traitement et transformation de données à grande échelle avec PySpark & Databricks
3. Optimisation de requêtes SQL, validation des données et déduplication
4. Intégration avec le stockage cloud (Azure Data Lake, Synapse, Databricks Lakehouse)
5. Intégration d’API, tests et flux d’ingestion automatisés
6. Migration de données de bout en bout et accompagnement en gouvernance
Pile technologique :
Databricks, Apache Spark / PySpark, Azure Synapse, ADLS, Python, SQL, REST APIs / Postman.
Pourquoi travailler avec moi ?
Expérience pratique en ingénierie des données d’entreprise et en gouvernance des données
Code propre, modulaire et bien documenté
Livraison dans les délais avec une communication claire
Veuillez me contacter avec vos exigences de projet et vos données d’exemple avant de passer commande afin que nous puissions définir le meilleur périmètre !
