Je réaliserai des projets ETL, de pipeline de données et d'ingénierie de données
Ingénieur data senior spécialisé en Cloud ETL et architecture
À propos de ce service
Vous avez besoin d’un pipeline ETL fiable pour automatiser votre flux de données ?
Je vais créer un pipeline ETL/ELT propre et évolutif en utilisant Python, SQL, Apache Spark/PySpark et Airflow.
Je peux vous aider avec :
- Extraction de données depuis des API, fichiers CSV/Excel et bases de données
- Nettoyage, transformation, validation et déduplication des données
- Pipeline ETL/ELT avec Python et SQL
- Traitement PySpark/Spark pour de grands ensembles de données
- Orchestration de workflow avec Airflow DAGs
- Chargement de données dans PostgreSQL, SQL Server, Snowflake, Databricks ou autres plateformes de données
- Chargements incrémentiels, planification et optimisation des pipelines
- Débogage et amélioration des pipelines existants
Vous recevrez un code propre, facile à maintenir, une documentation adéquate et une solution adaptée à vos besoins.
Vous avez déjà un pipeline qui ne fonctionne pas ? Je peux aussi le dépanner et l’optimiser.
Outils et plateformes:
Azure Data Factory
Mon portfolio
Autres services de Data engineering I Offre
FAQ
Traduction automatique
Avec quels types de sources de données pouvez-vous travailler ?
Je peux travailler avec des bases de données SQL, des fichiers CSV/Excel, des API REST, du stockage cloud, des données JSON et bien d’autres sources de données structurées.
Pouvez-vous créer des workflows Apache Airflow ?
Oui. Je peux créer des DAGs Airflow avec planification, dépendances, retries, journalisation et surveillance.
Supportez-vous Apache Spark ?
Oui. Je construis des pipelines Spark pour le traitement de données à grande échelle, les transformations et les charges ETL.
Pouvez-vous automatiser des tâches de données récurrentes ?
Absolument. Je peux créer des pipelines programmés qui extraient, transforment, valident et chargent automatiquement les données.
Pouvez-vous déployer le pipeline ?
Oui. L’assistance au déploiement avec Docker ou des plateformes cloud peut être incluse en tant que Gig Extra ou dans le package Premium.

