Je construirai des pipelines ETL et ELT de données avec Python, SQL et dbt
Ingénieur Data pour pipelines ETL et ELT, SQL, Python, dbt, Databricks
À propos de ce service
Vous cherchez des pipelines de données fiables qui transforment des données brutes en tables propres et prêtes à l’analyse ? Je suis ingénieur Data (Top Rated sur Upwork, 100% de réussite, plus de 1000 heures) et je construis des pipelines ETL/ELT qui sont testés, documentés et faciles à maintenir.
CE QUE VOUS OBTENEZ
- pipelines ETL/ELT en Python et SQL issus d’APIs, de bases de données, de fichiers et de stockage cloud
- Modélisation d’entrepôt de données avec dbt (niveaux staging, intermédiaire et mart)
- Orchestration avec Apache Airflow, conteneurisé avec Docker
- Pipelines Lakehouse sur Databricks, PySpark et Delta Lake
- Optimisation des requêtes SQL et vérifications de qualité des données
- documentation claire et appel de transfert
MON PROCESSUS
- courte discussion de découverte sur vos sources, volumes et objectifs
- valider la conception du pipeline
- construire, tester et valider avec vos données
- livrer le code, la documentation et une démonstration
Vous vous demandez quel package convient le mieux ? Envoyez-moi un message avant de commander et je vous recommanderai le périmètre adapté.
Mon portfolio
FAQ
Traduction automatique
Avec quels outils et plateformes travaillez-vous ?
Python, SQL, dbt, Apache Airflow, PySpark et Databricks, avec Postgres et d’autres bases de données relationnelles. J’intègre également des APIs, des fichiers plats et du stockage cloud. Indiquez-moi votre stack et je travaillerai avec.
Que reçois-je à la livraison ?
Code source bien commenté, un README succinct avec les étapes d’installation et d’exécution, et une démonstration du fonctionnement du pipeline. Les forfaits Standard et Premium incluent également un audit initial des données et des recommandations de conception.
