Je construirai des pipelines ETL en Python avec Airflow et dbt
Développeur IA, données et logiciels, applications, agents et automatisation
À propos de ce service
Vous avez besoin d’automatiser la collecte, la transformation et le chargement des données ?
Je mettrai en place des pipelines ETL basés sur Python pour déplacer les données depuis vos API, bases de données, feuilles de calcul et autres sources vers votre destination privilégiée.
Ce que je peux construire :
- Extraction de données via API
- ingestion de CSV et Excel
- Intégrations PostgreSQL et MySQL
- Transformation des données avec Python et SQL
- DAGs Apache Airflow et planification
- Modèles dbt et tests de données
- Chargement de données dans BigQuery et PostgreSQL
- Gestion des erreurs, journalisation et documentation
- Environnements de développement basés sur Docker
Je suis ingénieur data et logiciel avec plus de 7 ans d’expérience dans la construction de systèmes backend, d’applications analytiques et de workflows automatisés.
Mon objectif est de proposer des pipelines fiables, maintenables, testables et simples à exploiter.
Veuillez m’envoyer un message avant de passer commande afin que nous puissions confirmer les sources de données, la destination, le volume et les exigences de planification.
Mon portfolio
FAQ
Traduction automatique
Pouvez-vous connecter des API à PostgreSQL ou BigQuery ?
Oui. Je peux extraire des données des API et les charger dans votre destination préférée.
Pouvez-vous construire des DAGs Apache Airflow ?
Oui. Je peux créer des DAG planifiés avec dépendances entre les tâches, gestion des erreurs et journalisation.
Prendez-vous en charge dbt ?
Oui. Je peux créer des transformations SQL et des tests de qualité des données basiques.
Pouvez-vous réparer un pipeline ETL existant ?
Oui. Veuillez m’envoyer une description du problème avant de passer commande.
L’infrastructure cloud est-elle incluse ?
Les coûts d’infrastructure et d’hébergement cloud sont séparés. Je peux fournir une assistance au déploiement dans le cadre d’un périmètre personnalisé.
