Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais construire un pipeline ETL automatisé avec Python et Airflow
Data Scientist junior, ingénieur ML, Python, pipelines ETL
Je suis Data Scientist et Data Engineer, récemment diplômé de l’AIUB (CGPA : 3.98/4.00), avec une publication dans une conférence IEEE évaluée par des pairs et deux certifications DataCamp — Data Scie...
À propos de ce service
Vos données sont-elles stockées dans des API ou des fichiers sans moyen automatisé de les collecter et de les stocker ? Je crée des pipelines ETL prêts pour la production utilisant Apache Airflow 3 et Python, qui extraient, transforment et chargent vos données selon un calendrier, entièrement automatisés, sans intervention manuelle.
Ce que je fournis :
- Pipeline automatisé avec des tâches indépendantes d'extraction, de transformation et de chargement
- Apache Airflow 3 avec API TaskFlow et planification quotidienne
- Stack Docker multi-conteneurs pour un déploiement propre et reproductible
- Base de données PostgreSQL avec des enregistrements structurés et consultables
- Code source complet livré via GitHub
Pourquoi moi ? Je possède une publication évaluée par des pairs lors d'une conférence IEEE, deux certifications DataCamp (Data Scientist certifié et Associate Data Scientist certifié), ainsi qu'un stage de recherche dans un laboratoire d'IA basé au Royaume-Uni. Mon pipeline ETL fonctionne en production, accumulant plus de 365 enregistrements structurés par an sans intervention manuelle.
Je travaille avec : API REST et sources de données basées sur des fichiers, chargées dans PostgreSQL.
Note : Veuillez m’envoyer un message avant de commander pour discuter de votre source de données et de vos besoins.
Destination Platform:
PostgreSQL
•
mySQL
Outils et plateformes:
Autres
Mon portfolio
FAQ
Traduction automatique
À quelles sources de données pouvez-vous vous connecter ?
Actuellement API REST. Si vous avez une autre source comme des fichiers CSV ou une base de données, envoyez-moi un message d’abord pour discuter de la faisabilité.
Dois-je déjà avoir installé Apache Airflow ?
Non. Je vais configurer l’environnement du pipeline pour vous, y compris la configuration Docker si nécessaire.
Le pipeline s’exécutera-t-il automatiquement sans que je fasse quoi que ce soit ?
Oui. Les packages Standard et Premium incluent une automatisation entièrement planifiée utilisant Apache Airflow qui s’exécute selon votre calendrier défini sans déclenchement manuel.
Vais-je recevoir le code source ?
Oui, tous les packages incluent le code source Python complet et les fichiers DAG.
Pouvez-vous travailler avec ma base de données existante ?
Oui, à condition de pouvoir fournir les identifiants de connexion en toute sécurité. Je recommande d’en discuter avant de commander.
