Je vais concevoir un pipeline de données ETL automatisé avec python, airflow et sql
Ingénieur de données
À propos de ce service
Je crée des pipelines ETL automatisés qui collectent, traitent et stockent les données efficacement.
J'extrais des données à partir d'APIs, de fichiers ou de sources web, les transforme en formats structurés et propres, puis les charge dans des bases de données pour analyse. J'automatise les flux de travail pour que vos données soient mises à jour sans effort manuel.
Ce que je peux faire :
- Construire des pipelines ETL de bout en bout
- Extraire des données d'APIs, CSV, Excel ou sites web
- Nettoyer et transformer des données brutes avec Python
- Charger les données dans MySQL, PostgreSQL ou MongoDB
- Automatiser les flux de travail avec cron ou Airflow
- Optimiser la performance pour de grands ensembles de données
Outils :
Python, Pandas, FastAPI, Airflow, Apache Kafka, MySQL, PostgreSQL, AWS
Pourquoi me choisir :
- Code propre et fiable
- Solutions évolutives
- Communication claire
Contactez-moi avant de passer commande.
Outils et plateformes:
Airbyte
•
AWS Glue DataBrew
•
Apache NiFi
Mon portfolio
FAQ
Traduction automatique
De quoi avez-vous besoin pour commencer ?
J'ai besoin des détails de votre source de données, de vos exigences et du format de sortie attendu.
Pouvez-vous automatiser le pipeline ?
Oui. Je peux planifier des jobs ETL avec cron ou Airflow.
Quelles sources de données pouvez-vous gérer ?
APIs, CSV, Excel, bases de données et données web.
Quelles bases de données prenez-vous en charge ?
MySQL, PostgreSQL, MongoDB et autres si nécessaire.
Pouvez-vous gérer de grands ensembles de données ?
Oui. J'optimise les pipelines pour la performance et la scalabilité.
Proposez-vous des révisions ?
Oui. Les révisions dépendent du package que vous choisissez.
