Je conçois des pipelines ETL de données avec Python, Airflow, Kafka et PostgreSQL
web scraping, développeur Python, développeur web
À propos de ce service
Vos données sont-elles réparties entre API, fichiers et bases de données ? Je construis des pipelines ETL automatisés qui collectent, nettoient et chargent vos données afin qu’elles soient toujours prêtes à l’emploi.
Mon expérience :
- Pipeline Kafka traitant 8 Go de médias par minute avec une latence réduite de 35 %
- Cluster Celery + Redis gérant plus de 1 000 tâches par minute
- Pipeline de crawling quotidien stockant plus de 500 000 offres d’emploi
- Diplôme d’ingénieur logiciel avec spécialisation en data science (ETL, data mining)
Ce que je peux construire :
- Pipelines ETL / ELT à partir d’API, CSV, Excel, sites web ou bases de données
- Tâches planifiées avec Apache Airflow, Celery ou cron
- Streaming en temps réel avec Kafka ou RabbitMQ
- Chargement dans PostgreSQL, MySQL, Elasticsearch ou AWS (S3, RDS, DynamoDB)
- Nettoyage, transformation et validation des données
Outils : Python, Pandas, Airflow, Kafka, Celery, Redis, PostgreSQL, AWS
Vous obtenez un code propre et documenté, que vous possédez. Envoyez-moi un message avec vos sources de données et vos objectifs, et je vous proposerai le pipeline le plus simple qui fonctionne.
Destination Platform:
PostgreSQL
•
mySQL
•
Amazon S3
Outils et plateformes:
Kafka Connect
FAQ
Traduction automatique
Pouvez-vous déployer le pipeline ?
Oui. Je peux le déployer sur votre serveur ou sur AWS (EC2, Lambda, S3) et mettre en place un planning.
Travaillez-vous avec ma base de données existante ?
Oui. Je travaille avec PostgreSQL, MySQL, SQLite et Elasticsearch, ainsi que les services AWS comme RDS et DynamoDB.
Vais-je obtenir le code source ?
Oui. Vous obtenez le code source complet avec les instructions de configuration et la documentation.
Pouvez-vous construire des pipelines de streaming en temps réel ?
Oui. J’ai construit des pipelines Kafka traitant 8 Go de données par minute, ainsi que RabbitMQ et des files d’attente Celery.
Quelles sources de données pouvez-vous connecter ?
APIs REST, fichiers CSV et Excel, sites web (via scraping), bases de données et stockage cloud comme S3.
De quoi avez-vous besoin de ma part pour commencer ?
Vos sources de données, la destination, la fréquence de mise à jour des données et tout détail d’accès pour les environnements de test.

