Je conçois des pipelines ETL de données avec Python, Airflow, Kafka et PostgreSQL

Certaines informations ont été traduites automatiquement.

Pakistan

Je parle Anglais

2 commandes terminées

web scraping, développeur Python, développeur web

Je suis un pigiste professionnel et dévoué, passionné par la prestation de services de haute qualité à mes clients. J'ai une solide expérience en matière de livraison de projets dans les délais et dan...
À propos de ce service

Vos données sont-elles réparties entre API, fichiers et bases de données ? Je construis des pipelines ETL automatisés qui collectent, nettoient et chargent vos données afin qu’elles soient toujours prêtes à l’emploi.

Mon expérience :

  • Pipeline Kafka traitant 8 Go de médias par minute avec une latence réduite de 35 %
  • Cluster Celery + Redis gérant plus de 1 000 tâches par minute
  • Pipeline de crawling quotidien stockant plus de 500 000 offres d’emploi
  • Diplôme d’ingénieur logiciel avec spécialisation en data science (ETL, data mining)

Ce que je peux construire :

  • Pipelines ETL / ELT à partir d’API, CSV, Excel, sites web ou bases de données
  • Tâches planifiées avec Apache Airflow, Celery ou cron
  • Streaming en temps réel avec Kafka ou RabbitMQ
  • Chargement dans PostgreSQL, MySQL, Elasticsearch ou AWS (S3, RDS, DynamoDB)
  • Nettoyage, transformation et validation des données

Outils : Python, Pandas, Airflow, Kafka, Celery, Redis, PostgreSQL, AWS

Vous obtenez un code propre et documenté, que vous possédez. Envoyez-moi un message avec vos sources de données et vos objectifs, et je vous proposerai le pipeline le plus simple qui fonctionne.

Destination Platform:

PostgreSQL

•

mySQL

•

Amazon S3

Outils et plateformes:

Kafka Connect