Je construirai des pipelines ETL avec Airflow, Python et AWS

Certaines informations ont été traduites automatiquement.

Pakistan

Je parle Ourdou, Anglais

Ingénieur Data Senior Airflow, Spark, AWS

Je suis un ingénieur data senior avec plus de 4 ans d’expérience dans la construction de pipelines de données en production. Je conçois et exploite des flux ETL/ELT, des systèmes de streaming en temps...
À propos de ce service

Besoin de déplacer, nettoyer et livrer des données de manière fiable ? Je conçois des pipelines en production qui s’exécutent selon un planning, se relancent en cas d’échec et vous avertissent en cas de problème.

Ce que je fournis :

  • Ingestion à partir d’APIs, de bases de données, de fichiers ou de sites web
  • Transformation et nettoyage en Python ou Spark
  • Chargement dans PostgreSQL, S3, MongoDB ou TimescaleDB
  • Airflow DAGs avec planification, relances et alertes
  • Configuration Dockerisée, documentation et remise

Adapté aux startups et aux équipes ayant des sources de données désordonnées, des scripts lents ou cassés, ou sans orchestration yet. Contactez-moi avant de commander avec votre source de données, cible et volume.

Langue:

Anglais

•

Ourdou

Expertise technique:

Apache Airflow

•

Apache Spark

•

Apache Flink

Expertise:

Pipelines de data

•

Développement ETL

Secteur:

Audio et vidéo

•

Cryptomonnaie et blockchain