Je vais construire votre pipeline de données avec airflow et spark

Certaines informations ont été traduites automatiquement.
Hammad H

Pakistan

Je parle Anglais, Japonais

Ingénieur logiciel

Je suis ingénieur logiciel avec 3 ans d’expérience dans le développement et l’optimisation de services backend pour des systèmes de traitement de paiements à grande échelle. J’ai mis en place des pipe...
Plus d’infos
À propos de ce service

Construisez des pipelines de données fiables, évolutifs et prêts pour le cloud.


Vous avez du mal à déplacer ou transformer vos données efficacement ? Je me spécialise dans la création de pipelines de données de bout en bout qui automatisent l’ingestion, la transformation, la validation et le chargement dans des environnements cloud et locaux.


Avec plus de 2,5 ans d’expérience et des outils comme Spark, SQL, Python, Databricks, Snowflake, AWS et GCP, je vous aide à transformer des données brutes désordonnées en insights prêts pour la production.


Ce que je propose :

  • pipelines ETL et ELT (batch et streaming)
  • Intégration avec des API, du stockage cloud et des bases de données
  • Déploiement natif dans le cloud : AWS Glue, Lambda, Azure ADF, Databricks, GCP Dataflow
  • Architecture en temps réel utilisant Kafka, Pub/Sub ou Event Hubs
  • Nettoyage des données, vérifications de qualité, journalisation des audits


Note : Contactez-moi avant de commander pour que je puisse bien définir votre projet !


Plus d’infos
build your data pipeline with airflow and spark
Plein écran
build your data pipeline with airflow and spark
Plein écran
build your data pipeline with airflow and sparkbuild your data pipeline with airflow and spark

Langue:

Anglais

Expertise technique:

dbt (Data Build Tool)

•

Apache Airflow

+3

Expertise:

Pipelines de data

•

Développement ETL

+2

Secteur:

Audio et vidéo

•

Analyse de données

•

Services financiers

+1

Balises associées