Je vais créer des pipelines de données sur le cloud en utilisant spark sql

Certaines informations ont été traduites automatiquement.

Inde

Je parle Bengali, Anglais

Transformer les données en insights : stimuler l'innovation

Ingénieur data senior avec plus de 5 ans d'expérience dans la création de solutions de données évolutives. Je me spécialise dans les pipelines batch et en temps réel utilisant Apache Spark, Kafka et l...
À propos de ce service

Construisez des pipelines de données fiables et évolutifs qui transforment votre activité.


Vous avez des difficultés avec l’ingestion, la transformation ou le traitement des données ? Vous souhaitez migrer vers le Cloud ? Je crée des pipelines de bout en bout en utilisant Apache Spark, Python et des services cloud (AWS/Azure) qui automatisent les flux de travail et fournissent des insights de niveau production.


Ce que je propose :


  • pipelines ETL & ELT (batch et streaming en temps réel)
  • Déploiement cloud : AWS Glue, Lambda, EMR, Azure Data Factory, Databricks, Snowflake
  • Traitement en temps réel : Kafka, Kinesis, Event Hubs
  • Architecture de data lake : Apache Iceberg, Apache Hudi
  • Intégration API avec S3, Aurora PostgreSQL, MySQL, DynamoDB
  • Migration de bases de données (sans interruption)
  • Vérification de la qualité des données et validation
  • Tableaux de bord de surveillance personnalisés
  • Optimisation des performances (amélioration de plus de 20 %)
  • Intégration d’outils BI (Power BI, Tableau)


Pourquoi me choisir :


  • Certifié AWS & Databricks
  • Plus de 5 ans d’expérience en production
  • Des millions d’enregistrements traités chaque jour
  • Expérience avec des clients d’entreprise
  • Communication rapide & code propre
  • Support pendant 30 jours après la livraison


Tech : Python, SQL, Spark, Kafka, AWS, Azure, Databricks, Snowflake, PostgreSQL, MySQL


Contactez-moi avant de commander pour bien définir votre projet !

Langue:

Bengali

Anglais

Hindi

Expertise technique:

dbt (Data Build Tool)

Apache Spark

Expertise:

Pipelines de data

Développement ETL

Secteur:

Analyse de données

Mon portfolio

Autres services de Data engineering I Offre