Je vais construire des pipelines de données évolutifs avec spark ou pyspark

Certaines informations ont été traduites automatiquement.

Inde

Je parle Hindi, Anglais

10 commandes terminées

Ingénieur data avec plus de 5 ans d'expérience dans la création de pipelines ETL évolutifs et de systèmes de traitement de données en temps réel. Je me spécialise en Spark, PySpark, Kafka, Scala et pl...
À propos de ce service

Vous avez du mal avec le traitement de données à grande échelle ou des pipelines ETL lents ?


Je suis un ingénieur en données avec plus de 5 ans d’expérience dans la création de pipelines de données haute performance pour des systèmes fintech traitant des millions de transactions par jour.


Je peux vous aider à concevoir, construire et optimiser des pipelines de données évolutifs en utilisant des technologies modernes de big data.


Services que je propose :

Construire des pipelines ETL avec Spark / PySpark

Pipeline de streaming Kafka

Traitement de données en batch et en temps réel

Optimisation des pipelines de données

Ingestion de données depuis des API, bases de données ou fichiers

Intégration avec un entrepôt de données


Technologies :

Spark | PySpark | Kafka | Scala | Hive | BigQuery | BigTable | SQL | GCP | Azure


Pourquoi me choisir ?

Pipelines de qualité production

Optimisé pour de grands ensembles de données

Code propre et évolutif

Communication rapide

Langue:

Anglais

Hindi

Expertise technique:

dbt (Data Build Tool)

Apache Spark

hadoop

Expertise:

Pipelines de data

Développement ETL

Secteur:

Analyse de données

Services financiers