Je vais construire des pipelines de données évolutifs avec spark ou pyspark
À propos de ce service
Vous avez du mal avec le traitement de données à grande échelle ou des pipelines ETL lents ?
Je suis un ingénieur en données avec plus de 5 ans d’expérience dans la création de pipelines de données haute performance pour des systèmes fintech traitant des millions de transactions par jour.
Je peux vous aider à concevoir, construire et optimiser des pipelines de données évolutifs en utilisant des technologies modernes de big data.
Services que je propose :
Construire des pipelines ETL avec Spark / PySpark
Pipeline de streaming Kafka
Traitement de données en batch et en temps réel
Optimisation des pipelines de données
Ingestion de données depuis des API, bases de données ou fichiers
Intégration avec un entrepôt de données
Technologies :
Spark | PySpark | Kafka | Scala | Hive | BigQuery | BigTable | SQL | GCP | Azure
Pourquoi me choisir ?
Pipelines de qualité production
Optimisé pour de grands ensembles de données
Code propre et évolutif
Communication rapide
