Je vais concevoir des pipelines de données etl évolutifs sur AWS, azure et apache spark
Ingénieur data senior : AWS, Azure, Spark, pipelines ETL et architecture de données
À propos de ce service
Vous avez des difficultés avec des pipelines de données lents ou peu fiables ? Je conçois et construis des pipelines ETL de qualité production sur AWS et Azure, rapides, évolutifs et durables.
Ce que vous obtiendrez :
- Conception et mise en œuvre de pipelines ETL de bout en bout
- Optimisation des performances Apache Spark (PySpark, Scala)
- Configuration AWS : Glue, Lambda, Step Functions, S3, Redshift
- Configuration Azure : Databricks, Data Factory, Azure Data Lake Gen2
- Validation des données, gestion des erreurs et surveillance
- Documentation complète et transfert de compétences
Idéal pour :
- Entreprises avec des pipelines de données lents ou en panne
- Équipes migrantes de l’on-premise vers AWS ou Azure
- Projets nécessitant une optimisation et un tuning de Spark
- Développement ETL en temps réel ou par lots
Pourquoi me choisir :
Plus de 5 ans d’expérience dans la création de pipelines de données pour les secteurs du retail, de l’IoT et de la finance. J’ai géré des pipelines traitant des millions d’enregistrements par jour et je mettrai cette expertise à votre service.
Destination Platform:
Amazon Redshift
•
Amazon S3
Outils et plateformes:
AWS Glue DataBrew

