Vous souhaitez automatiser vos flux de données ? Je me spécialise dans la création de pipelines ETL évolutifs et économiques utilisant Python et AWS, transformant vos données brutes en informations exploitables.
Ce que je peux faire pour vous :
- Jobs AWS Glue : Développer des scripts ETL robustes avec PySpark pour le traitement de données à grande échelle ou Python Shell pour des intégrations légères.
- Pipeline sans serveur : Construire des workflows basés sur des événements avec AWS Lambda et des déclencheurs S3.
- Orchestration de données : Mettre en place et gérer des workflows avec AWS Step Functions ou Glue Workflows.
- Chargement de données : Charger efficacement des données dans Amazon Redshift, S3 (Data Lakes) ou RDS.
- Intégration API : Extraire des données de APIs tierces avec Python et les stocker en toute sécurité dans AWS.
- Optimisation : Affiner les jobs Glue existants pour réduire les coûts DPU (Data Processing Unit).