Je réaliserai une ingénierie des données ETL professionnelle
AWS GCP PYTHON ingénierie des données
À propos de ce service
Développeur ETL basé sur le cloud (AWS + GCP) | Pipelines de données | Automatisation | Big Data
Vous cherchez un développeur ETL fiable sur le cloud pour construire, automatiser ou optimiser vos pipelines de données sur AWS ou Google Cloud ?
J’aide les entreprises à concevoir des flux de travail ETL évolutifs, optimisés en coût et prêts pour la production en utilisant des outils modernes cloud-native.
Ce que je peux faire pour vous
Construire des pipelines ETL/ELT de bout en bout (batch ou streaming)
Migrer des jobs ETL locaux vers AWS / GCP
Intégrer des API, bases de données, data lakes, outils SaaS
Transformer et nettoyer des données avec Python, SQL, dbt, Pandas
Orchestrer des workflows avec Airflow / Cloud Composer / Step Functions
Développer des pipelines streaming avec Pub/Sub / Kinesis
Créer des ETL serverless avec Lambda / Cloud Functions
Construire des solutions Data Lakehouse avec BigQuery / Redshift / Athena
CI/CD pour ETL (GitHub Actions, Cloud Build, CodePipeline)
Stack cloud avec laquelle je travaille
AWS
- AWS Glue, Lambda, Step Functions
- S3, Redshift, Athena, EMR
- API Gateway, EventBridge
- DynamoDB, RDS, Aurora
GCP
- Cloud Composer (Airflow)
- Cloud Functions, Cloud Run
- Cloud Storage
- Pub/Sub
Livrables que vous recevrez
- Pipeline ETL prêt pour la production
Technologie:
Apache Spark
•
Python
•
SQL
•
Snowflake
•
NoSQL
•
Apache Airflow
