Je réaliserai une ingénierie des données ETL professionnelle

Certaines informations ont été traduites automatiquement.

Sri Lanka

Je parle Anglais

18 commandes terminées

AWS GCP PYTHON ingénierie des données

Je suis un développeur logiciel expérimenté avec 10 ans d'expérience dans le développement de backends cloud et l'ingénierie des données.
À propos de ce service

Développeur ETL basé sur le cloud (AWS + GCP) | Pipelines de données | Automatisation | Big Data


Vous cherchez un développeur ETL fiable sur le cloud pour construire, automatiser ou optimiser vos pipelines de données sur AWS ou Google Cloud ?


J’aide les entreprises à concevoir des flux de travail ETL évolutifs, optimisés en coût et prêts pour la production en utilisant des outils modernes cloud-native.


Ce que je peux faire pour vous


Construire des pipelines ETL/ELT de bout en bout (batch ou streaming)

Migrer des jobs ETL locaux vers AWS / GCP

Intégrer des API, bases de données, data lakes, outils SaaS

Transformer et nettoyer des données avec Python, SQL, dbt, Pandas

Orchestrer des workflows avec Airflow / Cloud Composer / Step Functions

Développer des pipelines streaming avec Pub/Sub / Kinesis

Créer des ETL serverless avec Lambda / Cloud Functions

Construire des solutions Data Lakehouse avec BigQuery / Redshift / Athena

CI/CD pour ETL (GitHub Actions, Cloud Build, CodePipeline)


Stack cloud avec laquelle je travaille

AWS

  • AWS Glue, Lambda, Step Functions
  • S3, Redshift, Athena, EMR
  • API Gateway, EventBridge
  • DynamoDB, RDS, Aurora

GCP

  • Cloud Composer (Airflow)
  • Cloud Functions, Cloud Run
  • Cloud Storage
  • Pub/Sub


Livrables que vous recevrez

  • Pipeline ETL prêt pour la production

Expertise:

Big data

Extraction des données

Technologie:

Apache Spark

Python

SQL

Snowflake

NoSQL

Apache Airflow