Je vais construire des pipelines ETL AWS avec Airflow, Spark et Python

Certaines informations ont été traduites automatiquement.
Andres Rios

Mexique

Je parle Espagnol, Anglais

Ingénieur de données senior

Je suis un ingénieur data indépendant avec plus de 20 ans d'expérience en informatique et plus de 10 ans spécialisé dans les plateformes de données volumineuses. Je conçois, construis et optimise des ...
Plus d’infos
À propos de ce service

Ingénieur Data senior avec plus de 10 ans d'expérience dans la création d'ETL en production pour des clients du Fortune 500 (Expedia, Ford, HP).

Je conçois des pipelines de données AWS fiables et prêts pour la production avec Python, PySpark, Airflow et Spark, pas des scripts jetables. Un vrai travail d'ingénierie : partitionnement, jointures broadcast, orchestration et tests.

Réalisations :

Réduction d'un job HiveQL de 64 heures à moins de 3 heures (gain de 95,6 %)

Migration de 500 TB de Hadoop vers AWS, entièrement validée

Création et gestion de ma propre plateforme SaaS multi-tenant de bout en bout

Ce que vous obtenez : des pipelines de code propres, documentés et déployables que votre équipe peut maintenir, pas une boîte noire.

Basé au Mexique (fuseau horaire compatible avec les États-Unis), collaboration en temps réel pendant vos heures de bureau. Anglais courant.

Vous n'êtes pas sûr du package qui vous convient ? Contactez-moi d'abord et je définirai avec vous le périmètre.

Plus d’infos
build AWS etl pipelines with airflow, spark and python
Plein écran
build AWS etl pipelines with airflow, spark and python
Plein écran
Plein écran
Voir la présentation
build AWS etl pipelines with airflow, spark and pythonbuild AWS etl pipelines with airflow, spark and pythonbuild AWS etl pipelines with airflow, spark and pythonbuild AWS etl pipelines with airflow, spark and python

Destination Platform:

Amazon Redshift

•

PostgreSQL

•

mySQL

+2

Outils et plateformes:

AWS Glue DataBrew

•

Autres

Mon portfolio

Balises associées