Je vais concevoir et construire votre architecture de data lake sur AWS

Vous avez du mal avec un data lake lent, désordonné ou inexistant sur AWS ? J’aide les entreprises à concevoir et à construire des architectures de data lake évolutives et prêtes pour la production en utilisant S3, Glue, EMR et Athena, la même stack que j’utilise quotidiennement pour la gestion de données d’un client du secteur bancaire/financier avec un data lake de plusieurs téraoctets.

Que vous partiez de zéro ou que vous ayez besoin de réparer une configuration existante, je peux vous aider avec :

Conception d’architecture de data lake (couches d’analyse en bronze)

Configuration du catalogues Glue AWS et accès inter-comptes

Optimisation des requêtes Athena/Presto

Conception de pipelines de données S3/Parquet à grande échelle

Recommandations pour les pipelines ETL utilisant Spark

J’ai conçu des pipelines traitant plus de 100 Go de données avec des cycles de rafraîchissement bi-hebdomadaires, résolu des problèmes de catalogues Glue inter-comptes et converti des logiques SQL Server legacy en requêtes compatibles Athena, ce qui représente des problèmes réels de production, pas du travail de tutoriel.

Discutons de votre configuration de données et je vous aiderai à construire quelque chose qui évolue.