Je vais concevoir des pipelines ETL pilotés par des événements sur GCP BigQuery pour l'ingénierie des données

Vous souhaitez transformer des données brutes et dispersées en un moteur d’analyse en temps réel et évolutif ? Je suis un Data Engineer GCP spécialisé dans des solutions de données performantes et économiques, du design de pipeline à la mise en production de entrepôts BigQuery.

Ce en quoi je me spécialise :

pipelines événementiels

Ingestion sans serveur utilisant Cloud Run Jobs, Cloud Functions, Pub/Sub et Eventarc pour capturer des données provenant d’API et de webhooks directement dans BigQuery.

architecture Medallion

Structuration des entrepôts BigQuery en couches Bronze, Silver et Gold (brut/stage/curation) avec des transformations SQL optimisées et une modélisation dimensionnelle pour réduire les coûts de requête.

CDC et ETL incrémental

Pipeline robuste de capture de changements utilisant Python, SQLAlchemy et un traitement basé sur des watermarks pour des mises à jour incrémentielles, déduplication, à partir de PostgreSQL, SQL Server et Cloud SQL.

intégrations cloud

Ingestion automatisée depuis AWS S3, Shopify, Google Ads, Meta Ads et API REST/GraphQL dans une couche d’analyse unifiée GCP alimentant des tableaux de bord Looker pour le reporting des ventes, du marketing et des finances.

Pourquoi choisir mes services ?

Code Python et SQL propre, modulaire et prêt pour la production

Optimisation des coûts GCP via partitionnement, clustering et transformations MERGE