Je vais concevoir une pipeline API SolidGate vers BigQuery avec backfill historique

Certaines informations ont été traduites automatiquement.

Ukraine

Je parle Ukrainien, Anglais

Ingénieur en données cloud, BigQuery, Snowflake, dbt, Python, ETL

Ingénieur data senior spécialisé dans les plateformes de données cloud évolutives et les pipelines ETL/ELT prêts pour la production. J'aide les entreprises à construire des solutions de données fiabl...
À propos de ce service

Vos données de paiement, de facturation ou de commerce électronique se trouvent dans une API, et chaque rapport démarre par une exportation CSV ?

Je construis des pipelines de production qui chargent des données à partir d’API REST (Soligate, Stripe, Shopify, passerelles de paiement, CRM, API personnalisées) vers Google BigQuery, y compris le backfill historique complet.

Projet récent : une plateforme d’ingestion sans serveur pour l’API d’un prestataire de paiement. 6 points de terminaison, plus de 12 mois d’historique backfill, JSON brut conservé dans le stockage en cloud, déployée avec CI/CD.

Ce que vous obtenez :

  • Chargements incrémentiels : pas de doublons, ré-exécutions sûres
  • Backfill historique avec gestion de la pagination et du taux limite
  • Couche brute non modifiée, les tables peuvent être reconstruites à tout moment
  • Tables propres et typées prêtes pour Looker Studio ou Power BI
  • Surveillance et alertes en cas d’échec
  • Code dans votre dépôt + documentation de configuration

Pile technologique : Python, BigQuery, Cloud Run/Functions ou AWS Lambda, Airflow, dbt.

Plus de 15 ans d’expérience en data engineering et intégrations ERP.

Envoyez-moi un message avec votre API source et ce que vous souhaitez rapporter. Je vous répondrai avec un devis fixe.

Destination Platform:

Snowflake

•

Google BigQuery

•

PostgreSQL

•

mySQL

Outils et plateformes:

Airbyte

•

AWS Glue DataBrew

Mon portfolio

Autres services de Data engineering I Offre