Je vais concevoir une pipeline API SolidGate vers BigQuery avec backfill historique
Ingénieur en données cloud, BigQuery, Snowflake, dbt, Python, ETL
À propos de ce service
Vos données de paiement, de facturation ou de commerce électronique se trouvent dans une API, et chaque rapport démarre par une exportation CSV ?
Je construis des pipelines de production qui chargent des données à partir d’API REST (Soligate, Stripe, Shopify, passerelles de paiement, CRM, API personnalisées) vers Google BigQuery, y compris le backfill historique complet.
Projet récent : une plateforme d’ingestion sans serveur pour l’API d’un prestataire de paiement. 6 points de terminaison, plus de 12 mois d’historique backfill, JSON brut conservé dans le stockage en cloud, déployée avec CI/CD.
Ce que vous obtenez :
- Chargements incrémentiels : pas de doublons, ré-exécutions sûres
- Backfill historique avec gestion de la pagination et du taux limite
- Couche brute non modifiée, les tables peuvent être reconstruites à tout moment
- Tables propres et typées prêtes pour Looker Studio ou Power BI
- Surveillance et alertes en cas d’échec
- Code dans votre dépôt + documentation de configuration
Pile technologique : Python, BigQuery, Cloud Run/Functions ou AWS Lambda, Airflow, dbt.
Plus de 15 ans d’expérience en data engineering et intégrations ERP.
Envoyez-moi un message avec votre API source et ce que vous souhaitez rapporter. Je vous répondrai avec un devis fixe.
Mon portfolio
Autres services de Data engineering I Offre
FAQ
Traduction automatique
Où le pipeline fonctionne-t-il ?
Dans votre compte GCP ou AWS. Vous possédez le code et les données.
Quel sera le coût de BigQuery pour moi ?
Pour de petits et moyens volumes, c’est généralement peu élevé. J’estime le coût avant que nous commencions.
Que faire si l'API change ?
Le JSON brut est stocké tel quel, ainsi de nouveaux champs ne perturbent pas les chargements et l’historique peut être retraitement.
Pouvez-vous charger dans Snowflake ou Redshift à la place ?
Oui, via une offre personnalisée.
