Je concevrai une pipeline d’ingestion API en Python vers PostgreSQL

Certaines informations ont été traduites automatiquement.

Brésil

Je parle Anglais

Ingénieur de données et développeur Python

Je suis ingénieur de données Python spécialisé dans les pipelines d’ingestion automatisés, les intégrations API et l’optimisation de PostgreSQL. J’aide les entreprises à éliminer les feuilles de calc...
À propos de ce service

Stoppez les heures perdues à exporter manuellement des CSV au quotidien depuis les ERP ou à réparer des tableaux de bord qui plantent lorsque les API atteignent leur limite de vitesse ou expirent.


Je vais créer un moteur d’ingestion de données Python robuste pour jusqu’à 3 points d’API REST, en fournissant des chargements incrémentiels propres et sans doublons directement dans PostgreSQL ou Parquet.


Ce qui est inclus dans chaque livrable :

- Pipeline d’ingestion Python avec gestion des limites de taux, auto-pagination et réessais exponentiels

- Chargements incrémentiels sans doublons vers PostgreSQL ou Parquet

- Tableau d’audit d’exécution (pipeline_runs_audit) pour suivre chaque exécution du pipeline

- Déploiement client/docker composé avec planification automatisée

- Manuel opérationnel étape par étape et documentation de configuration


Notre mode de travail :

1. Diagnostic technique rapide pour examiner vos endpoints API et votre schéma cible

2. Portée définie et calendrier de livraison clair

3. Déploiement Docker Compose testé avec des journaux d’audit en direct


Architecture éprouvée basée sur des modèles d’ingénierie de production (comex-data-engine-v2).


Envoyez-moi vos documentations API ou votre source ERP avant de commander afin que nous nous alignions sur vos endpoints et votre schéma.

Destination Platform:

Snowflake

•

Databricks Lakehouse

•

PostgreSQL

Outils et plateformes:

Autres

Mon portfolio

Autres services de Data engineering I Offre