Je construirai des pipelines web scraping, ETL et API avec validation

Certaines informations ont été traduites automatiquement.

États-Unis

Je parle Anglais, Allemand

Full Stack, Backend et Data Engineer

Je conçois des applications web full-stack, des backends SaaS et des systèmes de données avec Python/FastAPI, TypeScript/Node.js, React et PostgreSQL/Supabase. Mon travail comprend l’authentification,...
À propos de ce service

Transformez des données dispersées issues de sites web et d’API en un pipeline répétable que votre équipe peut utiliser.


Je développe des collecteurs Python et des flux ETL qui extraient, normalisent et valident les données pour le reporting, la recherche et les opérations commerciales. Les projets clients livrés incluent la collecte de données de places de marché et la validation de données basée sur des API.


Chaque package comprend du code source réutilisable, un export CSV ou JSON d’exemple, des vérifications de validation convenues et des notes de mise en place/de transmission. Les options Standard ajoutent une normalisation et une déduplication inter-sources. Premium ajoute la planification, les retentissants, les journaux d’exécution et une destination unique de base de données ou d’API.


Les packages couvrent des sources et champs définis ainsi qu’un premier lot de validation. Une source désigne une mise en page de site web ou un flux API unique ; les limites de champs s’appliquent au schéma de sortie combiné. Je passe en revue un échantillon avant de convenir du périmètre et des critères d’acceptation.


Envoyez la source, la sortie souhaitée et la fréquence de mise à jour avant de commander. Des collectes plus importantes, des sources supplémentaires, des exigences d’accès complexes et une maintenance continue peuvent faire l’objet d’un devis sur mesure. L’hébergement et les frais de tiers sont séparés.

Destination Platform:

PostgreSQL

•

Autres

Outils et plateformes:

Autres

Mon portfolio