Je vais construire un pipeline de données automatisé avec des scrapers python, ETL et base de données

Certaines informations ont été traduites automatiquement.
Shah Hussain

Pakistan

Je parle Pachto, Ourdou, Anglais

74 commandes terminées

Web scraping en Python, pipelines de données et automatisation avec l'IA

Développeur Python senior (plus de 6 ans) spécialisé dans la création de web scrapers, de pipelines de données et d'automatisations IA en production. • Extraire des données de n'importe quel site web...
Plus d’infos

Niveau 2

Répond à des critères de performance élevés et a fait ses preuves en matière de satisfaction clients.

À propos de ce service

Les scripts qui échouent chaque semaine coûtent plus qu’ils ne rapportent. Je crée des pipelines de données en production qui collectent, nettoient et livrent vos données selon un calendrier, et qui continuent de fonctionner.

Ce que je construis :

  • Scrapers programmés et collecteurs API pour n’importe quelle source
  • ETL : nettoyage, déduplication, validation et enrichissement par IA
  • Chargement dans PostgreSQL, MySQL, Google Sheets ou votre API
  • Surveillance et alertes pour vous avertir en cas d’échec
  • Déploiement sur votre serveur ou dans le cloud (AWS, GCP, DigitalOcean) avec Docker

Déjà éprouvé à grande échelle :

  • Un pipeline extrayant plus d’un million d’enregistrements immobiliers chaque semaine
  • Un système collectant les permis de construire de plus de 100 juridictions américaines et 13 types de portails
  • Un CRM immobilier avec des données en direct provenant de 5 sources dans plus de 30 comtés

Vous obtenez un code source propre et une documentation. Contactez-moi avec vos sources et votre destination, et je vous proposerai une architecture et un prix fixe.

Plus d’infos
build an automated data pipeline with python scrapers, etl and database
Plein écran
build an automated data pipeline with python scrapers, etl and database
Plein écran
Plein écran
build an automated data pipeline with python scrapers, etl and databasebuild an automated data pipeline with python scrapers, etl and databasebuild an automated data pipeline with python scrapers, etl and database

Destination Platform:

PostgreSQL

•

mySQL

•

Amazon S3

Outils et plateformes:

Autres

Mon portfolio

Balises associées