Je vais créer un scraper web fiable avec playwright et nodejs ou typescript

La plupart des scrapers fonctionnent le premier jour puis s’arrêtent dès que la mise en page du site change. Je construis ceux qui continuent à fonctionner.

Je travaille avec Playwright et Node ou TypeScript, donc les connexions, le défilement infini, les popups et toutes les bizarreries javascript sont gérés. Les données sortent propres en JSON, CSV, Google Sheets ou directement dans une base de données. Pour les tâches récurrentes, j’ajoute la planification, les retries et la détection de changements, pour que vous sachiez ce qui est nouveau, ce qui a changé et ce qui a disparu depuis la dernière exécution, au lieu de recevoir un dump brut à chaque fois et de devoir comparer manuellement.

Je fais tourner ce type de pipeline pour mes propres projets en production, ce n’est pas quelque chose que je découvre à vos dépens.

Une chose avant de m’envoyer un message. Je ne scrape que des données accessibles publiquement et je maintiens un taux de requêtes poli. Pas de contournement de paywall, pas de scraping derrière un login d’autrui.

Dites-moi le site, les champs dont vous avez besoin et la fréquence, et je vous dirai rapidement si c’est faisable et à quel prix.