Je crée des scrapers qui continuent de fonctionner après la première semaine.
Quiconque peut écrire une boucle requests qui fonctionne une fois. Ce qui prend du temps, c’est tout ce qui suit : le site change son balisage, la connexion expire, une requête revient en 200 avec un captcha dans le corps, la pagination s’arrête sans bruit à la page 40.
Ce que je fais face à cela :
- Valider la réponse, pas seulement le code de statut. Un 200 avec une liste vide est un échec, pas un succès.
- Enregistrer les réponses brutes avant l’analyse, afin que lorsque quelque chose semble incorrect, vous puissiez retester sans relancer le scraping.
- Ralentir et réessayer sur les échecs qui le méritent, et échouer clairement sur ceux qui ne le méritent pas.
- Erreurs structurées, pour savoir si c’est une rupture ou si le site est en panne.
J’ai déjà exécuté un scraping de 100 produits en environ 10 secondes à partir d’une seule page, et j’ai écrit des processeurs par lots capable de gérer une douzaine de fichiers à la fois sans perdre les originaux.
Envoyez-moi l’URL et les champs dont vous avez besoin. Si le site est protégé par authentification, dites-le-moi et nous organiserons l’accès avant de faire un devis.