Je construirai un scraper Python qui gère les connexions, la pagination et les anti-bot

R
roweni
R
roweni
Liqiu L
Certaines informations ont été traduites automatiquement.

À propos de ce service

Traduction automatique

Je crée des scrapers qui continuent de fonctionner après la première semaine.


Quiconque peut écrire une boucle requests qui fonctionne une fois. Ce qui prend du temps, c’est tout ce qui suit : le site change son balisage, la connexion expire, une requête revient en 200 avec un captcha dans le corps, la pagination s’arrête sans bruit à la page 40.

Ce que je fais face à cela :

- Valider la réponse, pas seulement le code de statut. Un 200 avec une liste vide est un échec, pas un succès.
- Enregistrer les réponses brutes avant l’analyse, afin que lorsque quelque chose semble incorrect, vous puissiez retester sans relancer le scraping.
- Ralentir et réessayer sur les échecs qui le méritent, et échouer clairement sur ceux qui ne le méritent pas.
- Erreurs structurées, pour savoir si c’est une rupture ou si le site est en panne.

J’ai déjà exécuté un scraping de 100 produits en environ 10 secondes à partir d’une seule page, et j’ai écrit des processeurs par lots capable de gérer une douzaine de fichiers à la fois sans perdre les originaux.

Envoyez-moi l’URL et les champs dont vous avez besoin. Si le site est protégé par authentification, dites-le-moi et nous organiserons l’accès avant de faire un devis.

Découvrez Liqiu L

Liqiu L

Turn Your Idea into a Real Device! Design and Manufacture Fast!

5,0(2)
  • DeChine
  • Membre depuissept. 2025
  • Dernière commande8 mois
  • Langues

    Chinois, Anglais
I’m a Full-Stack Embedded Engineer with in-house PCB & 3D enclosure manufacturing. I can design, prototype, and produce your hardware project from idea to small-batch production. What I Do: MCU-based hardware (STM32, ESP32, Arduino) & PCB layout Firmware (bare-metal, RTOS, BLE/Wi-Fi, sensors, actuators) 3D enclosure design, prototyping, and manufacturing In-house PCB fabrication, assembly, and fully assembled prototypes DFM/DFA optimization, BOM cost-down, production support Get design + assembly + production all in one place. Let’s build your product!

Traduction automatique

Mon portfolio

Autres services de Développement de logiciels I Offre