Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais construire un scraper web Python pour les sites lourds en JavaScript et protégés
Développeur Web Full Stack
Je crée des chatbots IA, des automatisations et des sites web qui génèrent des prospects et permettent d’économiser des heures de travail manuel.
Chatbots IA : assistants pour site web qui répondent à...
À propos de ce service
Tout le monde peut écrire un script qui fonctionne une fois sur son ordinateur portable. Vous êtes ici parce que le site a riposté.
Je prends en charge les scrapes qui échouent : contenu qui n'existe qu'après l'exécution de JavaScript, pages derrière un défi, points d'accès qui commencent à renvoyer un 403 en cours d'exécution.
CE QUE JE GÈRE
Sites rendus par JavaScript via un vrai navigateur headless lorsque le HTML seul ne contient rien.
Sites qui bloquent les scripts naïfs : délais appropriés, en-têtes rotatifs, support proxy intégré dès le départ.
Pagination, filtres, arbres de catégories et pages de détails pour les champs qui ne vivent qu'ici.
Sortie dans le format que vous utilisez : CSV, Excel, Google Sheets, JSON, PostgreSQL ou votre API.
SCRAPERS QUI SURVIVENT EN PRODUCTION
Les échecs intéressants surviennent plus tard : la mémoire augmente jusqu'à ce que le processus soit tué, les navigateurs headless s'accumulent en zombies, un site ajoute un défi et votre vérification retourne un 200 heureux sur une page morte. Je construis contre eux : nouvelles tentatives avec backoff, redémarrage en cas de crash, rotation des logs, alertes Telegram, et vérifications qui confirment le contenu et non les codes de statut.
Je ne touche pas aux logins que vous ne possédez pas ou au contenu payant.
Technologie:
Python
•
Marionnettiste
•
scrapy
•
sélénium
•
Beautiful Soup
Technique:
Automatisé(e)
Mon portfolio
FAQ
Traduction automatique
Le site bloque les bots. Pouvez-vous quand même le faire ?
Souvent oui, avec des délais appropriés, des en-têtes rotatifs, un vrai navigateur si nécessaire et un support proxy intégré. Mais je vérifie la cible avant votre commande et je vous dis si ce n'est pas réaliste. Je ne prendrai pas l'argent et ne découvrirai pas ensuite que ce n'est pas faisable.
Cela continuera-t-il à fonctionner si le site change ?
Les scrapers échouent lorsque la structure du site change ; c'est vrai pour tous les scrapers jamais écrits. Je garde les sélecteurs en un seul endroit pour une réparation rapide, et avec Premium, vous recevez une alerte lorsqu'une exécution ne retourne rien au lieu de collecter silencieusement des lignes vides.
Le scraping est-il légal ?
Les données publiques collectées à un rythme raisonnable le sont généralement, mais cela dépend des termes du site et de votre juridiction, et je suis développeur, pas avocat. Je ne scraperai pas derrière des logins qui ne vous appartiennent pas ou ne récolterai pas de données personnelles contre les termes d'un site.
