Je vais créer un web scraper pour les sites protégés par cloudflare et les bots

Certaines informations ont été traduites automatiquement.

Bangladesh

Je parle Bengali, Anglais, Hindi

Ingénieur backend IA et LLM, chatbots RAG, web scraping, déploiement IA

Ingénieur backend IA/LLM. Je construis des systèmes IA qui fonctionnent en production, pas seulement dans un notebook. Je suis un ingénieur fondateur d’une startup IA où j’ai créé le backend de zéro ...
À propos de ce service

Votre scraper a cessé de fonctionner le jour où le site a activé Cloudflare ou DataDome. Je récupère quand même les données.


La plupart des vendeurs échouent dès qu'une cible ajoute une vraie protection anti-bot. C’est le travail dans lequel je me spécialise. J’ai écrit un agent navigateur open-source basé sur l’IA (153 étoiles sur GitHub) conçu pour extraire des données de pages protégées par Cloudflare, DataDome, Akamai et PerimeterX, et je gère un pipeline de scraping en production qui collecte plus de 3 900 sources chaque jour sans être bloqué.


Ce que vous obtenez :

- Des données structurées propres en CSV, JSON, Excel ou directement dans votre base de données

- Un code documenté, facile à maintenir, qui résiste aux changements de layout

- Rotation de proxy, retries et gestion des erreurs pour que les runs ne échouent pas silencieusement

- Option de planification pour qu’il s’exécute automatiquement sur votre serveur


Ce que je ne fais pas : rien contre les conditions d’utilisation d’un site. Je vous dirai honnêtement si une cible est interdite.


Comment ça fonctionne : envoyez-moi les URLs et les champs dont vous avez besoin, je confirme la faisabilité, je le construis, puis je vous livre les données accompagnées d’une courte vidéo explicative.


Envoyez-moi le site et je vous dirai immédiatement si c’est faisable.

Technologie:

Python

•

Racleur de données instantané

•

NodeJS

Type d'information:

Listes

•

Immobilier

•

Réseaux sociaux

•

Sites Web

Technique:

Automatisé(e)

Mon portfolio