Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais créer des scrapers en continu 24h/24 et 7j/7
Expert en Data Engineering et Business Intelligence
Après 3 ans en data engineering, j'ai compris que la vraie valeur ne réside pas dans l'écriture de code — c'est dans la transformation de données désordonnées en réponses pour l'entreprise. La plupart...
À propos de ce service
Ce n’est pas le service de web scraping habituel.
La plupart des gigs de scraping fournissent un jeu de données ponctuel, puis s’arrêtent là.
Mais, je construis des plateformes de données de niveau production qui collectent, traitent et analysent en continu les données du web.
Une histoire client
Mr. Enta, un journaliste à la retraite, voulait acheter une voiture d’occasion mais ne savait pas comment évaluer le marché. Au lieu de scraper les annonces une seule fois, nous avons créé une plateforme qui surveille le plus grand marché de voitures d’occasion du continent avec 500 000+ annonces en direct.
Le système fonctionnait 24/7 sur un serveur, collectant les prix historiques, les couleurs, les modèles et les tendances du marché. À la fin, il ne regardait pas simplement des données brutes. Il disposait d’une vue complète du comportement du marché.
Pour rendre les données utiles, j’ai également construit :
- Un chatbot NLP pour interroger les données en anglais simple.
- Un tableau de bord Superset pour l’analyse interactive et la visualisation des tendances.
C’est de l’ingénierie des données, pas seulement du web scraping.
Stack technologique : Python, Playwright, Selenium, BeautifulSoup, Requests, Pandas, PostgreSQL, MongoDB, Redis, Kafka, Airflow, Spark, dbt, Docker, ClickHouse, Superset, AWS.
Si vous avez besoin d’un CSV, beaucoup de gigs peuvent le faire.
Si vous cherchez une plateforme de données qui génère en continu de l’intelligence commerciale, discutons de votre projet.
Mon portfolio
FAQ
Traduction automatique
Pouvez-vous créer un scraper qui fonctionne automatiquement tous les jours ?
Oui. La plupart de mes projets sont des systèmes à long terme, pas des scripts ponctuels. Je peux déployer votre scraper sur un serveur ou une instance cloud avec surveillance, planification, retries, journalisation et alertes.
Les données scrappées peuvent-elles être envoyées directement à ma base de données ou tableau de bord ?
Absolument. Je peux intégrer le pipeline avec PostgreSQL, MongoDB, ClickHouse, entrepôts de données, dashboards BI, APIs ou votre application existante au lieu d'exporter simplement des fichiers CSV ou Excel.
Vais-je posséder le code source et la configuration de déploiement ?
Oui. Sauf accord contraire, vous recevrez le code source complet, les instructions de déploiement et la documentation pour que la plateforme vous appartienne entièrement.
Est-ce adapté à la collecte de données à grande échelle ?
Oui. Je me spécialise dans les systèmes de scraping évolutifs conçus pour la collecte de données à volume élevé, longue durée, avec planification, traitement parallèle, déduplication et tolérance aux fautes, pas seulement des jobs de scraping ponctuels.
