Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais créer un web scraper et un pipeline de données
Développeur backend Golang
Développeur Golang avec plus de 3 ans d'expérience dans la création de systèmes backend robustes et évolutifs — microservices, APIs et applications en temps réel.
Compétences clés :
• Golang (Gin, Ec...
À propos de ce service
Je crée des pipelines de données fiables en Go : scraping de sites web ou surveillance d’API, nettoyage et structuration des données, puis envoi vers une base de données, un bot Telegram ou une plateforme tierce via son API. J’ai développé des systèmes qui surveillent en continu les annonces de fret/logistique, suivent les analyses de chaînes YouTube, et publient les données extraites sur des plateformes externes via des clients API personnalisés.
Ce que je peux réaliser pour vous :
- Scrapers web (basés sur HTTP ou automatisation de navigateur pour sites riches en JS/protégés)
- Filtrage des doublons et normalisation des données
- Surveillance programmée ou continue avec intervalles configurables
- Bibliothèques clients API personnalisées pour plateformes tierces (authentification, requêtes, gestion des erreurs)
- Stockage dans PostgreSQL/MySQL avec suivi historique et filtres
- Timing semblable à celui des humains / logique anti-détection pour sites sensibles au trafic de bots
- Livraison des résultats via Telegram, webhook ou publication directe sur la plateforme
Pile technologique : Golang, automatisation HTTP/navigateur, PostgreSQL/MySQL, intégration API REST, Docker.
Indiquez-moi le site/API source et la sortie cible, et je définirai la méthode précise.
Technologie:
sélénium
•
Beautiful Soup
•
Playwright
•
Pandas
•
Golang
Technique:
Automatisé(e)
Mon portfolio
FAQ
Traduction automatique
Pouvez-vous extraire des sites nécessitant une connexion ou ayant une protection anti-bot ?
Oui, selon le site. J’utilise l’automatisation de navigateur avec un timing semblable à celui des humains pour les sites riches en JS ou protégés. Envoyez-moi l’URL cible et je confirmerai la bonne approche avant votre commande.
Comment gérez-vous les sites qui changent leur mise en page au fil du temps ?
Les scrapers sont conçus pour être aussi résilients que possible, mais les changements de mise en page peuvent finir par casser n’importe quel scraper. Je recommande un essai court après livraison, et un entretien continu peut être organisé séparément si nécessaire.
Les données extraites peuvent-elles être directement intégrées dans mon propre système/base de données ?
Oui — Les packages Standard et Premium incluent l’intégration de stockage (PostgreSQL/MySQL) et, dans le cas du package Premium, un client API personnalisé pour publier directement les données sur une plateforme tierce.
Est-ce légal / mon compte sera-t-il banni pour l’utiliser ?
Je mets en place des protections comme des délais aléatoires et des comportements semblables à ceux des humains pour minimiser le risque de détection, mais la légalité du scraping et la conformité aux conditions d’utilisation de la plateforme dépendent du site cible — cette responsabilité revient à l’acheteur.
À quelle fréquence le scraper peut-il fonctionner — une seule fois ou en continu ?
Les deux options sont possibles. La formule de base couvre une exécution unique ; les formules Standard et Premium incluent une surveillance continue ou programmée avec des intervalles configurables jusqu’à la limite des pages ou sources dans votre package.
