Je vais développer un scraper web

La question Pourquoi aurais-je besoin d’un scraper web ? est une question dont la réponse complète est une question : Souhaitez-vous obtenir des données d’un autre site pour vos opérations ?

Passons aux détails plus fins qui sont rarement évoqués. Je développerai un scraper web en NODEJS ou PHP en fonction des fonctionnalités/exigences du site à scraper.

NodeJS est considéré pour les sites dont le contenu est généré avec javascript. Dans ce cas :

• La bibliothèque puppeteer sera utilisée, elle est développée par Chrome, donc très fiable.
• Les sites nécessitant une connexion et des pressions de touches peuvent être scrappés

NOTE VPS REQUIS POUR NODE

PHP est la première option pour tout projet de scraping mais sert aussi de solution de secours si le node js échoue. Pour cela :

• Une gamme de bibliothèques disponibles
• Les sites avec contenu généré par le backend sont principalement considérés

AVANTAGES :

1. Installation sur mon serveur avant la commande.
2. Je resterai en communication constante.
3. Les données seront retournées sous forme d’une API JSON ou d’une interface graphique.
4. Si une API est mise en place, l’accès sera restreint

Contactez-moi avant de passer commande. J’ai hâte de commencer.