Je supprimerai tout site Web que vous fournissez et effectuerai le traitement des données Excel

Je suis ingénieur logiciel de profession, avec plus de 8 ans d'expérience dans le développement d'applications web et plus de 4 ans à écrire des crawlers pour l'extraction de sites web. J'ai réalisé tous les scrappers (crawlers) en PHP. J'ai utilisé HTML DOM simple, PHP Dom Document, parsers DOM, xpath, etc. pour analyser et récupérer les données HTML. Le traitement des données comprenait des sorties sous forme de json, xml, feuilles Excel. J'ai également utilisé des bibliothèques PHP comme curl avec headers et paramètres pour obtenir le contenu des pages. J'applique des techniques d'optimisation pour réduire les appels aux sites tiers afin d'améliorer la rapidité de la fonctionnalité.

La création de scrappers dépend de la structure des sites à crawler. La structure varie d'un site à l'autre. Je vais examiner la structure du site.

Pour maximiser la récupération des données, j'appliquerai xpath, expressions régulières et techniques DOM pour obtenir des données précises et en quantité maximale. Le script PHP sera exécuté automatiquement via le site web. Ce script sera optimal en termes de temps et de débit.