Je vais créer une araignée Scrapy réutilisable pour récupérer les données dont vous avez besoin

Presque toutes les données de sites Web publics peuvent être collectées et utilisées si nécessaire, mais ce processus devient beaucoup plus difficile si les propriétaires de sites n'offrent pas une sorte d'API pour obtenir facilement des données propres.

Des problèmes comme celui-ci peuvent être résolus en utilisant le scraping Web , ce qui signifie que nous écrivons du code qui récupère les données, les nettoie et les prétraite et peut-être les envoie quelque part, ou les stocke simplement dans un fichier ou une base de données .

Au cours des dernières années, j'ai eu l'occasion de travailler avec de nombreux sites Web à des fins similaires, j'ai créé des dizaines d'araignées scrapy , j'en ai réparé certaines et même je les ai entièrement intégrées à des backends de sites Web existants populaires tels que Django ou Flask, avec la possibilité d'obtenir des données en temps quasi réel.

Si vous avez un problème/une tâche similaire à accomplir, pensez à me contacter, nous pourrons peut-être automatiser entièrement la partie web scraping et l' intégrer à vos systèmes back-end existants, ou écrire le nôtre, pour rendre votre travail plus facile , plus rapide et plus efficace .