Je vais faire du grattage de sites Web et de l'exploration de sites Web en utilisant python selenium scrapy

Cela dépend uniquement du site Web, car chaque site Web a une structure différente. Ne vous inquiétez pas, je peux le faire sur n'importe quel site Web. Pour la plupart des sites Web, un ou deux jours suffisent. Veuillez me contacter pour que les choses soient claires et transparentes.

Oui, le web scraping peut potentiellement être détecté par le site Web que vous grattez. Les sites Web peuvent utiliser diverses méthodes pour détecter et bloquer les web scrapers, notamment : CAPTCHA, détection d'agent utilisateur, blocage IP, défis JavaScript, pots de miel. Nous sommes experts pour contourner toutes ces méthodes.

En fonction des besoins, j'utilise le langage de programmation Python. J'utilise également Selenium/Scrapy/bs4 pour des besoins spécifiques et complexes. Je peux faire la même chose avec la technologie AWS serverless qui ne nécessite aucun hébergement ni ordinateur pour exécuter les scripts.

L'extraction des données qui se cachent derrière une connexion nécessite quelques étapes supplémentaires par rapport à l'extraction d'un site Web public. Si vous disposez d'un accès à la connexion et que vous êtes prêt à le partager avec nous, nous pouvons vous fournir les données dont vous avez besoin aussi facilement que Silk.

N'importe quel site Web. Je peux supprimer n'importe quel site Web qui contient des informations accessibles au public. Je peux également supprimer des sites Web qui nécessitent une connexion (je le ferai par script) - aucune saisie manuelle n'est requise. Je peux même télécharger des fichiers à partir de sites Web. Veuillez me contacter pour clarifier les exigences.