Je vais faire du web scraping et de l'extraction de données sur des sites riches en javascript
Ingénieur data Python : web scraping, pipelines ETL et enrichissement de données
Niveau 1
Répond à certains critères de performance et présente un fort potentiel sur la place de marché.
Ce que les gens ont aimé chez ce freelance
hardytryer

Serbie
Excellent experience once again! The quality of the work was great, the data matched our requirements, and communication was smooth throughout the project....
hardytryer

Serbie
Great work! The data was accurate, well organized, and exactly what we needed. Communication was clear throughout the project, and despite the challenges, they...
hadleylyas923

Royaume-Uni
Really great to work with, made the process easy and was quick to respond and make any changes. Would definitely work with again
À propos de ce service
La plupart des missions de web scraping qui me parviennent commencent de la même façon. Un outil prêt à l’emploi rencontre un obstacle, ou le dernier freelance a livré un fichier nécessitant encore un nettoyage manuel. Je crée des scrapers pour les sites qui résistent.
Ce que je gère
- Rendu JavaScript, défilement infini, pagination, connexions
- Limites de taux, blocages IP et protections anti-bot, en utilisant des proxies et des requêtes espacées
- Marketplaces, annuaires, portails immobiliers, sites d’emploi, registres publics
- Échelle : plus de 600 000 parcelles immobilières scrappées et structurées en un seul projet
Ce qui arrive dans votre boîte mail
- CSV, Excel, JSON ou directement dans votre base de données
- Dédupliqué et typé, selon un schéma de colonnes que nous convenons avant que je commence
- Une courte note sur la façon dont cela a été construit, pour pouvoir répéter le processus
- Un nombre de lignes, ainsi que tous les champs que la source ne contenait pas
Ce dont j’ai besoin de votre part
- Une page URL qui affiche déjà les données
- Les champs souhaités, dans l’ordre voulu
- Une estimation du nombre d’enregistrements, et si c’est une opération unique
Certaines sources sont une mauvaise idée et je préfère le dire plutôt que de prendre la commande. Envoyez-moi le lien et les champs. Je vous dirai si c’est faisable, combien cela coûte, et où se trouve le risque.
Technologie:
Python
•
sélénium
•
Beautiful Soup
•
Octoparse
•
Playwright
Technique:
Automatisé(e)
Mon portfolio
FAQ
Traduction automatique
Est-ce légal ?
Je scrape des pages publiques, celles que n'importe qui peut ouvrir sans compte. Je ne contourne pas les paywalls et je ne me connecte pas sauf si vous possédez le compte et que vous m'en donnez l'autorisation par écrit. Je lis la source et ses conditions avant de citer, et j'ai refusé des missions pour cette raison.
Que faire si le site bloque le scraper ?
C'est la majorité de mon travail. Proxies rotatifs, sessions de navigateur réelles avec Playwright, timing à la vitesse humaine, gestion des sessions et des cookies. Les protections lourdes prennent plus de temps plutôt que de fournir une réponse différente. Envoyez l'URL et je vous indiquerai le niveau nécessaire.
Dans quel format je reçois les données ?
CSV par défaut, car cela s'ouvre partout. Excel, JSON, une Google Sheet ou une écriture directe dans PostgreSQL, MySQL ou BigQuery sur demande. Les noms de colonnes et les types de données sont convenus avant que je commence, pour que vous ne deviez pas renommer les en-têtes après la livraison.
Pouvez-vous scraper Amazon, Shopify ou d'autres boutiques en ligne ?
Oui. Titre, prix, réduction, SKU, variantes, stock, vendeur, évaluations et texte des avis. J'ai extrait des millions d'annonces de marketplaces comme TikTok Shop, Kaufland, bol.com, La Redoute et B&Q. Les catalogues de magasins sont facturés par nombre de produits, pas par magasin.
Cela peut-il fonctionner selon un calendrier plutôt qu'une seule fois ?
Oui, mais une construction récurrente appartient à mon service de scraper plutôt qu'à celui-ci. Ce service vous fournit un ensemble de données. Si vous souhaitez une extraction quotidienne ou hebdomadaire automatique, contactez-moi et je vous enverrai le bon lien.
Que se passe-t-il lorsque le site change et que cela casse ?
Pour une extraction unique, cela n’a pas d’importance, vous avez déjà le fichier. Pour tout ce qui est récurrent, j’écris des sélecteurs qui résistent à un changement de mise en page, et j’ajoute une vérification qui vous alerte lorsqu’un champ commence à revenir vide. Une panne silencieuse est la défaillance contre laquelle il faut prévoir.
Combien d’enregistrements pouvez-vous gérer ?
Facilement six chiffres. Le seul service concernait plus de 600 000 parcelles de propriété issues d’un système d’enregistrement du comté : scrappées, structurées, puis filtrées pour ne garder que ce dont le client avait besoin. Au-delà d’environ 50 000 enregistrements, je propose un devis personnalisé.
Combien de temps cela prend-il?
Deux jours pour une source simple de taille Basic. Cinq jours lorsqu’il y a pagination et nettoyage sur plusieurs milliers d’enregistrements. Sept jours pour un site avec beaucoup de JavaScript ou protégé en volume. Je vous donne la date avant de commander et je ne fais pas de devis optimiste.
Est-ce que je reçois le code ou seulement les données ?
Ce service fournit les données, ainsi qu’une note sur la façon dont elles ont été collectées pour pouvoir répéter l’extraction. Si vous souhaitez le scraper lui-même, avec le code source que vous possédez et que vous pouvez relancer, c’est le service de build. Dites-le-moi avant de commander et je vous orienterai.
Pouvez-vous trouver les coordonnées des entreprises dans la liste ?
Oui, en option. Email professionnel, téléphone, site web et noms des décideurs, là où ils sont publiquement disponibles. La couverture varie beaucoup selon le secteur, et je vous dirai ce qui est réaliste avant de commander plutôt qu’après. Indiquez quels champs sont importants et je vous en ferai le prix.
19 avis concernant ce service
| (16) | ||
| (1) | ||
| (0) | ||
| (0) | ||
| (2) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
H hardytryer

Serbie
Excellent experience once again! The quality of the work was great, the data matched our requirements, and communication was smooth throughout the project. Thank you for your professionalism and dedication. Looking forward to working together again in the future.
50 $US-100 $US
Prix
3 jours
Durée
Utile?H hardytryer

Serbie
Great work! The data was accurate, well organized, and exactly what we needed. Communication was clear throughout the project, and despite the challenges, they stayed committed and delivered. I would definitely recommend working with them again.
100 $US-200 $US
Prix
2 semaines
Durée
Utile?H hadleylyas923

Royaume-Uni
Really great to work with, made the process easy and was quick to respond and make any changes. Would definitely work with again
50 $US-100 $US
Prix
7 jours
Durée
Utile?C 
craigjburton44

États-Unis
Commande annulée
I feel the communication was good at first and a bit throughout but I was more than patient and waiting days on end for delivery. I applaud that he was trying to help think of a better way to do what I needed but he kept telling me it would be delivered "today" and nothing was ever delivered. I still...
50 $US
Prix
5 semaines
Durée
Utile?H hugomendonca92

Portugal
great work. thanks
50 $US-100 $US
Prix
2 semaines
Durée
Utile?
19 avis concernant ce service
| (16) | ||
| (1) | ||
| (0) | ||
| (0) | ||
| (2) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
H hardytryer

Serbie
Excellent experience once again! The quality of the work was great, the data matched our requirements, and communication was smooth throughout the project. Thank you for your professionalism and dedication. Looking forward to working together again in the future.
50 $US-100 $US
Prix
3 jours
Durée
Utile?H hardytryer

Serbie
Great work! The data was accurate, well organized, and exactly what we needed. Communication was clear throughout the project, and despite the challenges, they stayed committed and delivered. I would definitely recommend working with them again.
100 $US-200 $US
Prix
2 semaines
Durée
Utile?H hadleylyas923

Royaume-Uni
Really great to work with, made the process easy and was quick to respond and make any changes. Would definitely work with again
50 $US-100 $US
Prix
7 jours
Durée
Utile?C 
craigjburton44

États-Unis
Commande annulée
I feel the communication was good at first and a bit throughout but I was more than patient and waiting days on end for delivery. I applaud that he was trying to help think of a better way to do what I needed but he kept telling me it would be delivered "today" and nothing was ever delivered. I still...
50 $US
Prix
5 semaines
Durée
Utile?H hugomendonca92

Portugal
great work. thanks
50 $US-100 $US
Prix
2 semaines
Durée
Utile?

