Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais collecter des données de n'importe quelle API ou site web dans une base de données propre
Pipeline de données Python, web scraping et automatisation Excel
Je crée des scripts Python qui collectent des données et éliminent le travail manuel : collecteurs API et web qui tournent en continu (retries, reprise après crash, vérifications quotidiennes d'intégr...
À propos de ce service
J'écris du Python qui récupère vos données et continue de le faire — d'une API REST, d'un point de terminaison public ou d'une page sans API.
Ce que vous obtenez :
- Un script que vous possédez et que vous pouvez exécuter vous-même, pas une boîte noire sur ma machine
- - La sortie où vous en avez besoin : CSV, Excel, SQLite ou votre propre base de données
- - Des tentatives, la reprise après un crash, et une vérification quotidienne de l'intégrité qui vous indique quand une source est devenue silencieuse
- - Une courte note sur ce que couvre les données et où elles sont peu fiables, ce que la plupart des vendeurs omettent
J'ai fait fonctionner des collecteurs 24/7 contre des API d'échange pour quatre sports et contre des points de terminaison d'échange crypto, et traité des ensembles de données de millions d'enregistrements. Mon code et mes rapports sont publics sur GitHub.
Avant d'écrire quoi que ce soit, je confirme le périmètre par écrit : sources, champs, format, calendrier. Si un site bloque l'accès automatisé ou si les données sont derrière une connexion, je vous le dis avant que vous payiez, pas après.
Technologie:
Python
•
Excel
•
Pandas
Technique:
Automatisé(e)
FAQ
Traduction automatique
Le script continuera-t-il de fonctionner si le site change ?
Je corrige les petits changements de mise en page dans la fenêtre de révision. Pour une stabilité à long terme, je recommande une source API existante, et je vous dis avant de commencer si un site semble fragile.
Collectez-vous des données sur des sites qui ne le permettent pas ?
Non. Je vérifie d'abord les conditions d'utilisation et le fichier robots.txt et je vous informe si une source est interdite. Je préfère perdre la commande plutôt que de vous fournir un script qui bloque votre compte.
Est-ce que j'obtiens le code source ?
Oui, dans chaque service. Vous obtenez un script Python exécutable et une courte note de configuration, pour que vous puissiez l'exécuter vous-même, le modifier ou le transmettre à votre propre développeur plus tard.
