Je bloquerai les bots AI et les scrapers de votre site web avec le fichier robots


À propos de ce service
Traduction automatique
Je vais mettre à jour votre fichier robots.txt pour bloquer les 50+ principaux scrapers et crawlers AI (y compris OpenAI, Anthropic et Common Crawl). Parfait pour les petits blogs ou portfolios recherchant une confidentialité immédiate.
Respectez les droits des tiers
Veuillez noter qu’il est contraire aux politiques de Fiverr pour les freelances d’inclure des thèmes, des modèles ou tout autre élément d'autrui qui enfreint les droits de tiers ou les lois applicables pour les livrables. En savoir plus en lisant notre Guide pour une création numérique responsable.
Découvrez Pavel V
Founder WebflowForge Driving Growth with Web Development and AI Automations
- DeIsraël
- Membre depuisjuil. 2024
Langues
Russe, Hébreu, Anglais
Traduction automatique
Mon portfolio
FAQ
Traduction automatique
Bloquer les bots AI nuira-t-il à mon classement dans Google Search ?
Non. Le SEO standard (Google, Bing) et le blocage des bots AI sont deux choses différentes. Nous utilisons des commandes spécifiques "User-Agent" qui indiquent aux crawlers AI (comme GPTBot ou CCBot) de rester à l’écart, tout en permettant à l’index principal de Google de crawler votre site normalement. Votre trafic humain ne sera pas affecté.
Quelle est la différence entre robots.txt et llms.txt ?
Considérez robots.txt comme le panneau "Interdiction d’entrer" — il indique aux bots AI qu’ils ne sont pas autorisés à scraper vos données pour l’entraînement. Considérez llms.txt comme une "Table des matières" — il fournit une version claire, compatible markdown, des informations de votre site pour les moteurs de recherche AI (comme Perplexity ou ChatGPT Search) afin qu’ils puissent s’y référer.
Dois-je vous donner les identifiants de connexion de mon site web ?
Cela dépend de votre niveau de confort. Je peux soit me connecter à votre panneau WordPress/Shopify/Hébergement et le faire pour vous (plus rapide), soit vous fournir les fichiers personnalisés et une vidéo étape par étape pour que vous puissiez les uploader vous-même.
Pouvez-vous bloquer certains bots AI mais laisser passer d’autres ?
Absolument. Si vous souhaitez bloquer OpenAI pour qu’il n’entraîne pas sur votre contenu mais permettre à Perplexity d’afficher votre site dans ses résultats de recherche, je peux personnaliser le code selon ces préférences.
Est-ce une solution unique ou dois-je la mettre à jour ?
C’est une configuration permanente. Cependant, de nouveaux bots AI sont lancés chaque mois. Le fichier que je fournis inclut la liste la plus complète des scrapers de 2026. Je recommande une "vérification de santé" rapide tous les 6 mois pour s’assurer qu’aucun nouveau bot agressif n’est apparu.
