Il y a deux façons d’empêcher nos crawlers d’accéder à certaines sections de votre site: avec le fichier robots.txt du site et avec la Liste des URL Exclues de ContentKing.

IMPORTANT: lorsque vous utilisez les méthodes ci-dessus pour exclure certaines parties de votre site de la surveillance, toutes les données existantes collectées par ContentKing liées aux URL concernées seront supprimées. Même si vous pouvez toujours réinsérer ces URL dans la surveillance, les anciennes données ne seront pas rétablies.

Utiliser la Liste des URL Exclues

La méthode la plus simple est de paramétrer la Liste des URL Exclues. Dans l’application, rendez-vous dans les paramètres du site via Comptes -> Sites. En bas de l’écran, cliquez sur “Gérer la Liste des URL Exclues.” Sur le premier écran est affiché une brève explication de la Liste des URL Exclues.

Si le site possède un fichier robots.txt, ContentKing affichera les directives trouvées ici à l’écran suivant, la deuxième étape. Utilisez cette étape pour choisir quelles directives importer (s’il y en a):

ContentKing URL pattern

Si vous le voulez, utilisez l’écran suivant pour pour ajouter votre propre liste d’URL à exclure de la surveillance. La Liste des URL Exclues suit le format robots.txt. Si vous avez importé des directives robots.txt, elles seront également affichées ici.

Une fois que tout est paramétré, cliquez sur “Appliquer les changements” et les URL seront exclues en quelques minutes.

En utilisant le fichier robots.txt

La seconde méthode pour empêcher ContenKing de surveiller certaines parties de votre site, c’est avec le fichier robots.txt. Cela dit, étant donné que l’une des activités de ContentKing est de repérer les fichiers robots.txt mal configurés, nous ignorons les caractères génériques dans les chaînes user-agent. Pour cibler nos crawlers, utilisez plutôt la chaîne user-agent KingKevinBot.

User-agent: KingKevinBot
Disallow: /admin

Nos crawlers supportent pleinement le format robots.txt.

Commencer votre essai gratuit de 14 jours

Vous pouvez commencer en 20 secondes

Insérez un nom de domaine valide, s'il vous plaît (www.exemple.fr).
  • La carte de crédit n'est pas requise
  • Aucune installation requise
  • Sans engagement