diabless6 a écrit :
Donc les robots connaissent "robots" et l'interprète.
Ils le reconnaissent et ils l'interprètent
si ils veulent. Il n'y a pas de loi ou de réglementation. La balise META Robots et le fichier robots.txt sont plus ou moins bien définis, et sont respectés par les principaux moteurs de recherche, mais ça n'oblige personne à rien.
diabless6 a écrit :
Moi, je pensais qu'il fallait "GoogleBot,MsnBot,YahooBot..." pour un bot en particulier.
Il me semble que si tu veux viser un robot d'indexation donné, tu peux utiliser:
<meta name="GoogleBot" content="...">
Mais il faut vérifier dans la documentation de chaque moteur de recherche ou outil d'indexation concerné s'il utilise ce mécanisme, et si oui avec quel identifiant (valeur de l'attribut
name).
diabless6 a écrit :
Par contre dans le article de Florent.V, il manque le fichier HTACCESS. qui contient des commandes pour bloquer les bots je crois.
D'une part, ça ne manque pas dans cet article car l'article ne parle pas de configuration serveur, uniquement des balises META en HTML. Ensuite, les fichiers .htaccess sont un mécanisme de configuration du serveur web Apache. Il s'agit donc de configuration serveur, plutôt que spécifiquement de «blocage par un fichier .htaccess». Il y a d'autres mécanismes disponibles pour modifier la configuration d'un serveur. Enfin, si on parle de blocage des robots d'indexation par le serveur, il s'agit à priori d'une restriction d'accès sur la base de l'en-tête HTTP User-Agent. À priori, tous les robots d'indexation des principaux moteurs de recherche s'identifient clairement («salut, je suis MachinBot»). Tu peux sans doute configurer le serveur web, pour tous les sites ou pour un site ou un répertoire donné, pour renvoyer une réponse HTTP 403 (accès non autorisé) à un ensemble de User-Agent. Je ne l'ai jamais fait pour ma part, mais ça doit être possible.
Edit: et si tu parlais des fichiers robots.txt, je n'en parle pas dans cet article sur les balises META en HTML... parce que ce n'est pas du HTML, et encore moins des balises META.
Modifié par Florent V. (26 Oct 2009 - 21:41)
