[Résolu] Fichier Robot.txt

Bonsoir à toutes et à tous,

J'aimerais savoir si il est conseillé de "bloquer" les dossiers images d'un site internet et le dossier où sont stocker des fichiers que l'on peut télécharger. Est-ce que cela a un sens ou non ? Est-ce utile ou pas ?

Ce sont des éléments que je ne maitrise pas vraiment donc je viens vous poser la question.

Je sais très bien qu'on ne cache ou bloque rien mais je me demande si il y a un intérêt à le faire. Je viens de configurer mon fichier en ce sens mais bon, j'attends vos retours.

Merci.
Modifié par MagicCarpet (10 Feb 2015 - 22:35)

oui il faut le faire .votre site n est pas un serveur "ftp".

Tant qu'a faire, les fichiers de scripts, CSS et autres ?

Pour les css et js il me semble que cela n'a pas trop d'intérêt. Pour les images cela leur évitera peut-être de se retrouver indexées sur Google Images et équivalents.

Ok, vu que personne d'autres ajoutes de commentaires, je clos le sujet.

Merci pour vos réponses.

Enfin, que ceci n'empêche pas d'autres de répondre
Modifié par MagicCarpet (10 Feb 2015 - 22:35)

Si le site est dynamique, il y a de fortes chances pour que toutes les requêtes du site (donc tous les liens) soient traités via du php via un système MVC, en étant préalablement dirigé sur le même fichier via le .htaccess. Exemple d'une redirection de toutes les requêtes sur un fichier app.php :

# BEGIN URL Rewriting
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteRule (.*) app.php [L]
</IfModule>
# END URL Rewriting

Il suffit de rajouter des conditions sur l'Urlrewriting pour modifier ce comportement :

# BEGIN URL Rewriting
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f      # si la requête atteint un fichier le script s'arrête et le fichier est consultable
RewriteCond %{REQUEST_FILENAME} !-d      # si la requête atteint un dossier le script s'arrête et le dossier est consultable
RewriteRule (.*) app.php [L]
</IfModule>
# END URL Rewriting

En supprimant la ligne RewriteCond %{REQUEST_FILENAME} !-d, ou en la commentant avec un dièze (#), la requête ne s'arrêtera pas sur les dossiers. Si elle est laissée telle quelle le dossier sera consultable.

Pour un comportement plus fin RewriteRule (sur certains dossiers seulement) je vous laisse consulter les spécifications.
Modifié par Olivier C (18 Feb 2015 - 08:05)