J'essaye de mettre en place un fichier robots.txt pour mon site en version mobile et mon site classique.
Voici ma structure avec ses dossiers :
www.monsite.com
>html
>mobile
sitemap.xml
index.html
robots.txt
sitemap.xml
Voici le contenu robots.txt que je vais propose merci de me donner vos avis
---pour interdire googlebot et les autres robots au dossier mobile
Merci de vos conseils
PS : si je fais le fichier robots.txt est il nécessaire de mettre dans les pages mobiles
Voici ma structure avec ses dossiers :
www.monsite.com
>html
>mobile
sitemap.xml
index.html
robots.txt
sitemap.xml
Voici le contenu robots.txt que je vais propose merci de me donner vos avis
---pour interdire googlebot et les autres robots au dossier mobile
User-agent: Googlebot
Disallow: /mobile/
User-agent: *
Disallow: /mobile/
---pour interdire mon dossier html (page classique et l'index) à googlebot-mobile IDEE 1 avec disallow
User-agent: Googlebot-Mobile
Disallow: /html/
User-agent: Googlebot-Mobile
Disallow: /index.html
ou IDEE 2 avec allow
User-agent: Googlebot-Mobile
Allow: /mobile/
Merci de vos conseils
PS : si je fais le fichier robots.txt est il nécessaire de mettre dans les pages mobiles
<meta name="robots" content="noindex, nofollow">