 |
|
|
Comment et pourquoi créer un robots.txt
User-Agent: * Disallow: /administration/ Si vous voulez spécifiés une restriction à un seul moteur de recherche il vous suffit de remplacer * par le nom de celui-ci exemple avec google : User-Agent: Google Disallow: /administration/ Vous pouvez placer bien évidement plusieurs ligne de commande à la suite : User-Agent: Google Disallow: /administration/ User-Agent: Voilà Disallow: /administration/ User-Agent: * Disallow: La dernière ligne Disallow: signifie qu'aucune page n'est à exclure ce qui équivaut à l'absence d'un fichier robots.txt sur votrre site si vous n'avez aucun répertoire à protégé de l'indexation des moteurs de recherches. ATTENTION : le fichier robots.txt ne doit contenir en aucun cas une ligne vide. Voici une petite liste de moteurs de recherche : Alta Vista Scooter Excite ArchitextSpider Google Googlebot HotBot Slurp InfoSeek InfoSeek Sidewinder Lycos T-Rex Voilà Echo Liens sponsorisés |
|
