Robots.txt

Le Robot Exclusion Standard est un fichier consulté par l’ensemble des moteurs de recherche lors du crawl d’un site, indiquant à ces derniers s’ils ont le droit ou non de visiter le site, en précisant s’ils peuvent le faire en intégralité ou non