Robots.txt
O estándar de exclusión de robots (tamén chamado protocolo de exclusión de robots ou protocolo robots.txt ) é unha forma de indicar aos exploradores web e a outros robots web que partes dun sitio web poden ver.
Para darlle aos robots instrucións sobre a que páxinas dun sitio web poden acceder, os propietarios do sitio colocan un ficheiro de texto chamado robots.txt no directorio principal do seu sitio web, por exemplo http://www.example.com/robots.txt Arquivado 03 de outubro de 2013 en Wayback Machine..[1] Este ficheiro de texto indica aos robots a que partes do sitio poden acceder ou non. Non obstante, os robots poden ignorar os ficheiros robots.txt, especialmente os robots maliciosos.[2] Se o ficheiro robots.txt non existe, os robots web asumen que poden ver todas as partes do sitio.
Exemplos de ficheiros robots.txt
[editar | editar a fonte]Notas
[editar | editar a fonte]- ↑ "Robot Exclusion Standard". www.helpforwebbeginners.com. Arquivado dende o orixinal o 08 de decembro de 2011. Consultado o 2023-06-20.
- ↑ "The Web Robots Pages". www.robotstxt.org. Consultado o 2023-06-20.
|
Este artigo é, polo de agora, só un bosquexo. Traballa nel para axudar a contribuír a que a Galipedia mellore e medre.
|