Sugira URLs ou caminhos que os mecanismos de pesquisa da Internet não devem rastrear usando o Protocolo de Exclusão de Robôs. ...

Sugira URLs ou caminhos que os mecanismos de pesquisa da Internet não devem rastrear usando o Protocolo de Exclusão de Robôs. Mecanismos de Pesquisa também usam essas instruções para localizar o mapa de um site. A localização do mapa do site será acrescentada automaticamente ao final do arquivo robots.txt.