Sugiera direcciones URL o rutas de acceso que los motores de búsqueda de Internet no deberían rastrear usando el Protocolo ...

Sugiera direcciones URL o rutas de acceso que los motores de búsqueda de Internet no deberían rastrear usando el Protocolo de exclusión de robots. Los motores de búsqueda también usan estas instrucciones para  buscar el mapa de los sitios web. La ubicación del mapa del sitio se anexará automáticamente a la parte inferior del archivo robots.txt.