Schlagen Sie URLs oder Pfade vor, die Internet-Suchmaschinen nicht mithilfe des Robots Exclusion-Protokolls durchforsten ...

Schlagen Sie URLs oder Pfade vor, die Internet-Suchmaschinen nicht mithilfe des Robots Exclusion-Protokolls durchforsten sollten. Suchmaschinen verwenden diese Anweisungen auch, um eine Sitemap einer Website zu finden. Der Speicherort der Sitemap wird automatisch an das Ende der Datei "robots.txt" angefügt.