Was sollte man alles in die robots.txt eintragen?

In dieser kurzen Übersicht möchte ich aufzeigen, welche Unterordner und Dateien man mit Hilfe der robots.txt-Datei vor den Suchmaschinen-Indexierungs-Bots verstecken sollte und bei welchen man es besser lassen sollte:

Read more