von Einen Tipp der Gold wert sein könnte, den ich in einem Youtube-Video zur Erstellung der Datenschutzerklärung gesehen habe, habe ich auf meinen Webseiten auch umgesetzt und würde das auch jedem empfehlen. Es geht hier nicht um den Inhalt der Datenschutzerklärung, sondern darum diese Unterseite der Webseite vor einer Indexierung in Suchmaschinen zu schützen, damit die Schar von Abmahnanwälten, die sich dafür feiern wenn sie einen kleinen Verein abmahnen konnten, ihre automatischen Suchroboter eintüten können.
Dadurch wird es schon etwas aufwendiger für diese Leute deine Seite ins Visier zu bekommen und Aufwand wollen die ja gar nicht damit haben, sondern das schnelle Geld. Neben der Datenschutzerklärung habe ich auch die Impressum-Unterseiten versteckt. Sicher ist sicher. Im Folgenden zeige ich die einzige brauchbare Variante um die Seite etwas „unsichtbarer“ zu machen.
Meta-Tag im Head-Bereich gegen die Indexierung
Wenn ihr an den Head-Bereich eurer Seite herankommt, was zumindest bei Eigenkonstruktionen oder statischen html-Seiten immer der Fall ist, könnt ihr dort einfach folgende Zeile hinzufügen:
|
1 |
<meta name="robots" content="noindex, nofollow, noimageindex"/> |
Falls folgende Zeile existiert, so ist diese einfach abzuändern:
|
1 |
<meta name="robots" content="index, follow"/> |
Achtung: Das darf auf keinen Fall in irgendeiner allgemeinen header-Datei geändert werden, die eventuell auf jeder Seite eingebunden wird. Somit würde man Suchmaschinen anweisen keine einzige Seite mehr zu indexieren!
Crawling verhindern durch die robots.txt verbieten?
Ursprünglich habe ich hier beschrieben, dass man, wenn ihr den Head-Bereich nicht ändern könnt, stattdessen die sogenannte „robots.txt“-Datei verwenden sollte. Diese hatte meiner Meinung nach den gleichen Effekt wie der Meta-Tag, was aber nicht der Fall ist.
Schlimmer noch, bewirkt die robots.txt, dass zwar die entsprechende Seite von der Suchmaschine nicht gecrawlt wird, aber nicht dass diese indexiert wird wenn auf diese von anderen (internen) Seiten verlinkt wird! Den Meta-Tag liest die Suchmaschine dann leider nicht, da sie die Seite ja nicht crawlt und sie wird somit nicht vom Indexieren ausgesclossen. Also sollte man von einem Eintrag in der robots.txt doch lieber absehen!
Falls man die robots.txt eventuell für etwas anderes nutzen möchte: Die Datei liegt im Root-Verzeichnis der Domain. Also dort, wo auch die index.php oder index.html rumdümpeln sollte. Guckt euch die genauen URLs an und fügt diese ohne Domain-Namen ab dem ersten Slash hinter ein „Disallow:“ in der robtos.txt ein. Wenn ein Slash am Ende der URL steht fügt man auch dieses ein:
|
1 2 3 4 5 6 7 8 |
User-Agent: * Disallow: /cgi-bin/ Disallow: /cgi-data/ Disallow: /logs/ Disallow: /usage/ Disallow: /impressum/ Disallow: /datenschutz/ Disallow: /haftung/ |
Bei WordPress-Seiten hatte ich nur diese Variante angewandt, bevor ich mich nochmals genauer zur Funktion der robots.txt informiert hatte. Bei eigenen Webseiten-Konstruktionen hatte ich einfach sowohl den head-Bereich der Seiten wie auch die robots.txt angepasst. Aber aufgrund der beschriebenen Problematik hält doppelt in diesem Fall leider nicht besser und ich habe die Links aus der robots.txt wieder ausgetragen.
