Selbstsperrung per robots.txt

Die Formulierung der robots.txt bringt die ein oder andere lustige Stilblüte mit sich. Eines meiner Highlights aus den letzten Tagen, ist die robots.txt der hkk Diese glänzt mit einer selbstreferentiellen Sperrung, ganz nach dem Motto „einmal und nicht wieder“.

hkk robots.txt Selbstsperrung

hkk robots.txt Selbstsperrung [abgerufen am 18.02.2016]

Eine Selbstsperrung ist natürlich wenig zweckdienlich und entspricht sicherlich nicht der Intention des Webmasters. Nach meiner Interpretation der robots.txt Spezifikationen und der Google Webmaster Guidelines, kann eine Aktualisierung der Datei Google nur durch den Aufruf des robots.txt-Tester in der Google Search Console und das übermitteln der Änderungen bekanntgemacht werden.

Google Search Console robots.txt abrufen und an Google senden

Google Search Console robots.txt abrufen und an Google senden

Eine Aktualisierung der Datei sollten auch die Webmaster der Bild- und Tonfabrik in Köln initiieren, welche gleich die gesamte Webseite vor Google, Bing und weiteren Suchmaschinen Crawler niedergeschrieben haben.

robots.txt der Bild- und Tonfabrik Köln [abgerufen am 18.02.2016]

robots.txt der Bild- und Tonfabrik Köln [abgerufen am 18.02.2016]