Die Formulierung der robots.txt bringt die ein oder andere lustige Stilblüte mit sich. Eines meiner Highlights aus den letzten Tagen, ist die robots.txt der hkk Diese glänzt mit einer selbstreferentiellen Sperrung, ganz nach dem Motto „einmal und nicht wieder“.

Eine Selbstsperrung ist natürlich wenig zweckdienlich und entspricht sicherlich nicht der Intention des Webmasters. Nach meiner Interpretation der robots.txt Spezifikationen und der Google Webmaster Guidelines, kann eine Aktualisierung der Datei Google nur durch den Aufruf des robots.txt-Tester in der Google Search Console und das übermitteln der Änderungen bekanntgemacht werden.

Eine Aktualisierung der Datei sollten auch die Webmaster der Bild- und Tonfabrik in Köln initiieren, welche gleich die gesamte Webseite vor Google, Bing und weiteren Suchmaschinen Crawler niedergeschrieben haben.