Neue Google-Richtlinie zur robots.txt -Datei

Die Datei robots.txt ist die als erstes gelesene Datei des webcrawlers (robot). Sie liegt im root –Verzeichnis einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. So kann der Website-Betreiber bestimmte Verzeichnisse für Suchmaschinen sperren. Neu: Damit Google die Inhalte Ihrer Website vollständig interpretieren kann, […]