Neue Google-Richtlinie zur robots.txt -Datei

Die Datei robots.txt ist die als erstes gelesene Datei des webcrawlers (robot). Sie liegt im root –Verzeichnis einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. So kann der Website-Betreiber bestimmte Verzeichnisse für Suchmaschinen sperren.

Neu: Damit Google die Inhalte Ihrer Website vollständig interpretieren kann, lassen Sie zu, dass alle Assets Ihrer Website, wie CSS- und JavaScript-Dateien, gecrawlt werden und sperren diese nicht. (Dies wurde in er Vergangenheit nicht ausdrücklich empfohlen oder sogar davon abgeraten.)

google_robots_txt

Google: Durch das Indexierungssystem von Google werden Webseiten unter Verwendung des HTML-Codes einer Seite sowie mithilfe der entsprechenden Assets wie beispielsweise Bilder, CSS und JavaScript-Dateien gerendert. Um sich die Seiten-Assets anzusehen, die nicht von Googlebot gecrawlt werden können, und um Fehler in den Anweisungen in Ihrer robots.txt-Datei zu beheben, verwenden Sie den robots.txt-Tester in den Webmaster-Tools.

 

Mithilfe der Funktion Senden des Tools robots.txt-Tester können Sie ganz einfach eine neue robots.txt-Datei für Ihre Website bereitstellen und Google bitten, diese zu crawlen und zu indexieren. Führen Sie die unten aufgeführten Schritte durch, um Ihre robots.txt-Datei zu aktualisieren und Google über die Änderungen zu informieren.

1. Klicken Sie im robots.txt-Editor unten rechts auf Senden. Dadurch wird das Dialogfeld „Senden“ geöffnet.

2. Laden Sie den bearbeiteten robots.txt-Code von der Seite robots.txt-Tester herunter. Klicken Sie dazu im Dialogfeld „Senden“ auf die Schaltfläche Herunterladen.

3. Laden Sie die neue robots.txt-Datei in das Stammverzeichnis Ihrer Domain als Textdatei namens robots.txt hoch. Die URL für Ihre robots.txt-Datei sollte /robots.txt lauten.

Wenn Sie nicht berechtigt sind, Dateien in das Stammverzeichnis Ihrer Domain hochzuladen, bitten Sie Ihren Domainadministrator, die Änderungen vorzunehmen.

Wenn sich die Startseite Ihrer Website zum Beispiel unter sites.google.com/site/beispiel/ befindet, können Sie die Datei sites.google.com/robots.txt wahrscheinlich nicht aktualisieren. In diesem Fall solltenSie den Inhaber von sites.google.com/ bitten, die Änderungen an der Datei robots.txt vorzunehmen.

4. Klicken Sie auf Liveversion überprüfen, um zu festzustellen, ob es sich bei der bereitgestellten robots.txt-Datei um die Version handelt, die von Google gecrawlt werden soll.

5. Klicken Sie auf Liveversion einreichen, um Google mitzuteilen, dass Ihre robots.txt-Datei geändert wurde und nun gecrawlt werden soll.

6. Vergewissern Sie sich, dass Ihre neueste Version von Google erfolgreich gecrawlt wurde. Aktualisieren Sie dazu die Seite in Ihrem Browser, um den Editor des Tools zu aktualisieren und den bereitgestellten robots.txt-Code anzusehen. Nach dem Aktualisieren der Seite können Sie auch auf das Drop-down-Menü oberhalb des Texteditors klicken, um zu prüfen, wann Google die aktuelle Version Ihrer robots.txt-Datei das erste Mal gesehen hat.

 

 

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.