‘noindex’ wird ab September nicht mehr unterstützt

Regel 'noindex' wird ab September nicht mehr unterstützt.

Laut Google verwenden 0,001 Prozent aller robots.txt-Dateien im Internet Regeln wie ‘crawl-delay’, ‘nofollow’ oder ‘noindex’. Mit ‘crawl-delay’ wird angegeben, dass eine Website nur alle x Sekunden gecrawlt werden soll. Eingeführt wurde diese Regel von Microsoft und Yahoo. ‘Nofollow’ verbietet, dass Verweise auf andere Seiten bewertet werden. Allerdings verstehen nicht alle Suchmaschinen diesen Befehl. ‘Noindex’ sagt, dass eine Seite nicht in den Index einer Suchmaschine aufgenommen wird. Alle diese Regeln wurden von Google aber nie als solche dokumentiert. Also hat sich der Riese entschieden, ab September den Support für sie einzustellen.

Es gibt aber alternative Optionen für all jene, die sich auf ‘noindex’ verlassen haben und jetzt ein Problem auf sich zukommen sehen.

  • Noindex im Robots-Meta-Tag in HTTP und HTML wird unterstützt.
  • 404 und 410: Wenn diese HTTP-Statuscodes vergeben sind, werden betroffene URLs nach dem Crawlen und Verarbeiten aus dem Google-Index entfernt.
  • Passwort einsetzen: Wird ein Passwortschutz eingeblendet, wird die dahinter liegende Seite ausgeblendet und aus dem Google-Index entfernt.
  • In robots.txt nicht zulassen: Man kann das Crawlen der Seite per ‚disallow‘ blockieren, allerdings kann es sein, dass es aufgrund von Verlinkungen dennoch eine URL in den Index schafft, ohne dass Google den Inhalt der Seite kennt. Google arbeitet daran, die Seiten weniger sichtbar zu machen.
  • Search Console Remove Tool nutzen: Mit dem Tool kann man URLs schnell und einfach aus den Suchergebnissen entfernen.

Google will die Etablierung des Robots Exclusion Protocols (REP) als Internet-Standard voranbringen. Daher vermutlich auch die Einstellung des Supports für die Regeln.

Ein Gedanke zu „‘noindex’ wird ab September nicht mehr unterstützt

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.