‘noindex’ wird ab September nicht mehr unterstützt

Regel 'noindex' wird ab September nicht mehr unterstützt.

Laut Google verwenden 0,001 Prozent aller robots.txt-Dateien im Internet Regeln wie ‘crawl-delay’, ‘nofollow’ oder ‘noindex’. Mit ‘crawl-delay’ wird angegeben, dass eine Website nur alle x Sekunden gecrawlt werden soll. Eingeführt wurde diese Regel von Microsoft und Yahoo. ‘Nofollow’ verbietet, dass Verweise auf andere Seiten bewertet werden. Allerdings verstehen nicht alle Suchmaschinen diesen Befehl. ‘Noindex’ sagt, […]