SEO-Lexikon

A B C D E F G H I J K L M N O P Q R S T U V W

Robots.txt

Auf Grundlage des Robots-Exclusion-Standard-Protokolls von 1994 – inzwischen allgemein anerkannt, eine Ergänzung wurde bereits veröffentlicht bzw. vorgeschlagen – besucht ein Webcrawler (robot, zum Beispiel googlebot) zuerst die robots.txt - Datei einer Webseite, die sich im Stammverzeichnis (root) befindet. Diese Datei ermöglicht dem Webmaster, den Crawlern individuelle Anweisungen zu geben. Dabei geht es zum Beispiel darum, einem oder mehreren bestimmten robots den Inhalt der Website teilweise zu versperren, etwa wenn sich die Informationen als ungültig, weil überholt, erwiesen haben und eine Neubearbeitung der jeweiligen Unterseiten einer Domain noch ansteht. Suchmaschinenrobots halten sich in der Regel an die Anordnungen; es gibt aber auch unseriöse robots wie etwa Email-Sammler oder Gästebuch-Spammer, die die Anweisungen ignorieren. Zu beachten ist bei der in der robots.txt - Datei aufgestellten Liste, dass ein Suchmaschinenrobot bei dem ersten Eintrag anhält, der für ihn bestimmt ist. Steht also ein allgemeiner Eintrag für alle Suchmaschinen vor einem speziellen für einen bestimmten Crawler, so reagiert er auf den ersten Eintrag. Neben dem robots.txt können auch die Meta-Tags dazu dienen, den – „freundlichen“ – Crawlern Anweisungen zu erteilen


<< zurück


Professionelle Services für Suchmaschinenoptimierung: Webconomy GmbH