robots.txt

Es gibt immer Gründe weshalb die eigene Webseite nicht bei Google und Co. auftauchen soll. Wenn es sich z.B. um eine private Webseite handelt, die nur Familienmitgliedern bekannt ist. Oder es gibt einige Seiten auf denen Bilder zu finden sind, die Sie als Künstler nicht in der Bildersuche sehen wollen... Die Robots.txt - Datei ist ein wirksame Methode die Indizierung der eigenen Seite oder nur bestimmte Unterseiten zu vermeiden.

So geht's:
Erstellen Sie ein neues Dokument in Ihrem Editor, nennen Sie es robots.txt und speichern es im Hauptverzeichnis Ihrer Webseite.

So könnte der Inhalt der Datei aussehen:

User-agent: *
Disallow: /geheim/
Disallow: /geheimer/

Achtung: Allein die Absicht des
Entwicklers ist ausschlaggebend
ob sich der Roboter an die
Anweisungen in der robots.txt
hält oder nicht

Erklärung:
• In der ersten Zeile wird ein bestimmter Suchmaschinenroboter angesprochen, somit ist es möglich einem bestimmten Roboter anzusprechen und andere von einer anderen Suchmaschine nicht. Der Stern ist ein Universalattribut; nachfolgende Anweisungen sprechen somit alle Suchmaschinenroboter an.
• Die zwei Zeilen die folgen sind Verzeichnisse, in denen es den Suchmaschinenroboter verboten wird zu suchen.

So sperren Sie alle Verzeichnisse für alle Roboter:

User-agent: *
Disallow: /

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.