Pixelfolk > Tools > Robots.txt Generator

Robots.txt Generator

Mit dem Robots.txt Generator kannst du ganz einfach Anweisungen für Suchmaschinen-Spider zusammenstellen. Diese sind für eine optimale Indexierung deiner Webseite unbedingt notwendig. Sämtliche Angaben sind optional!

http://

http://

Eine Sitemap ist nicht unbedingt notwendig, hilft aber den Suchmaschinen. Es muss eine XML Sitemap nach dem Sitemap Protokoll sein.

Zeitverzögerung:

Damit kannst du Traffic von Suchmaschinen zu reduzieren und den Server zu entlasten. Diese Option macht nur Sinn, wenn du Traffic sparen musst.

Im zweiten Schritt legst du zuerst fest, welche Ordner und Seiten kein Spider indexieren soll. Danach hast du auch noch die Möglichkeit, einzelne Spider komplett auszuschließen.

Bitte für jeden Ordner eine eigene Zeile verwenden. Für den Ausschluss eines gesamten Ordners ein "/" ans Ende stellen.

Schließe die folgenden Spider komplett aus:

Google
Google Images
Yahoo
Yahoo Bildsuche
Live Search
Live Image Search
Ask/Teoma
Exalead
GigaBlast
Alexa/Wayback
Baidu
Nutch
WebReaper
WebCopier
Offline Explorer
HTTrack
MS.URL.Control
EmailCollector

Weitere Informationen bezüglich der Robots.txt bekommst du unter anderem bei der Google Hilfe.

Tools und Generatoren

Lesezeichen setzen

Pixelfolk— RSSRSS-Feed — Sitemap — Impressum — Datenschutzhinweis