• Weblog
  • Lexikon
  • Tools
  • Suche
  • Kontakt
    •

    Robots.txt Generator

    Mit dem Robots.txt Generator kannst du ganz einfach Anweisungen für Suchmaschinen-Spider zusammenstellen. Diese sind für eine optimale Indexierung deiner Webseite unbedingt notwendig. Sämtliche Angaben sind optional!

    http://

    http://

    Eine Sitemap ist nicht unbedingt notwendig, hilft aber den Suchmaschinen. Es muss eine XML Sitemap nach dem Sitemap Protokoll sein.

    Zeitverzögerung:

    Damit kannst du Traffic von Suchmaschinen zu reduzieren und den Server zu entlasten. Diese Option macht nur Sinn, wenn du Traffic sparen musst.

    Im zweiten Schritt legst du zuerst fest, welche Ordner und Seiten kein Spider indexieren soll. Danach hast du auch noch die Möglichkeit, einzelne Spider komplett auszuschließen.

    Bitte für jeden Ordner eine eigene Zeile verwenden. Für den Ausschluss eines gesamten Ordners ein "/" ans Ende stellen.

    Schließe die folgenden Spider komplett aus:

    Google
    Google Images
    Yahoo
    Yahoo Bildsuche
    BingBot
    Live Image Search
    Ask/Teoma
    Yandex
    Exalead
    GigaBlast
    Alexa/Wayback
    Baidu
    Nutch
    Cityreview Robot
    WebReaper
    WebCopier
    Offline Explorer
    HTTrack
    MS.URL.Control
    EmailCollector
    Penthesilea

    Weitere Informationen bezüglich der Robots.txt bekommst du u.a. in der Google Hilfe.