Google: Mehr Einfluss auf Crawling-Geschwindigkeit
Bisher konnten Website-Betreiber zwischen drei voreingestellten Crawling-Geschwindigkeiten für den Googlebot wählen. Nun räumt Google den Webmastern noch mehr Einfluss ein, der Abstand zwischen zwei Seitenaufrufen durch den Googlebot lässt sich ab sofort auf die Sekunde genau einstellen.
Bisher konnten Website-Betreiber über die Google Webmaster Tools zwischen den drei vorgegeben Crawling-Geschwindigkeiten Langsamer
, Normal
und Schneller
wählen (wobei die Option Schneller
nicht für alle Domains verfügbar war), und somit den Crawling-Vorgang des Googlebots verlangsamen oder beschleunigen.
Nun räumt Google den Website-Betreibern noch mehr Einfluss ein. Die Wahl zwischen den drei Stufen fällt weg, dafür lässt sich der Abstand zwischen zwei Seitenzugriffen über einen Schieberegler auf die Sekunde genau bestimmen. Natürlich ist es weiterhin möglich, diese Wahl dem Googlebot zu überlassen.
Die beiden Enden der Skala werden von Google für jede Domain individuell festgelegt — in Abhängigkeit von der Serverperformance und der Aktualität der jeweiligen Website. Für meine Websites konnte ich Bereiche von 1000 bis 2 Sekunden (Websites, die schon lange nicht aktualisiert wurden), 333 bis 2 Sekunden und 100 bis 0.8 Sekunden (Forum mit sehr hoher Posting-Aktivität) Abstand entdecken.
Eine Festlegung der Crawling-Geschwindigkeit macht dann Sinn, wenn man die Aufnahme der Websites in den Google-Index beschleunigen will oder die Belastung des Servers verringert werden soll. Langfristige Ranking-Vorteile ergeben sich daraus jedoch nicht.
Artikel ver�ffentlicht von Thomas Graf am 09. Dezember 2008 | Tweet
