Googlebot ist die Suchfunktionseinheitssoftware, die von Google verwendet ist, der sich versammelt, suchen Dokumente vom Web, um einen auffindbaren Index für Google zu bauen, Motor.

Wenn ein Webmaster die Information auf ihrer Seite einschränken möchte, die für Googlebot oder eine andere wohl erzogene Spinne verfügbar ist, können sie so mit den passenden Direktiven in robots.txt Datei tun, oder indem sie das meta Anhängsel zur Webseite hinzufügen. Bitten von Googlebot zu Webservern sind durch eine Benutzer-Reagenzschnur identifizierbar, die "Googlebot" und eine Gastgeber-Adresse enthält, die "googlebot.com" enthält.

Zurzeit folgt Googlebot HREF-Verbindungen und SRC-Verbindungen. Dort vergrößert Beweise Googlebot kann javascript durchführen und Inhalt grammatisch analysieren, der durch Anrufe von Ajax ebenso erzeugt ist. Googlebot entdeckt Seiten, indem er alle Verbindungen auf jeder Seite erntet, die es findet. Es folgt dann diesen Verbindungen zu anderen Webseiten. Neue Webseiten müssen mit anderen bekannten Seiten im Web verbunden werden, um gekrochen und mit einem Inhaltsverzeichnis versehen oder manuell vom Webmaster vorgelegt zu werden.

Ein Problem, das Webmaster häufig mit Googlebot bemerkt haben, besteht darin, dass er einen enormen Betrag der Bandbreite aufnimmt. Das kann Websites veranlassen, ihre Bandbreite-Grenze zu überschreiten und provisorisch abgenommen zu werden. Das ist für Spiegelseiten besonders lästig, die viele Gigabytes von Daten veranstalten. Google stellt "Webmaster-Werkzeuge" zur Verfügung, die Website-Eigentümern erlauben, die Kraul-Rate zu erdrosseln.

Links

• Die Googlebot offiziellen häufig gestellten Fragen von Google