Googlebot

Googlebot är en sökrobot som används av sökmotorn Google. Den hämtar dokument från Internet, främst World Wide Web, för att bygga upp en databas för Googles sökmotor. Googlebot finns i två olika versioner, Freshbot och Deepbot. Deepbot följer alla länkar den hittar och laddar ner så mycket den kan till Googles indexerare. En runda för Deepbot tar cirka en månad att slutföra. Freshbot far runt på Internet och letar efter nytt material. Den besöker enskilda webbsidor beroende på hur mycket de ändras. Den kan besöka en del webbplatser såsom utpräglade nyhetssajter upp till sju gånger om dagen. Alla Googles sökrobotar har värdmasken crawl-xxx-xxx-xxx-xxx.googlebot.com, där alla xxx representerar det IP-nummer sökroboten har.

Googlebot upptäcker webbsidor genom att skörda alla länkar på alla sidor den hittar. Sedan följer den länkarna vidare till andra sidor. Nya webbsidor måste vara länkade från en som redan är känd av Googlebot. Googlebot är ett problem för en del webbmasters som hyr webbutrymme och har en gräns på hur mycket trafik de får utnyttja. Många webbmasters har klagat på att Googlebot använder för mycket av deras bandbredd och att deras webbplatser temporärt tagits ned för att de har gått över bandbreddsgränsen. Detta är ett stort problem för alla webbspeglar (website mirrors) som ofta lagrar flera gigabyte data.

Om en webbmaster registrerar sin webbplats hos Google Webmaster Tools, får Googlebot en liten ledtråd om vilken sida den ska söka igenom. Man kan även konfigurera att boten ska begränsa sina genomsökningar av en viss webbsida/webbplats. Det kan göras genom att man registrerar ett Googlekonto.