Googlebot



É o robot (daí o termo 'bot') usado pela Google para percorrer a Web, com vista a indexar os conteúdos encontrados e apresentá-los no seu motor de busca, Google. 

A estes sistemas também se dá o nome de crawler, spider ou indexador automático.

Crawler

O Googlebot permite que os webmasters lhe vedem a indexação de todo ou parte dos seus sites através do "robot.txt".

Entre os crawlers mais conhecidos contam-se o BingbotYahoo Slurp e DuckDuckBot.

Glossário