Yahoo Slurp



É o robot usado pela Yahoo para percorrer a Internet com vista a indexar os conteúdos nos seus resultados de pesquisa e em alguns sites da empresa.

A estes sistemas também se dá o nome de crawler, spider ou indexador automático.
O Yahoo Slurp surgiu quando a Yahoo adquiriu a Inktomi e permite que os webmasters lhe vedem a indexação de todo ou parte dos seus sites através do "robot.txt".

Yahoo!

Entre os crawlers mais conhecidos contam-se o GooglebotBingbot DuckDuckBot.


Glossário