Yahoo Slurp
É o robot usado pela Yahoo para percorrer a Internet com vista a
indexar os conteúdos nos seus resultados de pesquisa e em alguns
sites da empresa.
A estes sistemas também se dá o nome de crawler, spider ou indexador automático.
O Yahoo Slurp surgiu quando a Yahoo adquiriu a Inktomi e permite que os webmasters lhe vedem a indexação de todo ou parte dos seus sites através do "robot.txt".
Entre os crawlers mais conhecidos contam-se o Googlebot, Bingbot e DuckDuckBot.